目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:467.5k

收藏
全部开发者教程

408考研

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(199)
赞(0)

4.4 flume 管道内存,flume 宕机了数据丢失怎么解决?

  1. Flume 的 channel 分为很多种,可以将数据写入到文件。
  2. 防止非首个 agent 宕机的方法数可以做集群或者主备。

4.5 flume 有哪些组件,它们分布具体是做什么的?

  1. source:用于采集数据,Source 是产生数据流的地方,同时 Source 会将 产生的数据流传输到 Channel,这个有点类似于 Java IO 部分的 Channel。
  2. channel:用于桥接 Sources 和 Sinks,类似于一个队列。
  3. sink:从 Channel 收集数据,将数据写到目标源(可以是下一个 Source, 也可以是 HDFS 或者 HBase)。

注意:要熟悉 source、channel、sink 的类型

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2