4.2 Flume存在丢包的问题吗？

根据Flume的架构原理，Flume是不可能丢失数据的，其内部有完善的事务机制，Source到Channel是事务性的，Channel到Sink是事务性的，因此这两个环节不会出现数据的丢失，唯一可能丢失数据的情况是Channel采用memoryChannel，agent宕机导致数据丢失，或者Channel存储数据已满，导致Source不再写入，未写入的数据丢失。

Flume不会丢失数据，但是有可能造成数据的重复，例如数据已经成功由Sink发出，但是没有接收到响应，Sink会再次发送数据，此时可能会导致数据的重复。

注意：以上情况是在TCP网络传输的情况下。

但是在UDP网络环境下存在丢包的问题。单节点的 flume source 的配置，100+M/s 数据量，10w qps flume 就开始大量丢包。 一些公司在 Flume 工作过程中，会对业务日志进行监控（ganglia或zabbix），例如 Flume agent中有多少条日志，Flume 到 Kafka 后有多少条日志等等，如果数据丢失保持在1%左右是没有问题的，当数据丢失达到 5%左右时就必须采取相应措施。