目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:468k

收藏
全部开发者教程

408考研

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(202)
赞(0)

2.3 Flume事务剖析

你的账户-520

bug

她的账户+520

Put事务流程:

  1. doPut:将批数据先写入临时缓冲区putList
  2. doCommit:检查channel内存队列是否足够合并
  3. doRollback:channel内存队列空间不足,回滚数据,直接将数据丢弃。

Take事务流程:

  1. doTake:将数据取到临时缓冲区takeList,并将数据发送到目标位置(比如:HDFS、Hive等)
  2. doCommit:如果数据全部发送成功,则清除临时缓冲区takeList
  3. doRollback:数据发送过程中如果出现异常,rollback将临时缓冲区takeList中的数据归还给channel内存队列。

实时反馈

1. 关于Flume的Put事务流程的描述,错误的是:

A 临时缓冲区putList的容量可以大于channel内存队列的容量。

B doPut将批数据先写入临时缓冲区putList。

C doCommit检查channel内存队列是否足够合并。

D doRollback:channel内存队列空间不足,回滚数据,直接将数据丢弃。

2. 关于Flume的Take事务流程的描述,错误的是:

A doTake:将数据取到临时缓冲区takeList,并将数据发送到目标位置(比如:HDFS、Hive等)。

B doCommit:如果数据全部发送成功,则清除临时缓冲区takeList。

C doRollback:数据发送过程中如果出现异常,rollback将临时缓冲区takeList中的数据归还给channel内存队列。

D Flume通过Sink输出的数据不存在重复处理的情况。

答案:

1.A 2.D

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2