目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:465.1k

收藏
全部开发者教程

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(336)
赞(0)

生产者_发送数据原理剖析

重要参数列表

参数默认值作用描述
bootstrap.serversnode2:9092
[,node3:9092]
[,node4:9092]
生产者连接集群所需的 broker 地 址 清 单,一个或多个(逗号隔开)
key.serializer 指定发送消息的 key 的序列化类型。一定要写全类名
value.serializer 指定发送消息的value 的序列化类型。一定要写全类名
buffer.memory32MRecordAccumulator缓冲区总大小
batch.size16K缓冲区一批数据最大值,适当增加该值可以提高吞吐量,但是如果该值设置太大,会导致数据输延迟增加
linger.ms0ms(表示没有延迟)如果数据迟迟未达到 batch.size,sender 等待 linger.time之后就会发送数据,单位 ms。生产环境建议该值大小为 5-100ms 之间。
acks-10:生产者发送过来的数据,不需要等数据落盘应答。
1:生产者发送过来的数据,Leader 收到数据后应答。
-1(all):生产者发送过来的数据,Leader+和 isr 队列里面的所有节点收齐数据后应答。
max.in.flight.requests.
per.connection
5允许最多没有返回 ack 的次数,开启幂等性,要保证该值是 1-5 的数字
enable.idempotencetrue是否开启幂等性,默认开启幂等性。
retries默认是 int 最大值,2147483647当消息发送出现错误的时候,系统会重发消息。retries
表示重试次数。如果设置了重试,还想保证消息的有序性,需要设置MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION=1
否则在重试此失败消息的时候,其他的消息可能发送成功了。
retry.backoff.ms100ms两次重试之间的时间间隔
compression.typenone生产者发送的所有数据的压缩方式。默认是不压缩。
支持压缩类型:none、gzip、snappy、lz4 和 zstd。

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2