目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

大数据全系列 教程

1869个小节阅读:468k

收藏
全部开发者教程

408考研

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(202)
赞(0)

Broker_Replica副本

  1. Kafka 副本作用:避免单点故障,提高数据可靠性

    partition是有序消息日志,那么一定不能只保存这一份日志,否则一旦保存partition的Kafka服务器挂掉了,其上保存的消息也就都丢失了。分布式系统必然要实现高可靠性,而目前实现的主要途径还是依靠冗余机制一一简单地说,就是备份多份日志。这些备份日志在Kafka中被称为副本(replica),它们存在的唯一目的就是防止数据丢失,这一点一定要记住!

  2. Kafka 默认副本 1 个,生产环境一般配置为 2 个,保证数据可靠性;太多副本会增加磁盘存储空间,增加网络上数据传输,降低效率。

  3. Kafka 中副本分为:Leader 和 Follower。Kafka 生产者只会把数据发往 Leader,然后 Follower 找 Leader 进行同步数据。Leader 发生故障之后,就会从 ISR 中选举新的 Leader。

  4. Kafka 分区中的所有副本统称为 AR(Assigned Repllicas),AR = ISR + OSR。

    1. ISR(in-sync replica),表示和 Leader 保持同步的 Follower 集合。
    2. OSR,表示 Follower 与 Leader 副本同步时,延迟过多的副本。
    3. 如果 Follower 长时间未向 Leader 发送通信请求或同步数据,则该 Follower 将被踢出 ISR,放到OSR。该时间阈值由replica.lag.time.max.ms参数设定,默认 30s。
    4. 当OSR中Follower重新“追上”了Leader的进度时,OSR->ISR。

实时效果反馈

1. 关于Kafka Replica相关的描述,错误的是:

A 副本作用:避免单点故障,提高数据可靠性。

B 既然副本可以提高数据的可靠性,所以副本越多越好。

C 副本分为:Leader 和 Follower。Kafka 生产者只会把数据发往 Leader,然后 Follower 找 Leader 进行同步数据。Leader 发生故障之后,就会从 ISR 中选举新的 Leader。

D 如果 Follower长时间未向 Leader 发送通信请求或同步数据,则该 Follower 将被踢出 ISR,放到OSR。该时间阈值由replica.lag.time.max.ms参数设定,默认 30s。

答案:

1=>B 生产环境一般配置为 2 个,保证数据可靠性;太多副本会增加磁盘存储空间,增加网络上数据传输,降低效率。

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2