Kafka
未读
Kafka文件清除策略
基本概念 Kafka中==默认的日志保存时间为7天==，可以通过调整如下参数修改保存时间。 log.retention.hours：天，默认为7天，最低优先级 log.retention.minutes：分钟 log.retention.ms：毫秒，最高优先级 log.retention.check
Kafka
未读
Kafka文件存储机制
文件存储机制 index 文件和 log 文件详解 ==注意==： index为稀疏索引，大约每往log文件中写入4kb数据，会往index文件中写入一条索引。（参数 log.index.interval.bytes默认4kb） Index文件中保存的offset为相对offset，这样能够确保of
Kafka
未读
Kafka数据重复问题
幂等性 幂等性原理 Producer 的幂等性指的是Producer不论向Broker发送多少次重复数据，数据在 Broker 端只会被持久化一次，保证了数据不重复。 精确一次（Exactly Once）：幂等性+至少一次（ack=-1 + 分区副本>=2 + ISR最小副本数量>=2) 这里的幂等
Kafka
未读
Kafka安装及基本配置
下载 官方下载地址：Apache Kafka ==注意：需要检查支持的JDK版本== wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz 安装 解压：tar -zxvf kafka_2.12-3.1.0.tgz 修改zooke
Kafka
未读
Kafka中的offset
Offset的默认维护位置 ==0.9版本以前==：consumer默认将offset保存在Zookeeper中。 ==0.9版本及以后==：consumer默认将offset保存在kafka一个内置的topic中，改topic为__consumer_offsets。 扩展 ___consumer_
Kafka
未读
Broker工作原理
Broker的总体工作流程 broker启动后在ZK中注册 每个Broker中都有一个Controller，zookeeper中的controller信息是哪个Broker中的Controller先注册上，就是哪个Broker中的Controller说的算。 由选举出来的Controller监听Zo