Kafka
未读
Zookeeper 中的 Kafka 信息
Kafka
未读
Kafka的副本基本信息
Kafka副本的作用:提高数据的可靠性; Kafka默认副本只有 1 个,生产环境一般配置为两个,保证数据的可靠性; 太多的副本会增加磁盘存储空间,增加网络上数据传输,降低效率; Kafka中副本分为:Leader和Follower。Kafka的生产者只会把数据发往Leader,然后Follower
Kafka
未读
Kafka文件清除策略
基本概念 Kafka中==默认的日志保存时间为7天==,可以通过调整如下参数修改保存时间。 log.retention.hours:天,默认为7天,最低优先级 log.retention.minutes:分钟 log.retention.ms:毫秒,最高优先级 log.retention.check
Kafka
未读
Kafka文件存储机制
文件存储机制 index 文件和 log 文件详解 ==注意==: index为稀疏索引,大约每往log文件中写入4kb数据,会往index文件中写入一条索引。(参数 log.index.interval.bytes默认4kb) Index文件中保存的offset为相对offset,这样能够确保of
Kafka
未读
Kafka数据重复问题
幂等性 幂等性原理 Producer 的幂等性指的是Producer不论向Broker发送多少次重复数据,数据在 Broker 端只会被持久化一次,保证了数据不重复。 精确一次(Exactly Once):幂等性+至少一次(ack=-1 + 分区副本>=2 + ISR最小副本数量>=2) 这里的幂等
Kafka
未读
Kafka安装及基本配置
下载 官方下载地址:Apache Kafka ==注意:需要检查支持的JDK版本== wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz 安装 解压:tar -zxvf kafka_2.12-3.1.0.tgz 修改zooke