Kafka
未读
Leader及Follower故障时的处理流程
基本概念 Log Start Offset:是起始位移,该副本中第一条消息的offset,如图所示,这里的起始位移是0,如果一个日志文件写满1G后(默认1G后会log rolling),这个起始位移就不是从0开始了。 log rolling:==是啥?== HW(high watermark):俗称
Kafka
未读
生产者如何提高吞吐量
可调参数 batch.size:批次大小,默认16k linger.ms:等待时间,修改为5~100ms compression.type:压缩类型,一般选择snappy RecordAccumulator:缓冲区大小,修改为64M 注意 这些参数的修改需要根据实际情况进行调整。
Kafka
未读
Zookeeper 中的 Kafka 信息
Kafka
未读
Kafka的副本基本信息
Kafka副本的作用:提高数据的可靠性; Kafka默认副本只有 1 个,生产环境一般配置为两个,保证数据的可靠性; 太多的副本会增加磁盘存储空间,增加网络上数据传输,降低效率; Kafka中副本分为:Leader和Follower。Kafka的生产者只会把数据发往Leader,然后Follower
Kafka
未读
Kafka文件清除策略
基本概念 Kafka中==默认的日志保存时间为7天==,可以通过调整如下参数修改保存时间。 log.retention.hours:天,默认为7天,最低优先级 log.retention.minutes:分钟 log.retention.ms:毫秒,最高优先级 log.retention.check
Kafka
未读
Kafka文件存储机制
文件存储机制 index 文件和 log 文件详解 ==注意==: index为稀疏索引,大约每往log文件中写入4kb数据,会往index文件中写入一条索引。(参数 log.index.interval.bytes默认4kb) Index文件中保存的offset为相对offset,这样能够确保of