数据积压
消费者如何提高吞吐量
Kafka消费能力不足
如果是Kafka消费能力不足,则可以考虑==增加Topic的分区数==,并且同时提升消费组的消费者数量,==消费者数=分区数==。(两者缺一不可)

下游的数据处理不及时
如果是下游的数据处理不及时:==提高每批次拉取的数量==。批次拉取数据过少(拉取数据/处理时间 < 生产速度),使处理的数据小于生产的数据,也会造成数据积压。

增大每批次拉取数量的同时,需要适当增加每批次最大拉取的大小(默认50MB)
==生产和消费端要一起配合才能更好的增大吞吐量==
本文是原创文章,采用 CC BY-NC-ND 4.0 协议,完整转载请注明来自 程序员小航
评论
匿名评论
隐私政策
你无需删除空行,直接评论以获取最佳展示效果