消费者如何提高吞吐量

Kafka消费能力不足

如果是Kafka消费能力不足,则可以考虑==增加Topic的分区数==,并且同时提升消费组的消费者数量,==消费者数=分区数==。(两者缺一不可)

20220423153200.png

下游的数据处理不及时

如果是下游的数据处理不及时:==提高每批次拉取的数量==。批次拉取数据过少(拉取数据/处理时间 < 生产速度),使处理的数据小于生产的数据,也会造成数据积压。

20220423153209.png

增大每批次拉取数量的同时,需要适当增加每批次最大拉取的大小(默认50MB)

==生产和消费端要一起配合才能更好的增大吞吐量==