Kafka

数据库 1 索引 1 Oracle 1 Java开发 1 entrypoint 1 Dockerfile 1 模版 1 IDEA 1 阿里云镜像仓库 1 打包 1 数据损坏 1 ESP32 1 Wifi 1 jad 1 Arthas 1 watch 1 #Arthas 1 耗时 1 trace 1 脚本 1 python 1 Nginx 14 K8s 1 Docker 13 Docker 1 IO复用 1 事件驱动 1 虚拟内存 1 零拷贝 1 内核区和用户区 1 设计模式 4 Web 1 Go 4 Git 14 Shell脚本 10 CPU 1 netty 4 网关 1 Raft 1 服务发现 1 服务注册 1 动态配置 1 SpringCloud 2 RefreshScope 1 Lombok 1 Java 4 Android 1 Linux 7 运维 5 Windows 3 使用教程 1 PS 1 PostgresSQL 5 postgres 0 MySQL 21 MongoDB 1 多线程 1 React 4 JavaScript 2 CSS 9 IO模型 1 代码质量 4 Redisson 1 角色 1 TTL 1 Stream流 1 RabbitMQ 21 Connection 1 offset 1 Broker 1 Kafka 21 Flyway 1 扩展知识 11 Swagger 1 Nacos 3 监控中心 1 MockMvc 1 扩展点 1 依赖注入 1 POM 2 工具类 1 初始化 1 学习笔记 1 Log4j2 1 Scheduled 1 RESTFul 1 JdbcTemplate 1 Mybatis 1 FluxAndMono 1 内存碎片 1 跳跃表 1 Redis 15 操作系统 22 面试题 1 elasticsearch 1 ES 1 ElasticHD 1 安装教程 7 中间件 1 Zookeeper 1 单元测试 1 Jackson 1 AOP 2 SpringBatch 1 ApplicationContext 1 SpringBoot 35 SPI 1 循环依赖 1 SpringIOC 1 Spring 5 配置文件 1 事务 2 Linux运维 1 shell脚本 1

Kafka 未读

数据积压

消费者如何提高吞吐量 Kafka消费能力不足如果是Kafka消费能力不足，则可以考虑==增加Topic的分区数==，并且同时提升消费组的消费者数量，==消费者数=分区数==。（两者缺一不可）下游的数据处理不及时如果是下游的数据处理不及时：==提高每批次拉取的数量==。批次拉取数据过少（拉取

Kafka 2025-06-14

Kafka 未读

数据有序和乱序

数据有序 ==只能保证单分区内有序== 如何配置有序

Kafka 2025-06-14

Kafka 未读

分区分配策略及再平衡

基本概念 1、一个consumer group中有多个consumer组成，一个topic有多个partition组成，现在的问题是，==到底由哪个consumer来消费哪个partition的数据==。 2、Kafka有四种主流的分区分配策略：==Range、RoundRobin、Sticky、C

Kafka 2025-06-14

Kafka 未读

Leader及Follower故障时的处理流程

基本概念 Log Start Offset：是起始位移，该副本中第一条消息的offset，如图所示，这里的起始位移是0，如果一个日志文件写满1G后（默认1G后会log rolling），这个起始位移就不是从0开始了。 log rolling：==是啥？== HW（high watermark）：俗称

Kafka 2025-06-14

Kafka 未读

Kafka基础

基本概念事件（Events）事件代表过去发生的事实。事件是不可改变的，不会停留在一个地方。它们总是携带发生的状态变化从一个系统移动到另一个系统。流（streams）事件流表示系统业务活动中的相关事件。主题（Topic） <

Kafka 2025-06-14

Kafka 未读

生产者如何提高吞吐量

可调参数 batch.size：批次大小，默认16k linger.ms：等待时间，修改为5~100ms compression.type：压缩类型，一般选择snappy RecordAccumulator：缓冲区大小，修改为64M 注意这些参数的修改需要根据实际情况进行调整。

Kafka 2025-06-14

Kafka 未读

消费者事务

基本概念重复消费：已经消费了数据，但是offset没提交。漏消费：先提交offset后消费，有可能会造成数据的漏消费。重复消费漏消

Kafka 2025-06-14

Kafka 未读

数据可靠性

ACK应答级别思考 Leader收到数据，所有的Follower都开是同步数据，但有一个Follower，因为某种故障，迟迟不能与Leader进行同步，那这个问题怎么解决呢？解决 ==Leader维护了一个动态的in-sync replica set(ISR)，意为和Leader保持同步的Fol

Kafka 2025-06-14

Kafka 未读

指定方式消费

指定offset消费 ==auto.offset.reset=earliest | latest | none== 默认是latest。当Kafka中没有初始偏移量（消费者组第一次消费）或服务器上不再存在当前偏移量时（例如该数据已被删除），该怎么办？ earliest：自动将偏移量重置为最早的偏移

Kafka 2025-06-14

Kafka 未读

Zookeeper 中的 Kafka 信息

Kafka 2025-06-14

Kafka 未读

Kafka高效读写

Kafka如何做到高效读写 Kafka本身是分布式集群，可以采用分区技术，并行度高读数据采用稀疏索引，可以快速定位要消费的数据顺序写磁盘：Kafka的生产者生产数据，要写入到log文件中，写的过程是==一直追加==到文件末端，为顺序写。官网数据表名，同样的磁盘，顺序写速度能达到 600M/s，而

Kafka 2025-06-14

Kafka 未读

Kafka的副本基本信息

Kafka副本的作用：提高数据的可靠性； Kafka默认副本只有 1 个，生产环境一般配置为两个，保证数据的可靠性；太多的副本会增加磁盘存储空间，增加网络上数据传输，降低效率; Kafka中副本分为：Leader和Follower。Kafka的生产者只会把数据发往Leader，然后Follower

Kafka 2025-06-14