Kafka 是什么？——高吞吐日志型消息系统

Kafka 系列 · 第 1/11 篇
下一篇预告：《Kafka 快速上手——单机、收发与消费者组》

---

开头：日志量暴涨，同步调用扛不住了

你的微服务每天产生几 GB 应用日志，还要把用户行为、订单事件实时推给下游风控、BI、搜索索引。如果全部走 HTTP 同步调用，上游一旦慢或挂，整条链路都会拖死。

Kafka 要解决的，正是海量数据的高吞吐流转：生产者把消息写入分布式日志，消费者按自己的节奏订阅、回放。它最初在 LinkedIn 用来收集和处理复杂应用日志，这个出身决定了它「日志型、高吞吐、可扩展」的产品基因。

---

一、MQ 的作用（简要）

消息队列（Message Queue）把数据从生产者排队交给消费者，典型作用有三：

作用	直觉类比	价值
异步	快递员把包裹放驿站，不必等客户签收	提高响应速度与吞吐量
解耦	编辑社把英文书译成多语种	服务独立演进，支持一对多分发
削峰	三峡大坝蓄水、下游匀速放水	用稳定资源应对突发流量

QQ、微信也是典型的 MQ——只不过对接的是人；Kafka 对接的是应用程序。

---

二、Kafka 产品介绍

Kafka 官网 上，它被称为分布式发布-订阅消息系统：由多个 Broker 组成，可跨数据中心部署，提供高可用与容错。

核心能力包括：

• 高吞吐、低延迟
• 水平扩展
• 持久化与容错
• 实时流处理、日志聚合、监控分析
• 与 Hadoop、Spark、Flink 等大数据生态集成

Apache Kafka 最初由 LinkedIn 开发，2011 年开源，主要解决大规模实时流式处理与数据管道问题。

---

三、Kafka 的典型特点

Kafka 诞生于日志聚合场景。一个典型应用如下：

业务场景决定了产品取舍。Kafka 最典型的特点：

1. 数据吞吐量很大 —— 需要快速收集各渠道海量日志。
2. 集群容错性高 —— 允许少量节点崩溃。
3. 功能相对聚焦 —— 设计目标是高吞吐、低延迟、可扩展，关注消息传递而非复杂消息处理；没有死信队列、严格顺序消息等 RabbitMQ 常见高级特性。
4. 历史上允许少量数据丢失 —— 海量日志里丢几条往往不影响统计结果；当然新版本在数据安全上持续加强。

---

小结

• Kafka 是面向日志与流数据的分布式 MQ，Broker 集群 + Topic 订阅模型。
• 强项是吞吐、扩展、持久化，弱项是复杂路由与事务型消息场景（相对 RabbitMQ）。
• 下一篇从单机安装开始，亲手发收消息并理解消费者组。