Hadoop 过时了吗？——从大数据编年史看下一代架构

Hadoop 入门系列 · 第 10/10 篇（收官）
上一篇：《离线数仓实战》
系列第 1 篇：《Hadoop 是什么？》

开头：2026 年了，还要学 Hadoop 吗？

Stack Overflow 上「Is Hadoop dead?」的帖子每年都被挖坟。

一边是云厂商推 S3 + EMR / 湖仓一体，一边是面试仍问 HDFS 副本机制、MapReduce Shuffle、YARN 调度。

Hadoop 过时了吗？

准确答案：Hadoop 作为「默认大数据平台」的地位已过，但作为「分布式系统的底层常识」永远不会过。

一、Hadoop 的历史贡献与现状

1.1 编年史

1.2 今天 Hadoop 还在哪儿用？

Hadoop 没有消失，但从「C 位」变成了「基础设施层」或「被云托管的隐形依赖」。

二、新技术的冲击

2.1 Spark —— 内存计算取代 MapReduce

今天的新项目： Hive on Spark / Spark SQL 是主流，裸 MapReduce 极少。

2.2 Flink —— 真正的流批一体

CEP（复杂事件处理）、Exactly-Once 语义 —— Flink 是实时数仓核心。

2.3 云原生 —— S3 替代 HDFS

1
2
传统：  自建 HDFS 集群 + NameNode HA + 运维 3 人
云原生：S3 存数据 + EMR/Serverless Spark 按需计算 + 0 运维存储

趋势：存储和计算彻底分离（Storage-Compute Separation）。

三、架构演进：Lambda → Kappa → 湖仓一体

3.1 Lambda 架构

flowchart TB
    SRC[数据源] --> BATCH[批处理层<br/>Hadoop/Hive<br/>T+1 准确]
    SRC --> SPEED[速度层<br/>Storm/Flink<br/>实时近似]
    BATCH --> SERVING[服务层<br/>合并查询]
    SPEED --> SERVING

• 批层：HDFS + Hive，全量准确
• 速层：实时流，低延迟但不精确
• 缺点：两套代码、两套逻辑，维护成本高

3.2 Kappa 架构

flowchart LR
    SRC[数据源] --> K[Kafka 日志流]
    K --> FLINK[Flink 流处理]
    FLINK --> SERVING[查询服务 / OLAP]

• 一切皆是流，批处理 = 流的重放
• Kafka 存全量历史，Flink 可重算任意时间段
• 优点：一套代码；缺点：Kafka 存储成本、重算耗时

3.3 湖仓一体（Lakehouse）

flowchart TB
    SRC[各类数据源] --> LAKE[数据湖<br/>S3 + Iceberg/Delta/Hudi]
    LAKE --> SPARK[Spark / Flink / Trino]
    SPARK --> BI[BI / ML / 实时]

核心创新：开放表格式（Table Format）

• Apache Iceberg / Delta Lake / Hudi
• 在对象存储上提供 ACID、Schema 演进、Time Travel、分区剪枝
• 同时支持 批分析 + 流写入 + ML 训练

湖仓一体 = 数据湖的灵活 + 数据仓库的管理能力

四、Hadoop 还值得学吗？

4.1 必须掌握的核心概念（永不过时）

不懂 HDFS，就不理解对象存储为什么也要「分块」；不懂 Shuffle，就不理解 Spark Job 为什么慢。

4.2 面试仍然高频

真实面试题（2025–2026 仍常见）：

1. HDFS 读写流程？Block 大小为什么 128MB？
2. MapReduce Shuffle 过程？
3. YARN 任务提交流程？
4. Hive 分区与分桶区别？
5. HBase RowKey 设计原则？
6. 数据倾斜怎么处理？（MR/Spark 通用）

4.3 学习 ROI 判断

1
2
3
4
5
6
你的目标                    建议
─────────────────────────────────────────
大数据开发工程师            Hadoop 基础 + Spark/Flink 主力
数据分析师                  Hive SQL + Spark SQL
后端转大数据                本系列 10 篇 + Spark 实战
只想用云 SQL               可跳过 MR 编程，但 HDFS 概念仍要懂

五、学习路线回顾 + 下一步

5.1 本系列 10 篇回顾

5.2 推荐下一步

flowchart LR
    A[Hadoop 基础<br/>本系列] --> B[Spark<br/>内存计算 + SQL]
    B --> C{方向选择}
    C --> D[Flink<br/>实时流]
    C --> E[湖仓<br/>Iceberg + Trino]
    C --> F[数据工程<br/>Airflow + dbt]

具体行动清单：

1. Spark —— 《Spark 快速大数据分析》+ 本地 spark-shell WordCount
2. Flink —— 官方 Training 跑 WindowWordCount
3. 云实践 —— 阿里云 MaxCompute / AWS EMR Serverless 跑 Hive SQL
4. 湖格式 —— 读 Iceberg 官方 Quickstart，理解 Time Travel
5. 环境 —— 延续 Docker Hadoop 环境，逐步叠加 Spark 容器

六、收官一句话

Hadoop 不是你要就职的公司，而是你要路过的城市。
你最终可能住在 Spark/Flink/湖仓一体的新城，但不懂 Hadoop 的路标，你会在新城里迷路。

感谢读完 Hadoop 入门系列 全部 10 篇。🐘

最终思考题

如果让你从零设计一个 2026 年的数据分析平台，你会选「自建 Hadoop 集群」还是「S3 + EMR Serverless + Iceberg」？列出你的决策依据（成本、运维、团队技能、数据规模、延迟要求）。

没有标准答案，但有清晰的思考框架 —— 这正是本系列想给你的。

系列索引

• 第 1 篇：Hadoop 是什么？
• 第 2 篇：HDFS 核心概念
• 第 3 篇：HDFS 读写流程
• 第 4 篇：MapReduce 思想
• 第 5 篇：YARN 资源调度
• 第 6 篇：Hive SQL 入口
• 第 7 篇：Kafka + Hadoop
• 第 8 篇：HBase
• 第 9 篇：离线数仓实战
• 第 10 篇：总结与展望

• Previous
  搭建一个离线数仓——从原始日志到 BI 报表
• Next
  调试 MyBatis 源码：从「能编译」到「能 Step Into」的完整复盘