Corey Blog

「我感觉自己还能抢救一下」

HDFS 核心概念——把文件切成面包片，分散到你家三台电脑

Hadoop 入门系列 · 第 2 篇

Hadoop 入门系列 · 第 2/10 篇 上一篇：《Hadoop 是什么？》 下一篇预告：《HDFS 读写流程——一个 300MB 文件的奇幻漂流》 开头：一份 10GB 的文件，怎么存进三台旧电脑？ 你家里有三台旧电脑，每台只剩 500GB 硬盘。现在有一份 10GB 的视频素材 要保存，还要 防止任意一台硬盘坏掉就全丢。 你会怎么做？ 把文件 切成很多小块 ...

Posted by Corey on June 7, 2026

Hadoop 是什么？——为什么普通硬盘能拼出「超级电脑」

Hadoop 入门系列 · 第 1 篇

Hadoop 入门系列 · 第 1/10 篇 下一篇预告：《HDFS 核心概念——把文件切成面包片，分散到你家三台电脑》 开头：一台 1TB 硬盘装不下，怎么办？ 假设你是一家电商公司的数据工程师。双 11 当天，用户点击、下单、支付、退款……每一秒都在产生日志。 一天下来：500 GB 存一年：180 TB 还要做统计：哪个商品卖得最好？哪个地区退货率最高？...

Posted by Corey on June 6, 2026

10 分钟搞懂 Hadoop：Docker 搭建最小集群 + WordCount 实战

用 HDFS 存文件、用 MapReduce 做词频统计，一次看懂大数据框架在干什么

很多人听过 Hadoop，但说不清它到底解决什么问题。 这篇文章不讲架构 PPT，而是用 Docker 起一个最小集群，跑通一个 WordCount（词频统计） 例子——这是大数据领域的「Hello World」。 读完后你会知道：Hadoop 不是神秘黑盒，而是 分布式存储 + 分布式计算 的组合。 阅读时间：约 15 分钟（含动手） 环境要求：已安装 Docker /...

Posted by Corey on June 6, 2026

从零开始：在 Windows 上装 Ubuntu、Docker，并跑起 Hadoop

WSL 权限、镜像加速、镜像 tag 踩坑全记录

开头：表面问题 vs 真实问题 表面上的目标很简单：在 Windows 本机的 Ubuntu 22.04 里，用 Docker 跑一个 Hadoop（HDFS）容器。 实际跑下来，先后撞上了 三层不同性质的问题： 权限问题 —— 用户不在 docker 组，无法访问 /var/run/docker.sock 网络问题 —— 直连 Docker Hub 超时，需要国内镜像加速 ...

Posted by Corey on June 5, 2026

Lambda 与 Kappa 架构：关键概念学习笔记

从批流分离到统一日志，大数据架构选型的概念清单与对照图

学习 Lambda 架构时，最容易陷入「记住了三层名字，却说不清为什么要这样设计」的困境。真正需要掌握的不是名词本身，而是背后的设计权衡和核心概念。 这篇笔记按「概念 → 作用 → 两者关联」整理了我目前收集的 Lambda / Kappa 关键概念，方便日后复习和架构选型。 一、先建立整体图景 Lambda 架构由 Nathan Marz 提出，核心思路是：用批处...

Posted by Corey on June 5, 2026

用 B1 英语读 ACM 论文：最终一致性（Eventual Consistency）生词精讲

从一篇分布式系统经典文章出发，整理 60+ 高频词，附中文释义与记忆提示

原文：Peter Bailis & Ali Ghods, Eventual Consistency Today: Limitations, Extensions, and Beyond, Communications of the ACM, May 2013. DOI: 10.1145/2447976.2447992 学习目标：在 B1 词汇量基础上，先背生词再读原文，不要求一...

Posted by Hux on June 1, 2026

技术专家10问自查清单

作为一名专业的技术专家，他们往往在学习一个东西的时候，能够看得更加透彻，更加的深刻，这是为什么呢，思考模型是怎样的，究竟怎样学习呢？ 为了构建技术专家思维的骨架，我们需要一套思考的方式。 下面来举一个例子，看看常见的学习方式，和专家是如何学习一个知识点的。 比如说：我们需要学习RabbitMq的ACK机制，那么一般的情况，我们就是直接去搜索网上的一些资料，然后稍微的总结和归纳一...

Posted by Corey on May 13, 2026

三阶段实战：Playwright CLI + Skills 打造自动 AI 简报系统

三阶段实战：Playwright CLI + Skills 打造自动 AI 简报系统 如果你还在手动搜索、复制、粘贴 AI 行业的新闻，那你还停留在信息获取的 1.0 时代。 真正的 2.0 时代，是你睡一觉醒来，邮箱里已经躺着一份排版精美的《AI 行业简报》，内容包括昨天所有重要的 AI 动态——全过程零人工干预，0 Token 消耗。 这不是科幻。这是 Playwright CLI...

Posted by Corey on April 26, 2026

告别重复劳动：Playwright CLI + Skills 实战案例大全

一个最简单的Function Calling 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61...

Posted by Corey on April 26, 2026

告别重复劳动：Playwright CLI + Skills 实战案例大全

告别重复劳动：Playwright CLI + Skills 实战案例大全 如果你还在让 AI 帮你写自动化脚本，那你还停留在 AI 编程的 1.0 时代。 真正的 2.0 时代，是你说一句话，AI 自己打开浏览器、点击、输入、抓取数据、生成报告——全过程零人工干预。 这不是科幻。这是 Playwright CLI + Skills 正在做的事情。 本文将用 5 个完整的实战案例，并...

Posted by Corey on April 26, 2026

FEATURED TAGS
Windows Hadoop Hadoop入门系列 问题解决 Playwright CLI HAMi HDFS Skills 大数据 Docker Git MapReduce OpenCode Spark Blog GitHub Hive LangChain MCP YARN
ABOUT ME

至少要挣扎一下的程序员