使用 Docker Compose 部署大数据集群：Spark + Hadoop + Hive + JupyterLab

Sat, 15 Nov 2025 00:00:00 +0000

麻雀虽小，五脏俱全。

GitHub 项目地址：bigdata-env

我有两台树莓派。

凭借超高颜值，安安静静地摆在那里，就是超绝桌搭。担心没有实用性？有的兄弟，包有的。装上 JupyterLab，它是数据科学工作站；装上 Kali Linux，它是黑客界的瑞士军刀；装上 llama.cpp，它是你的私有 LLM 推理服务器。

你可能不屑一顾，这些事一台树莓派也能搞定，何必弄两台呢？看来只有做一些两台机器才能办到的事，才算物尽其用。因此，我计划部署一个大数据集群。部署大数据集群是个技术活，不要期待一开始就在硬件上部署。可以先在 Docker Compose 上跑通，再尝试硬件部署。

Note: 如果对装机过程感兴趣，可以参考我的博客《树莓派 5 装机指南》

「大数据集群」是个宽泛的词儿。

装了 Spark 的，可以是大数据集群；装了 Spark + Hadoop 的，也可以是大数据集群。那么到底要装到什么程度呢？这取决于我们的需求。作为常年耕作在数据一线的工程师，我认为基础需求包括：

我的目标是搭建一个满足这些需求的集群。当然，我们没有必要从零开始搭建，因为前人已经有很优秀的工作。只需要基于前人的工作做一些拓展，就能实现我们想要的功能。s1mplecc 大佬的《使用 Docker 快速部署 Spark + Hadoop 大数据集群》就是一个很棒的基础工作。

大佬已经实现了 Spark + Hadoop 集群，我只需要新增以下内容：

主要增加了 Hive、JupyterLab 和 miniconda3。Hive 让我们更轻松地管理分区表；JupyterLab 提供了用于调试开发的浏览器界面；miniconda3 用作 Python 包管理。

Hadoop on Chang Luo