项目简介

KD-H 是一款开源的 Hadoop 集群自动部署与管理平台，支持全自动、半自动、手动三种部署模式，集成 SSH 免密、Web 可视化、进度与日志同步、集群 Web UI 直达等特性。

  • 全自动部署与一键配置
  • SSH 免密互信自动分发
  • Web 可视化界面与实时进度
  • 自定义 Hadoop/Java 包上传
  • 多模式灵活切换
  • 部署日志与步骤同步高亮

系统要求

  • 操作系统：Linux (推荐 CentOS 7+/Ubuntu 18.04+)
  • Python 版本：3.8 及以上
  • 内存：4GB 及以上（推荐 8GB+）
  • 磁盘空间：10GB 及以上
  • 网络：稳定的互联网连接

安装与快速开始

  1. 1 克隆仓库：git clone https://github.com/violet27-chf/KD-H.git
  2. 2 进入目录并创建虚拟环境：cd KD-H && python3 -m venv toolsvenv && source toolsvenv/bin/activate
  3. 3 安装依赖：pip install -r requirements.txt
  4. 4 启动服务：python app.py
  5. 5 浏览器访问 http://localhost:5000，开始部署

使用指南

  • 选择部署模式（全自动/半自动/手动）
  • 填写服务器信息，支持多节点
  • （可选）上传 Hadoop/Java 安装包
  • 点击"开始部署"，实时查看进度与日志
  • 部署完成后，页面下方显示 Hadoop 集群 Web UI 入口

配置说明

所有部署参数可在 Web 界面填写，支持多节点、端口、Hadoop/Java 版本、副本数等。无需手动编辑配置文件。

部署方式指南

本地部署（推荐）

优势特点

  • ✅ 无需端口映射，直接访问
  • ✅ 网络延迟低，响应速度快
  • ✅ 功能完整，体验最佳
  • ✅ 支持所有部署模式
  • ✅ 实时日志和进度监控
  • ✅ 集群Web UI直达

适用场景

内网环境、开发测试、学习体验、生产环境部署

快速开始

  1. 在本地机器上安装并启动HadoopDeploy Tool
  2. 确保目标服务器在同一网络环境
  3. 直接填写服务器IP地址进行部署

公网部署

特点说明

  • 🔧 需要配置端口映射
  • 🔧 网络延迟相对较高
  • 🔧 功能可能受限
  • 🔧 需要稳定的网络连接
  • 🔧 依赖第三方服务
  • 🔧 可能存在安全风险

适用场景

远程部署、演示展示、临时使用

ChmlFrp端口映射配置

推荐使用：ChmlFrp 进行端口映射配置
配置步骤
  1. 注册账号：访问 ChmlFrp官网 并注册账号
  2. 下载客户端：在"客户端下载"页面选择与您操作系统匹配的版本（Windows/Linux/Mac）
  3. 创建隧道：登录管理面板，点击"添加隧道"，填写如下参数：
    • 本地IP：虚拟机的内网IP地址
    • 本地端口：22（SSH端口）
    • 隧道类型：TCP
    • 远程端口：自动分配或自定义
    • 中转节点：选择延迟低的节点
  4. 下载配置文件：在隧道详情页下载 frpc.ini 配置文件
  5. 启动客户端：将 frpc.exe（或 frpc）与 frpc.ini 放在同一目录，命令行运行：
    frpc.exe -c frpc.ini
  6. 公网SSH连接：使用分配的公网IP和端口，示例：
    ssh 用户名@公网IP -p 分配端口
高级配置
  • 设置开机自启动
  • 配置多个隧道
  • 设置访问控制
故障排查
  • 检查防火墙设置
  • 验证端口占用情况
  • 确认网络连接状态
  • 查看客户端日志
注意事项
  • 务必保证本地22端口未被占用，且虚拟机网络为桥接或能被宿主机访问
  • 建议优先选择延迟低的中转节点，提升连接速度
  • 如需映射Web端口（如5000），可新建隧道，端口填写5000
  • 更多帮助请参考 官方帮助文档

部署方式对比

本地部署

  • ✅ 无需端口映射，直接访问
  • ✅ 网络延迟低，响应速度快
  • ✅ 功能完整，体验最佳
  • ✅ 支持所有部署模式

适用场景：内网环境、开发测试

公网部署

  • 🔧 需要配置端口映射
  • 🔧 网络延迟相对较高
  • 🔧 功能可能受限
  • 🔧 需要稳定的网络连接

适用场景：远程部署、演示展示

推荐建议：优先选择本地部署体验完整功能，公网部署适合远程场景。本地部署提供更稳定、更快速、更安全的部署体验。

常见问题

  • 虚拟环境激活失败： 检查 Python 版本与命令
  • 依赖安装失败： 升级 pip，或使用国内镜像源
  • 端口被占用： 修改 app.py 中的端口号
  • 文件上传失败： 检查格式、大小和网络
  • 部署失败： 检查服务器连接、权限和日志

贡献指南

  1. Fork 项目并创建特性分支
  2. 提交更改并推送到分支
  3. 提交 Pull Request
  4. 欢迎代码、文档、测试等各类贡献

联系我们

注意：生产环境部署前请务必阅读安全配置章节。
返回首页