数据湖概览
数据湖(DataLake) 是 PlantPulse 平台的基础设施层。数据库、消息代理、分析引擎、时序引擎、工作流引擎等「数据被存储和流动」的所有组件都在这里,其上运行网页控制台、批处理、仓库等应用。
本章节最常查看的页面
- 配置文件位置 — 哪些改动能在重启后保持
- 如何更改配置 — 参数值、节点地址、模板、内存
- 更改密码和 API 密钥 —
passwd.sh一条命令 - 管理控制台 — 在浏览器中查看状态、日志、备份
- 常见问题
一个容器,八个服务
数据湖在主机上运行为**plantpulse-datalake 容器一个**。其中八个服务以指定的顺序启动。顺序的规范在容器内的 plantpulse-datalake-cli/services/order.txt 文件中定义。
storage → analytics → messaging → timeseries → cep → workflow → data-gateway → admin-api
| 顺序 | 服务 | 包含组件 | 端口 | 功能 |
|---|---|---|---|---|
| 1 | storage | Valkey · PostgreSQL · Cassandra · MinIO | 6379 · 5432 · 9042 · 9000 | 缓存、元数据、时序、对象存储 |
| 2 | analytics | Spark · Hive · Gravitino · Kyuubi | 7077/4440 · 9083 · 19001 · 10000 | 分布式分析和 SQL 网关 |
| 3 | messaging | Kafka · HiveMQ(MQTT) | 9092 · 1883 | 现场数据采集和模块间事件传递 |
| 4 | timeseries | 时序引擎 · Grafana | 7800 · 3000 | 时序存储、查询、仪表板 |
| 5 | cep | CEP 服务器 | 7400 | 复杂事件处理(EQL) |
| 6 | workflow | Temporal · Kestra | 7233/8233 · 8380 | 长时间运行任务和数据管道 |
| 7 | data-gateway | 数据网关 | 5500 | 外部系统数据查询入口(包含 SQL 控制台) |
| 8 | admin-api | 管理控制台后端 | 4949 · 4950 | 本节点的运维控制台和健康检查 API |
storage 和 analytics 是守门人。这两个如果没启动,后面的服务不会被尝试。其余服务不启动时会记录警告并继续。
plantpulse-sql 已弃用(2026-09-07)旧文档中的「SQL 查询服务(4000 端口)」已从镜像中删除。在控制台执行 SQL 的位置现在是数据网关控制台(https://<server-ip>:5501/) → plantpulse-sql (已弃用)
在哪里做什么
操作数据湖有三个地方。只需了解在哪个地方做什么,本章节的其余部分都是参考资料。
| 地点 | 命令、界面 | 操作内容 |
|---|---|---|
主机(/opt/kopens/plantpulse-platform-docker/bin/) | up.sh down.sh restart.sh restart-datalake.sh status.sh logs.sh shell.sh passwd.sh | 启动/停止容器、更改密码、修改配置文件。运维人员的入口点 |
容器内(docker exec plantpulse-datalake pd …) | pd status pd doctor pd logs pd config diff pd restart <서비스> pd backup | 重启单个服务、检查配置是否正确渲染、创建备份 |
浏览器(https://<server-ip>:4950/) | 管理控制台 | 在界面中查看状态、指标、日志、诊断、备份、配置差异。也可执行命令行中允许的 pd 动词 |
修改值的地点只有主机
容器内的配置文件(/opt/kopens/plantpulse-platform/<module>/conf/…)都是生成物。在其中修改的内容会在下次启动时消失。值的规范源在主机的 /etc/kopens/ 目录下的一组文件,详见配置文件位置。
首先 5 分钟 — 检查是否正常
以下命令都是只读的。不会改变任何东西,随时可以运行。
# 1. 호스트에서 — 컨테이너와 헬스 요약. 종료 코드 0 = 정상, 2 = 비정상
cd /opt/kopens/plantpulse-platform-docker/bin
./status.sh
# 2. 컨테이너 안 — 서비스별 포트 표. 마지막 줄 "0 STOPPED" 면 정상
docker exec plantpulse-datalake pd status
# 3. 컨테이너 안 — 환경이 조용히 어긋난 곳은 없나. 마지막 줄 "FAIL 0" 이면 정상
docker exec plantpulse-datalake pd doctor
# 4. 브라우저 — 관리 콘솔
# https://<server-ip>:4950/?lang=ko
在 pd status 中启动后数十秒内出现一个 STOPPED 是正常的。因为 analytics 中的 Kyuubi 最后启动(实测 54 秒)。等待 1 分钟后再查看。
本章节的组织结构
| 页面 | 何时查看 |
|---|---|
| 路径地图 | 「那个文件在哪里」时 — 主机、容器、卷、日志 |
| 环境配置 | 配置文件位置、修改流程、变量参考 |
| 自格证明 | 服务密码、API 密钥轮换、网页登录账户 |
| 管理控制台 | 浏览器控制台的访问、登录、界面构成 |
pd CLI | 容器内所有运维命令 |
| 运维 | 启动、停止、重启,日志、健康检查,备份、恢复 |
| 组件 | 存储、消息、分析、时序、CEP、工作流、网关各自的细节 |
| 常见问题 | 常见问题症状和解决方案 |