データレイク概要
データレイク(DataLake) は PlantPulse プラットフォームのインフラ層です。データベース・メッセージブローカ・分析エンジン・時系列エンジン・ワークフローエンジンのように«データが保存され流れる»すべてのものがここにあり、その上でウェブコンソール・バッチ・ウェアハウスといったアプリケーションが動作します。
- 設定ファイルはどこにあるか — 何を修正すると再起動後も生き残るか
- 設定を変更する方法 — 値・ノードアドレス・テンプレート・メモリ
- パスワード・APIキーを変更する —
passwd.shコマンド一つで - 管理コンソール — ブラウザから状態・ログ・バックアップを表示
- よくある質問
1コンテナ、8サービス
データレイクはホスト上で**plantpulse-datalake コンテナ 1 つとして動作します。その中で 8 つのサービスが定められた順序**で起動します。順序の定義はコンテナ内のplantpulse-datalake-cli/services/order.txt というファイル 1 つです。
storage → analytics → messaging → timeseries → cep → workflow → data-gateway → admin-api
| 順序 | サービス | 含まれるもの | ポート | 役割 |
|---|---|---|---|---|
| 1 | storage | Valkey・PostgreSQL・Cassandra・MinIO | 6379・5432・9042・9000 | キャッシュ・メタデータ・時系列・オブジェクト保存 |
| 2 | analytics | Spark・Hive・Gravitino・Kyuubi | 7077/4440・9083・19001・10000 | 分散分析と SQL ゲートウェイ |
| 3 | messaging | Kafka・HiveMQ(MQTT) | 9092・1883 | 現場データ収集とモジュール間イベント伝達 |
| 4 | timeseries | 時系列エンジン・Grafana | 7800・3000 | 時系列保存・照会・ダッシュボード |
| 5 | cep | CEP サーバ | 7400 | 複合イベント処理(EQL) |
| 6 | workflow | Temporal・Kestra | 7233/8233・8380 | 長時間実行ジョブとデータパイプライン |
| 7 | data-gateway | データゲートウェイ | 5500 | 外部システムのデータ照会ウィンドウ(SQL コンソール含む) |
| 8 | admin-api | 管理コンソール バックエンド | 4949・4950 | このノードの運用コンソールとヘルス API |
storage とanalytics はゲートキーパーです。この両者が起動しないと、後のサービスは起動を試みません。その他は起動しなくても警告を出して続行します。
plantpulse-sql は廃止されました (2026-09-07)古いドキュメントの«SQL クエリサービス(ポート 4000)»はイメージから削除されています。コンソールで SQL を実行する場所は今ではデータゲートウェイコンソール(https://<server-ip>:5501/)です → plantpulse-sql (廃止)
どこで何をするのか
データレイクを操作する場所は3 つです。どの場所で何をするかさえ分かれば、このセクションの残りはリファレンスです。
| 場所 | コマンド・画面 | 役割 |
|---|---|---|
ホスト (/opt/kopens/plantpulse-platform-docker/bin/) | up.sh down.sh restart.sh restart-datalake.sh status.sh logs.sh shell.sh passwd.sh | コンテナを起動・停止し、パスワードを変更し、設定ファイルを修正します。運用者の最初の入口 |
コンテナ内 (docker exec plantpulse-datalake pd …) | pd status pd doctor pd logs pd config diff pd restart <서비스> pd backup | サービス 1 つを再起動したり、設定が正しく展開されたか確認したり、バックアップを取得します |
ブラウザ (https://<server-ip>:4950/) | 管理コンソール | 状態・メトリクス・ログ・診断・バックアップ・設定 diff を画面で表示します。コマンド画面で許可されたpd 動詞を実行することもできます |
コンテナ内の設定ファイル(/opt/kopens/plantpulse-platform/<module>/conf/…)はすべて生成物です。そこで修正したものは次回起動時に消えます。値の正本はホストの/etc/kopens/ 下のファイル群であり、詳細は設定ファイルはどこにあるかを参照してください。
最初の 5 分 — 正常性を確認する
以下のコマンドはすべて読み取り専用です。何も変更しないので、いつ実行しても安全です。
# 1. 호스트에서 — 컨테이너와 헬스 요약. 종료 코드 0 = 정상, 2 = 비정상
cd /opt/kopens/plantpulse-platform-docker/bin
./status.sh
# 2. 컨테이너 안 — 서비스별 포트 표. 마지막 줄 "0 STOPPED" 면 정상
docker exec plantpulse-datalake pd status
# 3. 컨테이너 안 — 환경이 조용히 어긋난 곳은 없나. 마지막 줄 "FAIL 0" 이면 정상
docker exec plantpulse-datalake pd doctor
# 4. 브라우저 — 관리 콘솔
# https://<server-ip>:4950/?lang=ko
pd status で起動直後数十秒間 STOPPED が 1 つ表示されることは正常です。analytics 内の Kyuubi が最後に起動するからです(実測 54 秒)。1 分後に再度確認してください。
このセクションの構成
| ページ | どんな時に見るか |
|---|---|
| パスマップ | «そのファイルはどこにあるのか»と思った時 — ホスト・コンテナ・ボリューム・ログ |
| 環境設定 | 設定ファイルの位置、変更手順、変数リファレンス |
| 認証情報 | サービスパスワード・API キーのローテーション、ウェブ画面ログインアカウント |
| 管理コンソール | ブラウザコンソールのアクセス・ログイン・画面構成 |
pd CLI | コンテナ内運用コマンド全体 |
| 運用 | 起動・停止・再起動、ログ・ヘルス、バックアップ・復元 |
| コンポーネント | ストレージ・メッセージング・分析・時系列・CEP・ワークフロー・ゲートウェイ各々の詳細 |
| FAQ | よくある症状と回答 |
関連ドキュメント
- システム起動および停止 — スタック全体の起動・停止
- ポートおよびサービス管理 — 公開ポート全体リストとファイアウォール
- バックアップおよび復旧 — バックアップツールと災害復旧シナリオ
- 初期パスワードの変更 — コミッショニングチェックリスト