データレイク概要
データレイク(DataLake) は、PlantPulse プラットフォームの インフラ層です。データベース・メッセージブローカー・分析エンジン・時系列エンジン・ワークフローエンジンのように「データが保存され、流れる」すべてがここにあり、その上でWebコンソール・バッチ・ウェアハウスなどの アプリケーション が動作します。
このセクションで最も頻繁に参照するページ
- 設定ファイルはどこにあるか — 何を変更すれば再起動後も維持されるか
- 設定変更方法 — 値・ノードアドレス・テンプレート・メモリ
- パスワード・APIキー変更 —
passwd.shの1コマンド - 管理コンソール — ブラウザで状態・ログ・バックアップを確認
- データクエリ — PostgreSQL・CQL・Spark SQL のどれを使うか
- 時系列データベース — センサー値を格納する汎用時系列DB。時系列関数・圧縮・全文検索
- 時系列エンジン — メトリクス専用エンジン(TSE)。TQL・Prometheus・PlantPulse Dashboard
- CEP — 流れるイベントを即時判定する。EQL・バックエンド・イベントタイプ
- データゲートウェイ — 外部システム・BI・AI が入る唯一の窓口
- よくある質問
1コンテナ、8つのサービス
データレイクは、ホスト上で plantpulse-datalake の1コンテナとして動作します。その中で8つのサービスが定義された順序で起動します。順序の正本は、コンテナ内の plantpulse-datalake-cli/services/order.txt という1ファイルです。
storage → analytics → messaging → timeseries → cep → workflow → data-gateway → admin-api
| 順序 | サービス | 内部に含まれるもの | ポート | 役割 |
|---|---|---|---|---|
| 1 | storage | Valkey・PostgreSQL・Aster TSDB・RustFS | 6379・5432・9042・9000 | キャッシュ・メタデータ・時系列・オブジェクト保存 |
| 2 | analytics | Spark・Hive・Gravitino・Kyuubi・Flink(+ SQL Gateway) | 7077/4440・9083・19001・10000・8181・8083 | 分散分析とSQLゲートウェイ |
| 3 | messaging | Kafka・HiveMQ(MQTT) | 9092・1883 | 現場データ収集とモジュール間イベント伝達 |
| 4 | timeseries | 時系列エンジン・PlantPulse Dashboard | 7800・3000 | メトリクスの保存・照会・ダッシュボード(センサー値は storage の9042) |
| 5 | cep | CEPサーバー | 7400 | 複合イベント処理 — EQL登録・検証・コンソール、そしてエンジン |
| 6 | workflow | Temporal・Kestra | 7233/8233・8380 | 長時間ジョブとデータパイプライン |
| 7 | data-gateway | データゲートウェイ | 5500 | 外部システムのデータ照会窓口(SQLコンソール含む) |
| 8 | admin-api | 管理コンソールバックエンド | 4949・4950 | このノードの運用コンソールとヘルスAPI |
storage と analytics はゲートキーパーです。この2つが起動しなければ、後続のサービスは起動を試みることすらしません。それ以外は、起動しなくても警告を残して先に進みます。
どこで何をするか
データレイクを操作する場所は3つです。どの場所で何をするかさえ分かれば、このセクションの残りは参考資料です。
| 場所 | コマンド・画面 | 役割 |
|---|---|---|
ホスト (/opt/kopens/plantpulse-platform-docker/bin/) | up.sh down.sh restart.sh restart-datalake.sh status.sh logs.sh shell.sh passwd.sh | コンテナの起動・停止、パスワード変更、設定ファイルの編集。オペレーターの最初の入口 |
コンテナ内 (docker exec plantpulse-datalake pd …) | pd status pd doctor pd logs pd config diff pd restart <서비스> pd backup | 1つのサービスを再起動、設定が正しくレンダリングされたか確認、バックアップ取得 |
ブラウザ (https://<server-ip>:4950/) | 管理コンソール | 状態・メトリクス・ログ・診断・バックアップ・設定diff を画面で確認。コマンド画面で許可された pd 動詞を実行することも可能 |
値を変更するのはホストのみ
コンテナ内の設定ファイル(/opt/kopens/plantpulse-platform/<module>/conf/…)はすべて生成物です。そこで変更した内容は次回起動時に消えます。値の正本はホストの /etc/kopens/ 配下のファイル一式で、詳細は設定ファイルはどこにあるかにあります。
最初の5分 — 正常かどうか確認する
以下のコマンドはすべて読み取り専用です。何も変更しないので、いつ実行しても構いません。
# 1. 호스트에서 — 컨테이너와 헬스 요약. 종료 코드 0 = 정상, 2 = 비정상
cd /opt/kopens/plantpulse-platform-docker/bin
./status.sh
# 2. 컨테이너 안 — 서비스별 포트 표. 마지막 줄 "0 STOPPED" 면 정상
docker exec plantpulse-datalake pd status
# 3. 컨테이너 안 — 환경이 조용히 어긋난 곳은 없나. 마지막 줄 "FAIL 0" 이면 정상
docker exec plantpulse-datalake pd doctor
# 4. 브라우저 — 관리 콘솔
# https://<server-ip>:4950/?lang=ko
pd status で起動直後の数十秒間に STOPPED が1つ見えるのは正常です。analytics 内の Kyuubi が最後に起動するためです(実測54秒)。1分後に再度確認してください。
このセクションの構成
| ページ | 参照タイミング |
|---|---|
| パス地図 | 「あのファイルはどこにある?」というとき — ホスト・コンテナ・ボリューム・ログ |
| 環境設定 | 設定ファイルの場所、変更手順、変数リファレンス |
| 資格情報 | サービスパスワード・APIキーのローテーション、Web画面ログインアカウント |
| 管理コンソール | ブラウザコンソールの接続・ログイン・画面構成 |
pd CLI | コンテナ内の運用コマンド一覧 |
| 運用 | 開始・停止・再起動、ログ・ヘルス、バックアップ・復元 |
| CEP | EQL でリアルタイムルールを記述・実行 — 言語・イベントタイプ・運用・制限 |
| データゲートウェイ | 4つの言語を1つのRESTに — API・制御と制限 |
| コンポーネント | ストレージ・メッセージング・分析・時系列・CEP・ワークフロー・ゲートウェイ各々の詳細 |
| FAQ | よくある症状と回答 |
関連ドキュメント
- システムの起動と停止 — スタック全体の起動・停止
- ポートとサービスの管理 — 公開ポート一覧とファイアウォール
- バックアップと復旧 — バックアップツールと災害復旧シナリオ
- 初期パスワードの変更 — コミッショニングチェックリスト