plantpulse-warehouse (データウェアハウス / レイクハウス)
役割
Aster TSDB の時系列データを Apache Iceberg 形式で RustFS にアーカイビングする レイクハウス モジュール。長期保存、分析クエリのパフォーマンス、他の BI ツールとの連携のために使用します。
| 項目 | 値 |
|---|---|
| モジュール名 | plantpulse-warehouse-web |
| インストールパス | /opt/kopens/plantpulse-platform/plantpulse-warehouse/ |
| ポート | 9600 |
| 形式 | Apache Iceberg V2 |
| 保存 | RustFS (S3) |
構成
ディレクトリ構造
plantpulse-warehouse/
├── app/ # 웨어하우스 서비스
├── bin/start.sh stop.sh log-viewer.sh
├── config/
├── etc/ # PID 관리
├── lib/ # Spark JAR
├── logs/system.log
└── s3/
├── archive.sh # 아카이빙
└── optimize.sh # 테이블 최적화
アーカイビング (archive.sh)
# 전일 데이터 아카이빙 (기본)
/opt/kopens/plantpulse-platform/plantpulse-warehouse/s3/archive.sh
# 특정 날짜
/opt/kopens/plantpulse-platform/plantpulse-warehouse/s3/archive.sh 2026-05-29
- 1,000,000 件 기준 約 60 秒
- 対象: Aster TSDB
tm_tag_point→ RustFSplantpulse-iceberg/warehouse/tag_point/ - パーティション:
dt=YYYY-MM-DD/hh=HH/
Iceberg テーブルの最適化 (optimize.sh)
小さなファイルのマージ、期限切れスナップショットの削除、メタデータの整理。
/opt/kopens/plantpulse-platform/plantpulse-warehouse/s3/optimize.sh
推奨サイクル: 週 1 回、夜間。手動で実行する必要はほぼありません — Temporal が
PP-S3-OPTIMIZER-WEEKLY(日曜 04:00)で既に実行しており、上記スクリプトはその
ワークフローが呼び出すものと同じです。時刻は OP_TIME に変更します。
運用コマンド
cd /opt/kopens/plantpulse-platform/plantpulse-datalake-cli/bin
./restart-warehouse.sh
./pd status # 9600 RUNNING 확인
# 표준 헬스체크 (익명, 순수 liveness — 공통 3개 필드 + 시스템/JVM 메트릭 포함)
curl -fsS http://127.0.0.1:9600/api/health
# → {"status":"UP","service":"plantpulse-warehouse-s3","ts":..., ...}
頻繁に発生する問題
| 症状 | 原因 | 対処 |
|---|---|---|
| アーカイビング Job 失敗 | Spark / Hive 未準備 | pd restart analytics 後に再試行 |
| 小さなファイルの急増 | optimize.sh 未実行 | 週 1 回、定期的に実行 |
| RustFS ディスク不足 | retention 未設定 | Iceberg expire snapshots + ライフサイクルポリシー |
| Kyuubi クエリ OOM | 大きなテーブル / パーティション欠落 | WHERE dt = '...' を明示 |
SQL クエリ例
USE iceberg;
-- 메타데이터
DESCRIBE TABLE EXTENDED tag_point;
-- 5월 집계
SELECT tag_id, count(*) AS rows, min(time), max(time)
FROM tag_point
WHERE dt BETWEEN '2026-05-01' AND '2026-05-31'
GROUP BY tag_id
ORDER BY rows DESC
LIMIT 100;
-- 스냅샷 이력
SELECT * FROM tag_point.snapshots;
SELECT * FROM tag_point.history;