Überblick über das DataLake
DataLake ist die Infrastrukturebene der PlantPulse-Plattform. Hier befindet sich alles, wo «Daten gespeichert werden und fließen»: Datenbanken, Message-Broker, Analyse-Engine, Zeitreihen-Engine und Workflow-Engine. Darauf aufbauend unterstützen Anwendungen wie Web-Konsole, Batch und Warehouse.
- Wo sind die Konfigurationsdateien — was muss geändert werden, um einen Neustart zu überleben
- So ändern Sie die Konfiguration — Werte, Knotenadressen, Vorlagen, Speicher
- Passwörter und API-Schlüssel ändern —
passwd.shein Befehl - Admin-Konsole — Status, Logs und Backups im Browser ansehen
- Datenabfrage — PostgreSQL, CQL oder Spark SQL – was verwenden?
- Zeitreihendatenbank — universelle Zeitreihen-DB für Sensorwerte. Zeitreihen-Funktionen, Kompression, Volltextsuche
- Zeitreihen-Engine — metrik-spezifische Engine (TSE). TQL, Prometheus, PlantPulse Dashboard
- CEP — bewertet fließende Ereignisse sofort. EQL, Backends, Ereignistypen
- Daten-Gateway — ein einziges Tor für externe Systeme, BI und KI
- Häufig gestellte Fragen
Ein Container, acht Dienste
Das DataLake läuft auf dem Host als ein einziger Container plantpulse-datalake. Darin starten acht Dienste in festgelegter Reihenfolge. Die maßgebliche Reihenfolge steht in einer Datei plantpulse-datalake-cli/services/order.txt im Container.
storage → analytics → messaging → timeseries → cep → workflow → data-gateway → admin-api
| Reihenfolge | Dienst | Enthält | Port | Funktion |
|---|---|---|---|---|
| 1 | storage | Valkey, PostgreSQL, Aster TSDB, RustFS | 6379, 5432, 9042, 9000 | Cache, Metadaten, Zeitreihen, Objektspeicher |
| 2 | analytics | Spark, Hive, Gravitino, Kyuubi, Flink (+ SQL Gateway) | 7077/4440, 9083, 19001, 10000, 8181, 8083 | Verteiltes Analysieren und SQL-Gateway |
| 3 | messaging | Kafka, HiveMQ (MQTT) | 9092, 1883 | Erfassung von Felddaten und Ereignisübertragung zwischen Modulen |
| 4 | timeseries | Zeitreihen-Engine, PlantPulse Dashboard | 7800, 3000 | Metrik-Speicherung, Abfragen, Dashboards (Sensorwerte über storage 9042) |
| 5 | cep | CEP-Server | 7400 | Complex Event Processing – EQL-Registrierung, Validierung, Konsole und Engine |
| 6 | workflow | Temporal, Kestra | 7233/8233, 8380 | Langlaufende Aufgaben und Daten-Pipelines |
| 7 | data-gateway | Daten-Gateway | 5500 | Abfragefenster für externe Systeme (inkl. SQL-Konsole) |
| 8 | admin-api | Backend der Admin-Konsole | 4949, 4950 | Betriebskonsole und Health-API dieses Knotens |
storage und analytics sind Türsteher. Wenn diese beiden nicht starten, versuchen die nachfolgenden Dienste nicht einmal einen Start. Die übrigen hinterlassen nur eine Warnung und fahren fort.
Wo wird was gemacht?
Es gibt drei Stellen, an denen Sie mit dem DataLake arbeiten. Sobald Sie wissen, was an welcher Stelle passiert, ist der Rest dieses Abschnitts nur Nachschlagewerk.
| Stelle | Befehl · Bildschirm | Funktion |
|---|---|---|
Host (/opt/kopens/plantpulse-platform-docker/bin/) | up.sh, down.sh, restart.sh, restart-datalake.sh, status.sh, logs.sh, shell.sh, passwd.sh | Container starten und stoppen, Passwörter ändern, Konfigurationsdateien bearbeiten. Erste Anlaufstelle für Betreiber |
Im Container (docker exec plantpulse-datalake pd …) | pd status, pd doctor, pd logs, pd config diff, pd restart <서비스>, pd backup | Einen einzelnen Dienst neu starten, prüfen, ob die Konfiguration korrekt gerendert wurde, oder ein Backup erstellen |
Browser (https://<server-ip>:4950/) | Admin-Konsole | Status, Metriken, Logs, Diagnose, Backup und Konfigurations-Diff im Bildschirm ansehen. Auch pd-Verben, die im Befehlsbildschirm erlaubt sind, können ausgeführt werden |
Die Konfigurationsdateien im Container (/opt/kopens/plantpulse-platform/<module>/conf/…) sind alle Generierte Dateien. Änderungen dort gehen beim nächsten Start verloren. Die maßgeblichen Werte liegen in einem Dateisatz unter /etc/kopens/ auf dem Host; Details finden Sie unter Wo sind die Konfigurationsdateien.
Die ersten 5 Minuten – Prüfen, ob alles normal läuft
Die folgenden Befehle sind alle nur lesend. Sie ändern nichts, also können Sie sie jederzeit ausführen.
# 1. 호스트에서 — 컨테이너와 헬스 요약. 종료 코드 0 = 정상, 2 = 비정상
cd /opt/kopens/plantpulse-platform-docker/bin
./status.sh
# 2. 컨테이너 안 — 서비스별 포트 표. 마지막 줄 "0 STOPPED" 면 정상
docker exec plantpulse-datalake pd status
# 3. 컨테이너 안 — 환경이 조용히 어긋난 곳은 없나. 마지막 줄 "FAIL 0" 이면 정상
docker exec plantpulse-datalake pd doctor
# 4. 브라우저 — 관리 콘솔
# https://<server-ip>:4950/?lang=ko
In pd status ist es normal, dass einige Sekunden nach dem Start ein STOPPED sichtbar ist. Das liegt daran, dass Kyuubi im analytics als letztes startet (gemessen: 54 Sekunden). Schauen Sie nach einer Minute noch einmal nach.
Struktur dieses Abschnitts
| Seite | Wann lesen? |
|---|---|
| Pfadübersicht | Wenn Sie fragen: «Wo ist diese Datei?» – Host, Container, Volumes, Logs |
| Umgebungskonfiguration | Position der Konfigurationsdateien, Änderungsverfahren, Variablenreferenz |
| Zugangsdaten | Dienst-Passwörter, API-Schlüssel-Rotation, Web-Login-Konten |
| Admin-Konsole | Zugang, Login und Bildschirmaufbau der Browser-Konsole |
pd CLI | Alle Betriebsbefehle im Container |
| Betrieb | Start, Stopp, Neustart; Logs, Health; Backup und Wiederherstellung |
| CEP | Echtzeitregeln mit EQL schreiben und ausführen – Sprache, Ereignistypen, Betrieb, Grenzen |
| Daten-Gateway | Vier Sprachen über ein REST – API, Kontrolle und Grenzen |
| Komponenten | Details zu Speicher, Messaging, Analyse, Zeitreihen, CEP, Workflow und Gateway |
| FAQ | Häufige Symptome und Antworten |
Verwandte Dokumentation
- Systemstart und -stopp – Start und Stopp des gesamten Stacks
- Port- und Dienstverwaltung – Liste aller offenen Ports und Firewall
- Backup und Wiederherstellung – Backup-Tools und Disaster-Recovery-Szenarien
- Initiales Passwort ändern – Inbetriebnahme-Checkliste