Genauigkeit · Benchmark
PlantPulse AI misst die Genauigkeit bei jeder Release erneut mit demselben Evaluierungssatz. Alle unten stehenden Werte beruhen auf dem internen Evaluierungssatz und Schwerindustrie-Demodaten und sind nicht an Kundendaten vor Ort gemessen. Zu jedem Punkt steht, was genau gemessen wurde. Bei Werten, die von Durchlauf zu Durchlauf schwanken, werden Median und Spanne angegeben.
Selbst bei derselben Frage hängt das Ergebnis davon ab, wie gut die Daten aufbereitet sind. In der Einführungsphase wird dieselbe Art von Bewertung mit den Anlagennamen, Tags und Dokumenten Ihres Unternehmens erneut durchgeführt, um das zu bestätigen.
Chat-KI
Bei jeder Release prüft ein automatisches Gate. Wird der Schwellenwert nicht erreicht, erfolgt keine Veröffentlichung. Die folgenden Werte beziehen sich auf die öffentliche Pipeline von Re-Release 6 (2026-10-08) im Oktober 2026.
| Punkt | Ergebnis | Was gemessen wurde |
|---|---|---|
| Werkzeugauswahl | 22 / 25 (88 %) — Schwellenwert 18 | Maschinell bewertet, ob die KI bei 25 Vor-Ort-Fragen das erwartete Systemabfragewerkzeug aufgerufen hat |
| Beleg-Treue | 6 / 7 | Ob die vom Werkzeug zurückgegebenen Zahlen unverändert in die Antwort übernommen wurden — die korrekte Antwort wird durch direkten Aufruf desselben Werkzeugs erzeugt |
| Ontologie-Unterscheidung | Median 14 / 16 bei 5 Durchläufen mit 16 Fragen (13 ~ 15) | Ob Antworten unterschiedliche Achsen wie Anlage · Prozess · Auftrag nicht verwechseln |
| Täglicher Briefing | 8 / 8 | Ob das Morgenbriefing keine Inhalte erfindet, die nicht in den Daten vorhanden sind |
| Zitation von What-if-Berechnungen | «Wenn ein Teil N Tage zu spät kommt» 6 / 6 — 0 erfundene Zahlen, «Situationen, in denen nicht gerechnet werden darf» 2 / 2 | Ob nur Zahlen der Berechnungs-Engine übernommen wurden und ob bei Fragen, die keine Berechnung erfordern, keine ausgelöst wurde |
Systemqualität
Bezogen auf die öffentliche Pipeline von Re-Release 6.
| Punkt | Ergebnis | Was gemessen wurde |
|---|---|---|
| Dienstantwort | Alle 6 MCP-Server · 19 Komponenten antworten | Statusprüfung jedes Servers · jeder Komponente beim Release-Gate |
| REST-Abfrage | 174 GET-Aufrufe — 0 Serverfehler (5xx) | Ergebnis des einmaligen Aufrufs aller öffentlichen Abfrage-APIs |
| Plattform-Werkzeugverträge | 63 Arten — 0 Regressionen | Ob sich Eingabe-/Ausgabeverträge der Plattform-Werkzeuge gegenüber der Vorversion geändert haben |
Video- · Audiosuche
Evaluierungssatz v2 — 83 Fragen, 3 Durchläufe, direkt an die Suchmaschine gestellt (einschließlich langer Schulungsvideos · Störvideos · Fragen ohne Antwort im Material).
| Punkt | Ergebnis | Was gemessen wurde |
|---|---|---|
| Richtiges Video an 1. Stelle | 90 % | Anteil der Fälle, in denen das korrekte Video ganz oben im Suchergebnis steht |
| Richtiges Video unter Top 5 | 97 % | Anteil der Fälle, in denen das korrekte Video unter den Top 5 liegt |
| Zeitabweichung der Szene | Median 7,6 Sekunden (68 % innerhalb von 15 Sekunden) | Differenz zwischen Startzeitpunkt der Wiedergabe und der tatsächlichen Szene |
| «Weiß nicht» | 95 ~ 100 % — dabei 0 Video-Chips | Ob bei Fragen ohne Antwort im Material ehrlich «weiß nicht» geantwortet wird, statt etwas zu erfinden |
Der Pfad über das Chat-Fenster liegt bei denselben Kennzahlen noch niedriger (26 Fragen, richtiges Video unter Top 5 bei 74 ~ 84 %) und wird weiter verbessert.
Transkription (Mitschrift)
| Punkt | Ergebnis | Was gemessen wurde |
|---|---|---|
| Langes Schulungsvideo | Von 12 Äußerungen in einem 22-minütigen Video wurden alle 12 transkribiert | Ob alle gesprochenen Abschnitte lückenlos verschriftlicht werden |
| Kurzes Schulungsvideo | 5 Abschnitte in einem 2-minütigen Video — Text · Zeitstempel bei 5 / 5 übereinstimmend | Ob Transkripttext und Zeitstempel mit den korrekten Untertiteln übereinstimmen |
Zeichnung — Passungsformel
| Punkt | Ergebnis | Was gemessen wurde |
|---|---|---|
| Toleranz- · Abmaßberechnung | IT5 ~ IT8-Toleranzen und g · f-Abmaße, im gesamten Bereich 3 ~ 500 mm 0 Abweichungen von veröffentlichten Praxiswerten | Abgleich der nach ISO-Formel berechneten Ober- · Untergrenzen mit veröffentlichten Praxiswerten |
| Nicht berechnete Stellen | 6 Stellen, die um 1 µm von der Norm abweichen | Wenn die Formel nicht mit dem Normwert übereinstimmt, wird kein Zahlenwert ausgegeben, sondern als «nicht berechnet» markiert |
Bei per Formel berechneten Ober- · Untergrenzen steht am Ende der Antwort der Hinweis «formelbasierte Schätzung — bitte mit vorhandenen Normdokumenten prüfen» → Mit Zeichnung fragen
Zeichnungsauslesung · Revisionsvergleich
Gemessen anhand intern erstellter Testzeichnungen komplexer Bearbeitungsteile (Hydraulik-Verteilerblock HMB-2040 · Getriebegehäuse GBH-7300) mit Musterlösung.
| Punkt | Ergebnis | Was gemessen wurde |
|---|---|---|
| Auslesung | Schriftfeld · Maße · Form- und Lagetoleranzen · Oberflächenrauheit · Stückliste · Hinweise · Revisionshistorie — vollständige Übereinstimmung mit allen Punkten der Musterlösung (PDF · DXF jeweils) | Abgleich der aus der Zeichnung ausgelesenen Werte mit der Musterlösung, Punkt für Punkt |
| Revisionsvergleich | HMB-2040 C → D · GBH-7300 B → C — alle geänderten Maße · Stücklisten · Hinweise · Form- und Lagetoleranzen erkannt, 0 Fehlalarme | Ob alle tatsächlichen Änderungen zwischen zwei Revisionen lückenlos erfasst werden, ohne nicht vorhandene Änderungen zu melden |
Verwandte Dokumente
- KI-Erkenntnisse und Genauigkeit — Wie Ablehnungsgründe · Annahme/Ablehnung · Wirkungsaufzeichnungen vor Ort in die Genauigkeit zurückfließen
- Mit Video · Audio fragen
- Mit Zeichnung fragen