精度・ベンチマーク

PlantPulse AI はリリースごとに同じ評価セットで精度を測り直します。以下の値はすべて社内評価セットと重工業デモデータ基準であり、顧客現場データで測った値ではありません。項目ごとに何を測ったかを併記しています。回ごとにばらつく項目は中央値と幅で記載します。

現場では測り直します

同じ質問でも、データの整理度合いによって結果は変わります。導入検証段階で貴社の設備名・タグ・文書で同じ方式の評価を再度実施して確認します。

チャット AI

リリースごとに自動ゲートが測定します。基準に満たない場合はリリースしません。以下の値は2026.10 再リリース6(2026-10-08) 公開パイプライン基準です。

項目	結果	何を測ったか
ツール選択	22 / 25 (88%) — 基準18	現場質問25問でAIが期待されるシステム照会ツールを呼び出したかを機械採点
根拠の忠実性	6 / 7	ツールが返した数値を回答にそのまま反映したか — 正解は同じツールを直接呼び出して作成
オントロジー識別	16問5回中央値14 / 16（13〜15）	設備・工程・発注先のような異なる軸を混同せずに回答できるか
デイリーブリーフィング	8 / 8	朝のブリーフィングがデータにない内容を作り出していないか
what-if 計算の引用	«部品がN日遅れたら» 6 / 6 — 作り出した数値0、«呼んではいけない状況» 2 / 2	計算エンジンが出した数値のみを転記したか、計算を呼んではいけない質問で呼んでいないか

再リリース6公開パイプライン基準です。

項目	結果	何を測ったか
サービス応答	MCPサーバー6・構成要素19すべて応答	リリースゲートで各サーバー・構成要素の状態を確認
REST照会	GET 174件 — サーバーエラー(5xx) 0件	公開されている照会APIをすべて一度ずつ呼び出した結果
プラットフォームツール契約	63種 — リグレッション0	プラットフォームツールの入力・出力契約が前バージョンから変わっていないか

評価セットv2 — 83問を3回、検索エンジンに直接問い合わせて測定（長い教育映像・妨害映像・資料にない質問を含む）。

項目	結果	何を測ったか
正解映像1位	90%	正解映像が検索結果の最上位に来る割合
正解映像5位以内	97%	正解映像が上位5件に入る割合
シーン時刻誤差	中央値7.6秒（15秒以内68%）	再生開始時刻と正解シーンの差
«分からない»	95〜100% — その際の映像チップ0	資料にない内容を聞かれた場合、作り出さずに分からないと答えるか

チャットウィンドウを経由する経路は同じ指標がまだ低く（26問、正解映像5位以内74〜84%）改善中です。

項目	結果	何を測ったか
長い教育映像	22分映像の発話12件中12件を文字起こし	発話区間が漏れなくテキスト化されているか
短い教育映像	2分映像5区間 — 文字・時刻5 / 5一致	書き起こしたテキストと時刻が正解字幕と一致するか

項目	結果	何を測ったか
公差・偏差計算	IT5〜IT8公差とg・f偏差、3〜500mm全区間で公開慣行値との不一致0	ISO公式で算出した上・下限を公開されている慣行値と照合
計算しない桁	規格と1µmずれる6桁	公式では規格値と合わない桁は数値を出さず、«計算不可»として扱う

公式で算出した上・下限には回答末尾に«公式推定 — 保有している規格文書で確認してください»という注記が付きます → 図面で質問する

社内で作成した複雑加工品試験図面（油圧マニホールドHMB-2040・ギアボックスハウジングGBH-7300）と正解データで測定します。

項目	結果	何を測ったか
判読	表題欄・寸法・幾何公差・表面粗さ・部品表・注記・改訂履歴 — 正解データの項目すべて一致（PDF・DXFそれぞれ）	図面から読み取った値を正解データと項目別に照合
版比較	HMB-2040 C→D・GBH-7300 B→C — 変更された寸法・部品表・注記・幾何公差すべて検出、誤検知0	二つの版間の実際の変更を漏れなく、存在しない変更は出さずに捉えているか