准确率 · 基准测试

PlantPulse AI 在每次发布时都会用相同的评估集重新测量准确率。以下数值均基于内部评估集和重工业演示数据，并非在客户现场数据上测得的数值。每个项目都附有测量内容说明。每次测量会有波动的项目，以中位数和区间形式给出。

现场会重新测量

即使是相同的问题，结果也会因数据整理程度而有所不同。在导入验证阶段，会用贵公司的设备名称 · 标签 · 文档，以相同方式重新进行评估确认。

聊天 AI

每次发布都会由自动门控进行测量。未达到标准则不予发布。以下数值基于 2026.10 再发布 6（2026-10-08）公开流水线。

项目	结果	测量内容
工具选择	22 / 25 (88%) — 基准 18	在 25 个现场问题中，机器判定 AI 是否调用了预期的系统查询工具
依据忠实度	6 / 7	是否原样引用了工具返回的数值作为答案 —— 正确答案是直接调用同一工具生成的
本体区分	16 道题 5 次测量中位数 14 / 16（13 ~ 15）	是否不混淆设备 · 工序 · 订单等不同轴线并正确作答
每日简报	8 / 8	早间简报是否编造了数据中不存在的内容
what-if 计算引用	«零件延迟 N 天时» 6 / 6 — 编造数值 0 个，«不应调用的情形» 2 / 2	是否只引用了计算引擎输出的数值，以及在不该调用计算的问题中是否未调用

基于再发布 6 公开流水线。

使用评估集 v2 —— 对 83 道题进行 3 次测量，直接向搜索引擎提问（包含长教育视频 · 干扰视频 · 资料中不存在的问题）。

项目	结果	测量内容
正确视频排名第1	90%	正确视频出现在搜索结果最前面的比例
正确视频进入前5	97%	正确视频进入前 5 名的比例
场景视觉误差	中位数 7.6 秒（15 秒内 68%）	播放开始时刻与正确场景之间的差异
«不知道»	95 ~ 100% —— 此时视频卡片 0 个	询问资料中不存在的内容时，是否如实回答不知道而非编造

经由聊天窗口的路径，相同指标目前仍较低（26 道题，正确视频进入前 5 比例为 74 ~ 84%），正在改进中。

项目	结果	测量内容
长教育视频	22 分钟视频中 12 个发言段落里 12 个被转写	发言区间是否被完整转写为文字
短教育视频	2 分钟视频 5 个区间 —— 文字 · 时间 5 / 5 一致	转写文字与时间是否与正确字幕一致

项目	结果	测量内容
公差 · 偏差计算	IT5 ~ IT8 公差与 g · f 偏差，在 3 ~ 500 mm 全区间与公开惯用值不一致 0 处	将按 ISO 公式计算出的上 · 下限与公开惯用值进行对照
不计算的位数	与规格相差 1 µm 的 6 个位数	对于公式无法与规格值吻合的位数，不给出数字，而是标注为«未计算»

公式计算出的上 · 下限，在答案末尾会附带«公式估算 — 请以贵司持有的规格文件为准»的提示 → 向图纸提问

使用内部制作的复杂加工件测试图纸（液压歧管 HMB-2040 · 变速箱壳体 GBH-7300）及标准答案进行测量。

项目	结果	测量内容
判读	标题栏 · 尺寸 · 几何公差 · 表面粗糙度 · 零件表 · 注记 · 修订历史 —— 标准答案中的全部项目一致（PDF · DXF 各自验证）	将从图纸中读取的值与标准答案逐项对照
版本对比	HMB-2040 C → D · GBH-7300 B → C —— 变更的尺寸 · 零件表 · 注记 · 几何公差全部检出，误报 0	是否无遗漏地捕捉两个版本之间的实际变更，且不产生不存在的变更