본문으로 건너뛰기

정확도 · 벤치마크

PlantPulse AI 는 릴리즈마다 같은 평가 세트로 정확도를 다시 잽니다. 아래 값은 모두 사내 평가 세트와 중공업 데모 데이터 기준이며, 고객 현장 데이터에서 잰 값이 아닙니다. 항목마다 무엇을 쟀는지를 함께 적었습니다. 회차마다 흔들리는 항목은 중앙값과 폭으로 적습니다.

현장에서는 다시 잽니다

같은 질문이라도 데이터가 정리된 정도에 따라 결과가 달라집니다. 도입 검증 단계에서 귀사 설비 이름 · 태그 · 문서로 같은 방식의 평가를 다시 돌려 확인합니다.

채팅 AI​

릴리즈마다 자동 게이트가 잽니다. 기준에 못 미치면 출시하지 않습니다. 아래 값은 2026.10 재릴리즈 6(2026-10-08) 공개 파이프라인 기준입니다.

항목결과무엇을 쟀나
도구 선택22 / 25 (88%) — 기준 18현장 질문 25개에서 AI 가 기대한 시스템 조회 도구를 불렀는지 기계로 채점
근거 충실6 / 7도구가 돌려준 숫자를 답에 그대로 옮겼는지 — 정답은 같은 도구를 직접 불러 만든다
온톨로지 구별16문항 5회 중앙값 14 / 16 (13 ~ 15)설비 · 공정 · 주문처럼 서로 다른 축을 헷갈리지 않고 답하는지
데일리 브리핑8 / 8아침 브리핑이 데이터에 없는 내용을 지어내지 않는지
what-if 계산 인용«부품이 N일 늦으면» 6 / 6 — 지어낸 숫자 0, «부르면 안 되는 상황» 2 / 2계산 엔진이 낸 숫자만 옮겼는지, 계산을 부르면 안 되는 질문에서 부르지 않았는지

시스템 품질​

재릴리즈 6 공개 파이프라인 기준입니다.

항목결과무엇을 쟀나
서비스 응답MCP 서버 6 · 구성 요소 19 모두 응답릴리즈 게이트에서 각 서버 · 구성 요소의 상태 확인
REST 조회GET 174개 — 서버 오류(5xx) 0공개된 조회 API 를 모두 한 번씩 불러 본 결과
플랫폼 도구 계약63종 — 회귀 0플랫폼 도구의 입력 · 출력 계약이 이전 판과 달라지지 않았는지

영상 · 음성 검색​

평가 세트 v2 — 83문항을 3회, 검색 엔진에 직접 물어 잽니다(긴 교육 영상 · 방해 영상 · 자료에 없는 질문 포함).

항목결과무엇을 쟀나
정답 영상 1순위90%정답 영상이 검색 결과 맨 앞에 오는 비율
정답 영상 5위 안97%정답 영상이 상위 5개 안에 드는 비율
장면 시각 오차중앙값 7.6초 (15초 안 68%)재생이 시작되는 시각과 정답 장면의 차이
«모른다»95 ~ 100% — 그때 영상 칩 0자료에 없는 내용을 물으면 지어내지 않고 모른다고 답하는지

채팅 창을 거치는 경로는 같은 지표가 아직 낮아(26문항, 정답 영상 5위 안 74 ~ 84%) 개선 중입니다.

받아 적기(녹취)​

항목결과무엇을 쟀나
긴 교육 영상22분 영상 발화 12개 중 12개 녹취말한 구간이 빠짐없이 글로 옮겨지는지
짧은 교육 영상2분 영상 5구간 — 글자 · 시각 5 / 5 일치받아 적은 글과 시각이 정답 자막과 맞는지

도면 — 끼워맞춤 공식​

항목결과무엇을 쟀나
공차 · 편차 계산IT5 ~ IT8 공차와 g · f 편차, 3 ~ 500 mm 전 구간에서 공개 관행값과 불일치 0ISO 공식으로 낸 상 · 하한을 공개된 관행값과 대조
계산하지 않는 자리규격과 1 µm 어긋나는 6자리공식으로는 규격값과 맞지 않는 자리는 숫자를 내지 않고 «계산 안 함» 으로 둔다

공식으로 낸 상 · 하한에는 답 끝에 «공식 추정 — 보유한 규격 문서로 확인하십시오» 단서가 붙습니다 → 도면으로 묻기

도면 판독 · 판 비교​

사내에서 만든 복잡 가공품 시험 도면(유압 매니폴드 HMB-2040 · 기어박스 하우징 GBH-7300)과 정답지로 잽니다.

항목결과무엇을 쟀나
판독표제란 · 치수 · 기하공차 · 표면 거칠기 · 부품표 · 주기 · 개정 이력 — 정답지 항목 전부 일치(PDF · DXF 각각)도면에서 읽어 낸 값을 정답지와 항목별로 대조
판 비교HMB-2040 C → D · GBH-7300 B → C — 바뀐 치수 · 부품표 · 주기 · 기하공차 전부 검출, 오탐 0두 판 사이의 실제 변경을 빠짐없이, 없는 변경은 내지 않고 잡는지

관련 문서​