본문으로 건너뛰기

AI 발견과 정확도 — 엔진이 찾은 것과 사람이 남기는 판단

시계열 엔진은 묻기를 기다리지 않고 스스로 문제를 찾아 «발견» 으로 적어 둡니다. 코파일럿은 그것을 받아 급한 것은 바로 알리고, 나머지는 아침에 묶어 보여 주고, 사람의 판단이 필요한 것은 제안 카드로 올립니다. 사람이 제안에서 남긴 판단으로 AI 의 정확도를 재고, AI 가 판정 기준을 스스로 고칩니다.

엔진이 발견을 적는다 (설비 이상 · 오더 목표 미달 · 데이터 끊김 …)
  → 코파일럿이 1분마다 받아 온다
  → 급함 · 높음은 즉시 알림 / 나머지는 아침 브리핑 카드 / 판단이 필요하면 AI 제안 카드
  → 사람이 제안에서 무시(사유) · 수락/거절 · 효과를 남긴다
  → 그 표시로 정확도를 재고, 설비별 판정 기준을 스스로 조정
모든 것이 «기록만» 합니다

이 문서의 어느 단추도 설비를 제어하거나 오더 · 일정을 바꾸지 않습니다. AI 가 스스로 바꾸는 것은 이상 판정 기준(설비별 센서 임계) 하나뿐입니다.

옛 화면에서 바뀐 것

«리포트 › AI 정확도» 탭, 모니터링 화면(/watch)의 AI 발견 · 주의 설비 · 알림 선반 · 수리 후 확인, 이상 진단 운영 콘솔의 AI 판정(맞음 · 헛경보 · 모르겠음)과 놓침 신고, 검증 대기(/review)는 새 화면에 없습니다. 사람이 남기는 판단은 제안 하나로 모였고, 숫자는 관리 콘솔과 자동화 보고서로 봅니다 — 아래.

AI 발견은 어디로 오나​

AI 발견만 따로 모아 보는 화면은 없습니다. 발견은 종류와 급한 정도에 따라 아래 자리로 옵니다.

발견오는 곳
설비 이상제안 › 할 일 › 돌발의 확인할 이상. 심각도가 높으면 이상 접수로 올라갑니다
급함 또는 심각도 높음즉시 알림 — 화면 알림 · 푸시, 그리고 설정돼 있으면 메일 · Slack. 한 번에 원인 설비마다 한 통
그 밖아침 브리핑 카드 — 매일 새벽(기본 05:00) 원인 설비별로 묶어 제안 › 계획에 카드 한 장으로
오더 목표 미달 · 지연 회복안 · 고장 위험위와 별도로 제안 › 계획에 AI 제안 카드 → AI 제안 카드
  • 같은 발견은 같은 수준에서 한 번만 알립니다. 심각도가 오르거나 급함이 켜지면 다시 알립니다.
  • 묻기에서 「지금 열려 있는 AI 발견을 정리해줘」 처럼 물어 목록으로 받을 수도 있습니다 — 발견 목록 도구(list_findings)는 처음부터 켜져 있습니다(2026.10 재릴리즈(2026-10-20)) → 시계열 인사이트 도구
  • 아직 검증을 통과하지 않은 그림자 판정은 알림 · 제안 · 묻기 어디에도 나가지 않습니다 — 아래 «그림자».

발견의 종류​

종류무엇
설비 이상센서 · OEE · RAM · 에너지가 평소와 다르다
오더 목표 미달진행 중 오더가 계획 종료까지 목표 수량에 못 닿을 전망
데이터 끊김 · 데이터 품질 문제값이 안 들어오거나, 들어오는 값이 이상하다(설비가 아니라 데이터 문제)
연쇄 정지앞 설비가 멈춰 뒤 설비가 따라 멈췄다
고장 위험가까운 시간 안에 고장 날 수 있다
한계치 도달 예상 · 전력 피크 예상추세대로 가면 한계 · 피크에 닿는다
OEE 저하 · 불량률 이상 신호 · 교체 작업 지연생산 지표 쪽 발견
부품 지연 전파 · 지연 회복안부품 지연이 일정에 번지는 것과 그 회복안
AI 설정 변경AI 가 스스로 기준을 바꿨다는 기록
설비 이상은 두 곳이 판정하고, 알림은 한쪽만 냅니다

설비 이상은 기존 이상 탐지와 AI 발견이 같은 규칙으로 판정합니다. 같은 이상을 두 번 알리지 않도록 기본값(anomaly.source=both)에서는 이상 탐지 쪽이 알리고, AI 발견의 설비 이상은 견주는 데만 씁니다. 운영자가 findings 로 바꾸면 AI 발견 쪽이 알리고, 그때 낮음 · 보통 설비 이상은 즉시 알림이 아니라 아침 브리핑으로 갑니다.

오늘 먼저 볼 설비​

엔진은 사이트마다 주의 설비 순위를 매겨 둡니다 — 열린 발견 · 건강 점수 · 24시간 추세 · 설비 중요도로 점수(0~100)와 순서를 정하고, 이유 세 가지와 어제 대비 순위 변화를 함께 냅니다. 순위표 화면은 없고, 묻기에서 「오늘 먼저 볼 설비는?」 이라고 물으면 같은 순위로 답합니다 (이 도구는 처음부터 켜져 있습니다).

  • 데이터 끊김 같은 데이터 품질 문제는 점수에 넣지 않습니다.
  • 설비 중요도(치명 · 중요 · 일반 · 낮음)는 관리 콘솔의 설비 중요도 등급에서 정합니다.

알림이 쏟아질 때 — 채터링 · 플러드​

같은 설비 · 같은 종류가 60분 안에 세 번째 즉시 알림에 닿으면 그 한 통에 「[채터링 3회/60분]」을 달고, 그 뒤는 알리지 않습니다(채터링). 한 사이트에서 10분에 즉시 알림이 10건을 넘으면 개별 알림 대신 「알림 폭주」 한 통을 보내고 나머지는 요약으로 모읍니다(플러드). 어느 쪽이든 행과 발견은 그대로 남습니다. 치명 설비의 높음 · 급함 알림은 채터링 · 플러드에 묻히지 않습니다. 숫자는 기본값이고 설정으로 바꿉니다.

기한과 이유를 적어 알림을 잠시 멈춰 두던 알림 선반과, 멈춰 둔 알림을 모아 보던 화면은 새 화면에 없습니다. 이미 올려 둔 선반은 기한이 지나면 저절로 내려옵니다. 채터링 · 플러드의 기준 숫자는 시스템 설정의 alert.chatter.count · alert.chatter.window.min · alert.flood.threshold · alert.flood.window.min 입니다.

사람이 남기는 판단​

판단은 제안의 상세에서 남깁니다 → 제안

판단어디서값어디에 쓰이나
무시 사유확인할 이상의 무시셋업·교체 작업 중 · 설비 정지·대기 중 · 정비 중 · 센서 문제 · 기타그 이상을 헛경보로 표시합니다. 같은 카드에 묶인 이상이 함께 표시됩니다. 설비별 정밀도와 임계 조정의 재료
수락 · 거절AI 제안 카드의 AI 제안 판단수락 / 거절(이미 했습니다 · 필요 없습니다 · 제안이 틀렸습니다 · 기타)AI 제안의 성적. «이미 했습니다» 는 수리 후 자동 확인의 계기가 됩니다
효과수락한 제안효과 있음 · 효과 없음 · 아직 모름 (+ 메모)AI 가 다음 제안을 고르는 데 씁니다
진단 판정 · 실제 원인이상 접수의 결과 기록진단 맞음 · 진단 틀림 / 기계 · 전기 · 공정·운전 · 기타 (모두 선택)관리 콘솔 답변 품질 › 진단 정확도
조치안 거절 사유승인 대기 이상 접수의 거절진단이 틀림 · 조치가 맞지 않음 · 이미 했습니다 · 지금 할 수 없음 (자원·일정) · 이상 아님 (헛경보) · 기타«진단이 틀림» 은 진단 판정 «틀림» 으로, «이상 아님 (헛경보)» 는 그 이상 접수를 헛경보로 남깁니다 → 제안 — 조치안 검토
  • 판단은 기록만 합니다 — 누른다고 알림이 꺼지거나 설비 · 오더 · 일정이 바뀌지 않습니다.
  • 확신이 없으면 무시하지 마십시오. 짐작으로 고른 사유는 정확도를 틀어지게 합니다. 효과는 모르면 아직 모름으로 둡니다.
  • 표시는 공개 API GET /api/v1/ai-feedback 로 꺼내 볼 수 있습니다 → API 연동 가이드

사람이 누르지 않아도 서버가 스스로 다는 표시가 둘 있습니다.

자동 표시무엇
정지 · 고장 규칙그 시간에 설비가 실제로 정지 · 고장이었나를 매시 대조해 맞음 · 헛경보 · 놓침을 답니다(accuracy.rule.enabled). 정지 · 고장이 시작됐는데 앞뒤 5분에 이상 판정이 없으면 놓침입니다. 사람 표시와 섞지 않고 따로 셉니다
수리 후 자동 확인조치 뒤 정해진 시간이 지나 효과 확인됨 · 효과 없음 · 판단 불가를 답니다 → 이상탐지 · 이상 접수 대응

사람이 이상에 «맞음» 을 달거나 AI 가 놓친 이상을 신고하는 칸은 새 화면에 없습니다. 사람이 남기는 것은 위 표의 다섯(무시 사유 · 수락/거절 · 효과 · 진단 판정 · 조치안 거절 사유)이고, 맞음 · 놓침은 위 «정지 · 고장 규칙» 이 스스로 답니다.

정확도는 어디서 보나​

«리포트 › AI 정확도» 화면은 없어졌습니다. 정확도와 관련된 숫자는 네 곳에서 봅니다.

무엇어디누가
설비별 임계 조정의 진행 · 이유 · 최근 판단관리 콘솔 정확도 튜닝(/admin/tuning)관리자 + «임계 조정 승격·되돌리기» 권한
AI 답변 품질의 정기 시험 점수(최근 90일)관리 콘솔 답변 품질(/admin/quality)관리자
이상 접수 AI 진단의 진단 정확도 — 사람 판정의 맞음 비율(30 · 90 · 180일), 이상 종류 · 모델 · 설비 · 주 · 실제 원인별관리 콘솔 답변 품질(/admin/quality) 아래 절관리자
지난 30일 AI 이상 판정이 얼마나 맞았나 — 맞음 · 헛경보 · 놓침 · 정밀도 합계와 정밀도가 낮은 설비자동화 템플릿 «AI 정확도 점검» — 보고서(기본 매주 월 09:00)그 자동화를 만든 사람과 받는 역할(기본 공장장)

  • 조치의 성적(검증 통과 · 재발)은 제안 › 완료 탭 머리 한 줄에 있습니다.

  • 정확도 튜닝 · 답변 품질 화면의 칸은 코파일럿 관리 콘솔에(진단 정확도는 답변 품질), «AI 정확도 점검» 은 유즈케이스 — 자동화에 있습니다.

  • 벤치마크 수치와 재는 방법은 정확도 · 벤치마크에 있습니다.

  • «AI 정확도 점검» 보고서가 싣는 것은 합계와 정밀도가 낮은 설비 열 곳까지입니다(내 설비 범위 안, 표본이 모자라면 «표본 부족»). 설비 전체의 표시율 · 헛경보 이유 · 학습 중 설비를 표로 보는 화면은 새 화면에 없습니다.

정확도를 어떻게 세나​

서버가 설비별로 세는 방식입니다 — 화면이 바뀌어도 계산은 그대로입니다.

값뜻
정밀도맞음 ÷ (맞음 + 헛경보). 사람 표시로 잰 것과 정지 · 고장 규칙으로 잰 것을 따로 냅니다
놓침출처별로 셉니다 — 정지 · 고장이 시작됐는데 앞뒤 5분에 이상 판정이 없던 사건 등
표시율표시된 행 ÷ 판정 행 — 낮으면 정밀도를 믿지 마십시오
헛경보 이유준비 · 대기 · 정비 · 센서 · 기타
표시가 모자라면 숫자를 내지 않습니다 — 「표본 부족」

표시가 10건 미만이면 정밀도를 내지 않고 「표본 부족」 으로 다룹니다. 몇 건으로 낸 퍼센트는 우연에 가깝기 때문입니다. 숫자를 얻으려면 현장에서 판단을 남겨야 합니다.

이상 접수의 진단 정확도(답변 품질 화면)는 규칙이 다릅니다 — 판정이 20건 미만이면 「표본 부족」 을 붙이되 비율은 그대로 보입니다.

학습 중 · 판정 불가​

새 설비나 오래 멈췄던 설비는 태그마다 기준을 잡을 때까지 점수가 나오지 않습니다.

상태뜻
판정 불가모든 태그가 학습 중 — 이상을 판정하지 않습니다
학습 중일부 태그만 학습 중 — 나머지로 판정합니다
판정 못 함엔진이 이 설비를 채점하지 못했습니다(학습과 무관 — 추론 장애 등)

🔴 제안에 이상이 없다고 정상은 아닙니다. 판정 불가인 설비는 이상이 있어도 확인할 이상으로 올라오지 않습니다. 남은 시간은 엔진이 알려 주는 만큼만 알 수 있고, 알 수 없으면 «모름» 입니다 — 지어내지 않습니다.

설비별 임계 자율 조정​

AI 는 사람 표시와 정지 · 고장 규칙으로 설비별 센서 임계를 스스로 조정합니다. 바뀌는 것은 판정 기준 하나이고 설비 · 공정에는 아무것도 하지 않습니다.

매일 밤 지난 3일로 후보 평가 → 더 나은 값이 있으면 그림자 3일
  → 통과하면 승격 → 7일 감시 → 나빠지면 자동 되돌림 (연속 2번이면 그 설비 일시정지)
  • 기본 모드는 auto(사람 손 없이 승격)입니다. propose 면 그림자를 통과한 값이 관리자의 승격을 기다립니다. off 면 멈춥니다(이미 쓰는 값은 그대로).
  • 표시가 모자라면 아무것도 바꾸지 않습니다(「표본 부족」).
  • 관리 콘솔 정확도 튜닝에서 설비마다 «그림자 N일째 · 승격 준비됨 · 적용 중 · 지켜보기 N일째 · 멈춤» 과 임계 · 이유 · 최근 판단을 보고, 승격 · 되돌리기 · 재개를 누릅니다.

그림자 — 현장에 알리기 전에 기록만​

AI 판정 가운데 아직 검증을 통과하지 않은 것(설비 센서 이상 알림 · 단기 고장 위험)은 그림자로 돕니다 — 판정은 하되 기록만 하고, 알림 · 제안 · 묻기에 나가지 않습니다. 관리 콘솔 현장 알림 미리 보기(/admin/field-modes)에서 그림자로 기록된 발견(최근 48시간)을 보고, 헛경보가 많지 않으면 이유를 적어 현장으로 켭니다 → 코파일럿 관리 콘솔

그림자 판정에 사람이 맞음 · 틀림을 표시하던 옛 «검증 대기» 화면은 새 화면에 없습니다. 권한 «그림자 판정 검토» 는 묶음에 남아 있지만 새 화면에는 쓰는 자리가 없습니다 → 권한

관리자가 정하는 것​

무엇어디(관리 콘솔)
설비 중요도(치명 · 중요 · 일반 · 낮음) — 바꿀 때 메모 필수설비 중요도 등급
그림자 ↔ 현장 — 판정 기능을 현장에 켜기(이유 필수)현장 알림 미리 보기
임계 조정 승격 · 되돌리기 · 재개정확도 튜닝
전역 값과 스위치시스템 설정 — 아래 표
설정기본값뜻
finding.enabledtrueAI 발견 받기와 아침 브리핑
finding.repair.enabledtrue수리 후 자동 확인
anomaly.sourceboth설비 이상 알림을 누가 내나 — pipeline · both · findings
attention.enabledtrue주의 설비 순위
accuracy.rule.enabledtrue정지 · 고장 규칙 대조
anomaly.tuning.modeauto설비별 임계 자율 조정 — auto · propose · off

관련 문서​