跳到主要内容

通过视频 · 语音提问

聊天不仅查找文档和图纸。如果管理员开启了视频 · 语音功能，还会把维护 · 培训视频中的对应画面作为答案的依据取来， 也可以用输入框的语音提问（麦克风）用说话的方式提问。本页介绍在「提问」中可以就视频提出什么问题， 以及答案下方的视频 · 语音依据卡片是如何运作的。

需要管理员先开启

视频 · 语音功能默认关闭。安装时在主机 env 中用开关 PI_MEDIA_ENABLED=true 一行开启 —— 这一行会启动 语音转写服务，同时开启 RAG 的视频 · 语音采集和聊天的语音提问。开启步骤见 安装和环境设置。

如果关闭，不会出现视频卡片，用语音提问会显示「当前无法使用语音输入」。插入聊天的视频 · 音频也无法转写。

想直接就手头的一段视频提问 —— 插入文件

通过提问输入框的插入文件放入视频 · 音频文件（最大 1GB · 60 分钟）。这样放入的视频只在该对话中使用，仅该对话的所有者可播放 —— 不会出现在文档检索和本页的场景卡片检索中，也不必等待处理时间段 → AI 聊天 — 插入视频 · 音频文件

视频从哪里进来​

路径内容
管理控制台 › RAG › 索引 › 视频 中的上传视频管理员直接上传。视频 mp4 · mov · mkv · webm，音频 m4a · mp3 · wav，外挂字幕 srt · vtt
自动同步平台上设备附带的视频 · 音频文件也会像文档一样定期进入

上传的视频会转写语音内容（听写），如果有内嵌字幕轨 · 外挂字幕也会一并读取，索引为带时间的文字。 是否也读取叠加在画面上的字幕 · 画面文字由管理员设置决定 → 环境设置

刚上传的视频暂时未被检索到属于正常现象

由于听写与聊天共用服务器资源，因此仅在指定时间段内开始。如果管理员未设置时间段，默认为 夜间 20:00 ~ 06:00（工厂时区 PP_TZ）——白天上传的视频会在当晚处理。如果管理员设置为 always， 则随时开始处理。时间段仅限制处理的«开始»，一旦开始处理，即使时间窗口关闭也会继续到完成。

处理状态（等待中 · 听写中 · 已索引 · 无声音 · 失败……）和当前处理时间段， 显示在管理控制台视频画面的上方 → 管理员控制台

可以问什么​

询问操作流程的问题最合适。答案的依据会直接带你跳转到视频的对应时刻。

  • 「更换轴承时，压入前要检查什么？」
  • 「液压扭矩扳手的反力臂如何固定？」
  • 「（作业）帮我找找作业流程的文档或视频」

场景卡片​

答案下方的依据卡片中，视频 · 语音卡片的样式如下。

视频依据卡片及右侧面板 — ① 被点击的卡片 ② 面板标题 ③ 播放器 ④ 区段条 · 区段重播 ⑤ 该区段的文字 ⑥ 生成流程草稿

显示内容含义
编号与正文中 [번호] 相同的编号
缩略图或图标命中场景的画面 —— 仅在文档检索保存了场景截图的视频上显示。没有则显示视频 · 语音图标
标题视频 · 语音文件名
辅助行 3:12 · …命中场景的时刻（分:秒）及该区段的一行文字。播放也从此时刻开始
标签 字幕 · 画面 · 语音该区段文字的来源 —— 字幕、画面中拍到的文字、语音内容。语音文件不附加«语音»标签

点击卡片，会在不离开对话的情况下在右侧面板打开播放器。与打开文档原文 · 图纸的是同一面板—— 关闭 · 调整宽度 · 窄屏下的表现见Copilot 界面地图 — 右侧面板。

  • 会自动从卡片上标注的命中场景的时刻开始播放，并在区段结束处停止——提示「已在区段结束处停止」。 命中场景是检索认为与问题相符的语句出现的位置。若不知道该位置或它在区段之外，则从区段开头播放。
  • 播放器下方有「区段 3:10 ~ 3:47」这样的整个区段和区段重播。点击会从区段开头重新播放 —— 用于查看命中场景之前的上下文。
  • 区段停止后若手动点击播放，可以继续观看后续内容。若回退到区段内，会再次在区段结束处停止。
  • 下方会显示该区段的文字，若为视频还会有生成流程草稿按钮 → 见下文从视频生成作业流程
  • 点击其他卡片，面板会切换为对应视频。用关闭面板或 Esc 关闭。
  • 语音文件（m4a · mp3 · wav）不显示画面，只显示播放条。
  • 提案依据中附带的视频，也使用同一播放器打开 —— 会覆盖在详情上方，用返回关闭。
  • 任何已登录用户都可以播放（与文档规则相同）。视频原始文件只保存在客户服务器内。

哪些视频会显示为卡片​

哪些视频区段会显示为卡片，由文档检索决定 —— 查看检索生成答案所依据的内容。

  • 只有检索答案引用过的视频区段才会成为卡片。即使检索命中，若检索答案未依据该视频，也不会显示。
  • 若检索答案开头就说«资料中没有该信息»，则不会附加视频卡片 —— 即便之后引用了相似视频也是如此。
  • 若检索答案未引用任何内容，则会将命中语句所在区段排在前面，最多附加 3 个。
  • 如此选出的视频 · 语音卡片，即使聊天答案的正文未标注编号也会保留 —— 因为检索已将其选为«自身答案所依据的区段»。 未被引用的卡片只会以灰色显示。但以下情况会被省略。
    • 若答案提到了视频 · 语音的文件名，则只保留该名称的卡片。
    • 若答案引用了非文档检索的结果（传感器 · 图表 · 数字主线）或绘制了图表，则未被引用的视频卡片会被省略 —— 答案的依据在那一侧。
  • 在保留了视频卡片的答案中，同一检索的文档 · 图纸卡片只保留正文引用过的。未被引用的文档卡片不会作为«无引用»依据重新出现 → 提问 — 依据卡片与引用
  • 新对话的第一个问题，会按用户所写的原句做一次文档检索。若该检索未产生任何视频区段， 即使 AI 改写后重新检索产生了视频，也不会显示为卡片。后续提问则使用 AI 结合前文改写后的查询。

准确度如何​

以下为内部评测集（v2，83 题 × 3 次，检索直接路径）测得的数值。不保证在客户数据 · 问题上的表现。

测量项结果
正确视频排名第 190%
正确视频排名前 597%
场景时刻误差（中位数）7.6 秒
对资料中没有的问题回答«不知道»95%

从视频生成作业流程​

在维护视频作为依据的答案中点击视频卡片打开右侧面板后，点击生成流程草稿， 面板会切换为作业流程，从该视频的语音 · 字幕 · 画面文字中提取 步骤和检查清单并以草稿形式展示。

  • 生成过程中会显示「正在从听写内容中提取步骤」——「根据视频长度可能需要约1分钟，可以关闭面板。」
  • 若已存在该流程，不会重新生成而是直接打开（「该视频的流程已存在，已为您打开。」）。旁边有重新生成按钮。
面板显示内容含义
状态徽标草稿 · 已发布 v«版本» · 已修改草稿 · 已发布 v«版本»（发布后又被修改）
步骤 N提取出的步骤。每个步骤附带下表所列内容
检查清单 N作业前后需确认的项目
已丢弃项 N「因缺少依据行或依据中没有该数值，已从草稿中剔除。」——AI 生成但无法提供依据的步骤 · 检查项
该设备的流程同一设备的其他流程列表
每个步骤显示内容含义
注意事项 · 工具/零件视频中提到的内容
依据来源为语音 · 字幕 · 字幕文字 · 画面文字中的哪一种，以及该区段重播
置信度 高 · 中 · 低AI 对该步骤的确信程度 —— 低置信度务必用视频核实
审阅者修改由人工修改的步骤。若保留了依据则显示「参考依据区段」，若去除了依据则显示「无视频依据」
  • 用修改可以更改标题 · 操作 · 注意事项 · 工具/零件，可以添加步骤 · 检查项（添加步骤 · 添加检查项）， 调整顺序（上移 · 下移），删除（删除）。修改带依据的文字后，该步骤会变为审阅者修改。 使用去除依据后，会变为«审阅者填写 —— 无视频依据»的步骤。必须保存才会留存，退出修改会询问「是否放弃所做的修改？」。
  • 重新生成会从视频重新提取步骤 ——「当前标题 · 正文仅保留一份，已发布版本在下次发布前仍保持原样可被检索。」
  • 🔴 若存在依据中没有的数值（扭矩 · 温度 · 时间等），会出现提示条「需修正标记的问题才能发布 —— 请按依据修正数值或去除依据。」， 并阻止发布。若没有任何步骤，同样无法发布（「没有步骤或仍存在标记问题，暂时无法发布」）。
  • 点击发布，会显示「是否发布该流程？」及设备 · 文档名称 · 等级（「与原始视频相同等级」）· 步骤和检查项数量， 确认后该流程会成为设备文档，此后聊天会将其作为依据引用。
  • 发布仅限拥有流程发布权限（publish:procedure）的人员 —— 默认为班组长 · 维护人员 · 厂长 · 管理员。生成草稿任何使用提问功能的人都可以操作， 他人的草稿只能由创建者和拥有发布权限的人修改。
提示语含义
「无法生成草稿 —— 没有听写内容或模型无响应」该视频尚未被听写，或 AI 模型无响应
「该视频等级高于您的查阅等级，无法打开」请向管理员确认查阅等级
「无法确认视频等级 —— 文档服务器无响应，请稍后重试」无法连接到文档检索服务器
「您没有执行此操作的权限 —— 仅创建者或拥有发布权限的人可以操作」试图修改他人草稿或在无权限情况下发布
「找不到视频或流程 —— 可能已被删除或不在您的范围内」视频已被删除或不在您的设备范围内

局限性​

情况结果
刚上传的视频需等到处理时间段（默认 20:00 ~ 06:00）开启才会开始听写。上传当天白天可能还无法被检索到
2026.10 再发布版本 4 之前听写的视频在语音从静音 · 噪音后开始的位置，可能遗漏第一句话或场景时刻被提前。再发布版本 4 已修复此问题，但已听写的视频不会自动重新处理 —— 需管理员执行重新听写，才会在处理时间段（默认 20:00 ~ 06:00）重新转写
问题与视频语言不同（如用英语提问但视频是韩语）无法匹配到正确语句。若区段较长，会在期望场景之前打开
浏览器无法打开的编码格式（如 H.265 mp4）可被检索到并显示卡片，但在面板中无法播放
超过时长上限（默认 120 分钟）的视频不会只截取前段，而是整体跳过
没有语音也没有字幕的视频没有可供检索的文字，无法被检索到（管理控制台中显示为«无声音»·«无语音»）

语音提问 — 麦克风按钮​

可用输入框右侧的语音提问（麦克风——与发送按钮同样大小，手机上适配戴手套手指的触控区域）进行语音提问。 仅在开启了视频 · 语音功能的安装环境中可用。

  1. 按一次开始，再按一次（停止录音）结束。
  2. 录音过程中，输入框位置会显示「聆听中」· 音量条 · 已用时间 · 「最长60秒」。点击 ✕（取消）会放弃录音。 最长60秒，到60秒会自动停止。
  3. 停止后会经过「正在转为文字」阶段，将语音转为文字填入输入框（若已有文字则追加在后面）。确认并修改后发送。
  • **不会保存语音本身。**只有转写后的问题文字会留在对话中。
  • 麦克风仅在 HTTPS 地址下可用。若通过内网 IP 的 http:// 打开，浏览器不会授予麦克风权限， 会显示「此浏览器不支持录音」。
  • 答案生成过程中麦克风按钮会被锁定。
提示语含义 · 处理方法
「当前无法使用语音输入（听写服务已关闭或繁忙）。请用文字输入。」该安装环境未开启视频 · 语音功能，或听写服务无响应。请用文字提问，若持续出现请联系管理员
「无法使用麦克风。请在浏览器中允许使用麦克风」在地址栏的站点设置中允许«麦克风»权限后再次点击
「此浏览器不支持录音」使用的是 http:// 地址，或浏览器不支持录音。请改用 https:// 地址打开
「未能识别语音内容，请靠近麦克风重新说话」请靠近麦克风重新说话
「录音时间太短，请说得长一些」短于0.6秒的录音会被丢弃
「转写失败，请重试」听写失败，请再次点击
「录音时间过长（最长60秒）。」请分段提问

相关文档​