映像・音声で問う
チャットは文書と図面だけを探すわけではありません。管理者が映像・音声を有効にしておくと、整備・教育映像のその場面を答えの根拠として 持ってきますし、入力欄の話して聞く(マイク)で声で問うこともできます。このページでは「問う」で映像について何を聞くことができ、 答えの下の映像・音声根拠カードがどう動くかを扱います。
先に管理者が有効にする必要があります
手持ちの映像 1 本をすぐ尋ねたいなら — ファイルを追加
質問の入力欄の ファイルを追加 で映像・音声ファイルを入れます(1GB・60 分まで)。こうして入れた映像はその対話でだけ使われ、その対話の所有者だけが再生できます — 文書検索とこのページの場面カード検索には出ず、処理時間帯を待ちません → AI チャット — 映像・音声ファイルを追加
映像はどこから入ってくるか
| 経路 | 何 |
|---|---|
| 管理コンソール › RAG › 索引 › 動画 の 映像アップロード | 管理者が直接アップロードします。映像 mp4 · mov · mkv · webm、音声 m4a · mp3 · wav、外部字幕 srt · vtt |
| 自動同期 | プラットフォームで設備に紐づけた映像・音声ファイルも文書と同様に周期的に取り込まれます |
アップロードした映像は話し声を文字起こし(録取)し、内蔵字幕トラック・外部字幕があればそれも読み取って時刻付きテキストとして索引します。 画面に焼き込まれた字幕・画面上の文字まで読み取らせるのは管理者設定です → 環境設定
アップロードした直後の映像がまだ反映されないのは正常な場合があります
文字起こしはチャットと同じサーバーリソースを共有するため、決まった時間帯にのみ開始します。管理者が時間帯を空欄にしておくと
**夜20:00〜06:00(工場タイムゾーン PP_TZ)**です — 日中にアップロードした映像はその夜に処理されます。管理者が always で常時有効にすると
いつでも開始します。時間帯は処理の«開始»にのみ適用され、開始した処理はウィンドウが閉じても最後まで続きます。
処理状態(待機中・録取中・索引済み・音声なし・失敗…)と現在の処理時間帯は管理コンソールの動画画面上部に 表示されます → 管理者コンソール
何を聞くか
手順を問う質問がよく合います。答えの根拠が映像のその時刻へ直接連れて行ってくれます。
- 「ベアリング交換の際、圧入前に何を確認する?」
- 「油圧トルクレンチの反力アームはどう固定する?」
- 「(作業の)作業手順書や映像を探して」
場面カード
答えの下の根拠カードのうち、映像・音声カードはこのようになっています。
| 表示される内容 | 意味 |
|---|---|
| 番号 | 本文の [번호] と同じ番号 |
| サムネイルまたはアイコン | 一致した場面の画像 — 文書検索が場面を保存している映像にのみ表示されます。なければ映像・音声アイコンです |
| タイトル | 映像・音声ファイル名 |
| 補助行 3:12・… | 一致した場面の時刻(分:秒)とその区間のテキスト1行。再生もこの時刻から始まります |
| バッジ 字幕・画面・音声 | その区間のテキストがどこから来たか — 字幕、画面上の文字、話し声。音声ファイルには«音声»バッジを付けません |
カードを押すと会話を残したまま右パネルに再生機が開きます。文書原文・図面が開くのと同じパネルです — 閉じる・幅変更・狭い画面での見え方はコパイロット画面マップ — 右パネルにあります。
- カードに書かれた一致した場面の時刻から自動再生し、区間の終わりで停止します — 「区間終了で停止しました」。 一致した場面とは、検索が質問に合うと判断した文が出てくる箇所です。その箇所が分からないか区間外であれば、区間の開始から再生します。
- 再生機の下に「区間 3:10 〜 3:47」のように区間全体と区間再再生があります。押すと区間の最初から再び再生します — 一致した場面の前の文脈を見るときに使います。
- 区間終了で停止した後に再生を直接押すと、その先も続けて見られます。区間内に巻き戻すと再び区間終了で停止します。
- その下にその区間のテキストが表示され、映像であれば手順書ドラフト作成があります → 下記映像から作業手順書を作る
- 別のカードを押すとパネルがその映像に切り替わります。パネルを閉じるまたは Esc で閉じます。
- 音声ファイル(
m4a・mp3・wav)は画面なしで再生バーのみ表示されます。 - 提案の根拠に付いた映像も同じ再生機で開きます — 詳細の上に開き、戻るで戻ります。
- 再生はログインしている人なら誰でも可能です(文書と同じ規則)。映像原本は顧客サーバー内にのみ存在します。
どの映像がカードとして付くか
どの映像区間をカードとして出すかは文書検索が決めます — 検索が書いた答えが何に依拠したかを見ます。
- 検索の答えが引用した映像区間のみカードになります。検索に引っかかっても検索の答えが依拠しなかった映像は付きません。
- 検索の答えが冒頭で«資料にその情報がない»と言う場合、映像カードは付きません — その後に似た映像を引用しても 同様です。
- 検索の答えが何も引用しなかった場合、一致した文がある区間を前に3個まで付きます。
- こうして選ばれた映像・音声カードは、チャットの答えの本文が番号を付けなくても残ります — 検索が既に«自分の答えが依拠した区間»として選んだためです。
引用していないカードは薄く表示されるだけです。ただし次の場合は外れます。
- 答えが映像・音声のファイル名を挙げた場合は、その名前のカードだけが残ります。
- 答えが文書検索ではない結果(センサー・チャート・デジタルスレッド)を引用したかチャートで描いた場合、引用していない映像カードは外れます — 答えの根拠がそちらだからです。
- 映像カードが残った答えでは、同じ検索の文書・図面カードは本文が引用したものだけが残ります。引用していない文書カードが«引用なし»の根拠として復活することはありません → 問う — 根拠カードと引用
- 新しい会話の最初の質問は文書検索をユーザーが書いた文そのままで一度行います。その検索が映像区間を一つも出さなかった場合、AI が 言葉を変えて再検索した結果から出た映像はカードとして載せません。続く質問は AI が前の会話を反映して修正したクエリを使います。
どのくらい当たるか
社内評価セット(v2、83問 × 3回、検索直接経路)で測定した値です。顧客データ・質問での性能を保証する数値ではありません。
| 測定項目 | 結果 |
|---|---|
| 正しい映像が1位 | 90% |
| 正しい映像が5位以内 | 97% |
| 場面時刻の誤差(中央値) | 7.6秒 |
| 資料にない質問に«わからない»と答える | 95% |
映像から作業手順書を作る
整備映像が根拠として付いた答えで映像カードを押して開いた右パネルの手順書ドラフト作成を押すと、パネルが作業手順書に切り替わり、その映像の話し声・字幕・画面文字から ステップとチェックリストを抽出してドラフトとして表示します。
- 作成中は「録取からステップを抽出中です」が表示されます — 「映像の長さによっては1分ほどかかる場合があります。パネルを閉じても構いません。」
- すでに作成済みの手順書がある場合は新規作成せずにそれを開きます(「この映像の手順書はすでにあるため、それを開きました。」)。その横に再作成があります。
| パネルに表示される内容 | 意味 |
|---|---|
| ステータスバッジ | ドラフト・公開済み v«版»・修正ドラフト・公開版 v«版»(公開後に再修正したもの) |
| ステップ N | 抽出されたステップ群。ステップごとに下記の表の内容が付きます |
| チェックリスト N | 作業前後に確認する項目 |
| 破棄項目 N | 「根拠行がないか、根拠にない数値があるためドラフトから除外しました。」— AI が出したが根拠を示せなかったステップ・チェック |
| この設備の手順書 | 同じ設備の他の手順書一覧 |
| ステップごとに表示される内容 | 意味 |
|---|---|
| 注意・工具・部品 | 映像で言及されたもの |
| 根拠 | 音声・字幕・字幕テキスト・画面テキストのうちどこから来たか、そしてその区間の再生 |
| 確信度 高・中・低 | AI がそのステップをどの程度確信しているか — 低は必ず映像で確認します |
| レビュアー修正 | 人が修正したステップ。根拠が付いていれば「根拠区間参照」、根拠を外していれば「映像根拠なし」が併記されます |
- 修正でタイトル・動作・注意・工具・部品を修正し、ステップ・チェック項目を追加し(ステップ追加・チェック項目追加)、順序を変更し(上へ・下へ)、削除します(削除)。 根拠が付いたテキストを修正するとそのステップはレビュアー修正になります。根拠を外すを行うと«レビュアーが記入 — 映像根拠なし»ステップになります。保存しないと残らず、修正をやめるは「修正内容を破棄しますか?」を尋ねます。
- 再作成は映像からステップを最初から再抽出します — 「現在のタイトル・本文は一式のみ残り、公開版は次の公開まで従来通り検索されます。」
- 🔴 根拠にない数値(トルク・温度・時間など)がある場合、「表示された問題を修正しないと公開できません — 数値を根拠通りに修正するか根拠を外してください。」のバーが表示され、公開がブロックされます。 ステップが一つもない場合も公開できません(「ステップがないか表示された問題が残っているためまだ公開できません」)。
- 公開を押すと「手順書を公開しますか?」が設備・文書名・等級(「原本映像と同じ等級」)・ステップとチェック数を表示し、確認するとその手順書が設備文書となり、以降のチャットが根拠として引用します。
- 公開は手順書公開権限(
publish:procedure)がある人のみ行えます — デフォルトでは班長・整備・工場長・管理者です。ドラフト作成は問うを使う誰でも行え、他人のドラフトは作成した人と公開権限者のみ修正できます。
| 表示されるメッセージ | 意味 |
|---|---|
| 「ドラフトを作成できませんでした — 録取がないかモデルが応答しません」 | まだ文字起こしされていない映像か AI モデルが応答していません |
| 「この映像の等級が自分の閲覧等級より高いため開けません」 | 管理者に閲覧等級を確認します |
| 「映像の等級を確認できません — 文書サーバーが応答しません。しばらくしてから再試行してください」 | 文書検索サーバーに接続できませんでした |
| 「この操作を行う権限がありません — 作成者または公開権限がある人のみ実行できます」 | 他人のドラフトを修正するか権限なしで公開しようとしました |
| 「映像または手順書が見つかりません — 削除されたか自分の範囲外です」 | 映像が削除されたか自分の設備範囲外です |
制限事項
| こういう場合 | こうなります |
|---|---|
| アップロードした直後の映像 | 処理時間帯(デフォルト20:00〜06:00)が開くまで文字起こしを開始しません。アップロード当日の日中はまだ検索されない場合があります |
| 2026.10 再リリース4以前に文字起こしされた映像 | 話し声が無音・ノイズの後に始まる箇所で最初の文が欠落したり、場面時刻が前にずれている場合があります。再リリース4はこれを修正しましたが、すでに文字起こし済みの映像は自動で再処理されません — 管理者が再録取すると処理時間帯(デフォルト20:00〜06:00)に再度文字起こしされます |
| 質問と映像の言語が異なる(例: 英語で問い、韓国語の映像) | 一致する文を選べません。区間が長い場合、目的の場面より前で開きます |
| ブラウザが開けないコーデック(例: H.265 mp4) | 検索はでき、カードも付きますが、パネル内で再生できません |
| 長さの上限(デフォルト120分)を超える映像 | 前半部分のみ取り込むのではなく、丸ごとスキップします |
| 話し声も字幕もない映像 | 検索対象のテキストがないため検索されません(管理コンソールには«音声なし»・«発話なし»と表示されます) |
音声で問う — マイクボタン
入力欄右側の話して聞く(マイク — 送信ボタンと同じサイズ、スマホでは手袋をはめた指に合わせたタッチ領域)で声で問うことができます。映像・音声が有効なインストールでのみ使用できます。
- ボタンを一度押して開始し、もう一度押して(録音停止)止めます。
- 録音中は入力欄の位置に「聞いています」・音量バー・経過時間・「最大60秒」が表示されます。✕(キャンセル)を押すと録音を破棄します。 最大60秒で、60秒になると自動で停止します。
- 停止すると「テキストに変換中」を経て話した内容をテキストに変換し入力欄に入れます(すでに書いたテキストがあればその後ろに付けます)。確認・修正してから送信します。
- 音声は保存しません。 テキスト化された質問のみが会話に残ります。
- マイクはHTTPSアドレスでのみ開きます。社内IPの
http://で開くとブラウザがマイクを許可しないため「このブラウザは録音をサポートしていません」が表示されます。 - 答えが流れている間はマイクボタンがロックされます。
| 表示されるメッセージ | 意味・対応 |
|---|---|
| 「現在、音声入力は使用できません(文字起こしサービスがオフかビジー状態です)。テキストで入力してください。」 | 映像・音声がオフのインストールか、文字起こしサービスが応答していません。テキストで問い、続く場合は管理者に連絡します |
| 「マイクを使用できません。ブラウザでマイクを許可してください」 | アドレスバーのサイト設定 → マイク«許可»の後、再度押します |
| 「このブラウザは録音をサポートしていません」 | http:// アドレスか録音できないブラウザです。https:// アドレスで開きます |
| 「話し声を聞き取れませんでした。マイクに近づけて再度話してください」 | マイクに近づけて再度話します |
| 「短すぎます。もう少し長く話してください」 | 0.6秒より短い録音は破棄します |
| 「テキストに変換できませんでした。やり直してください」 | 文字起こしが失敗しました。再度押します |
| 「録音が長すぎます(最大60秒)。」 | 質問を分けて話します |
関連文書
- 問う — AI チャット — 根拠カード・引用・右パネル
- 図面で問う — 図面カード・版比較
- RAG — 検索エンジンと索引
- 安全・教育ユースケース — 教育映像で手順を探す
- 環境設定 — 映像・音声の有効化・処理時間帯