長い研修動画から、設備のエラー復旧を説明した場面を探したい。製造業の教育担当が、たとえば「停止後に何を確認するか説明している箇所はどこか」と尋ね、必要な説明にたどり着ければ、教材を見直す作業を進めやすくなりそうです。
Googleが2026年9月1日に発表したGeminiの動画理解の仕組みは、こうした場面探しにつながるものです。公式ブログとAPIの開発者資料をもとに、仕組みと使いどころを見ていきます。
質問に合わせて、調べる区間と情報を選びます
Googleはこの方式を「agentic」と呼んでいます。質問に答えるために、次にどの情報を取得するかを判断しながら動画を調べる処理です。
入力するのは動画と質問です。必要な区間のフレーム、つまり動画を構成する静止画や、音声、文字起こしを取得します。得られた情報を次の判断に戻し、必要に応じてさらに調べ、テキストで回答します。これはGoogleが説明する処理の流れで、回答の正しさを保証するものではありません。
図の下側にある往復が、必要な情報を探して読み直す処理です。映像だけでなく音声や文字起こしも使います。この図は処理の流れを示し、回答の精度や待ち時間は示していません。
出典:Google DeepMind · Introducing agentic video understanding with Gemini · How it works節の説明図
従来の「static」は、固定した間隔でフレームを読む方式です。公式ガイドでは、通常は既定で毎秒1フレームを読み込むと説明しています。agenticは、質問に応じて読む区間や情報の種類を選ぶ点が異なります。
長い動画の場面探しに向くと説明しています
開発者資料は、長い動画や特定の場面を問う用途にはagentic、短い動画で応答速度を求める場合や、全体のフレーム単位の精度が必要な用途にはstaticという使い分けを示しています。
agenticでは探索に時間がかかる場合があり、短い動画では探索や情報取得の往復によって、最初の応答までの時間が増えることもあります。また、全場面を漏れなく検査できるという保証は示されていません。
研修動画では、説明箇所を探す補助として試すことが考えられます。回答を教材に使う際は、担当者が該当時刻の映像と周辺の説明を確認し、日時や設備型番を取り違えていないか確かめる運用がよいでしょう。