Google DeepMind 為 Gemini 推出智能體影片理解功能
Introducing agentic video understanding with Gemini
Google DeepMind 推出 Gemini 智能體影片理解功能,影片分析成本最多降低 66%、token 用量最多降低 88%,準確度最多提升 7%。
相較固定 FPS 靜態處理,Gemini 會動態檢視畫面、音訊與字幕,影片分析的 token 用量最多減少 88%、成本最多減少 66%。
2026年9月01日
|
我們最新的代理式影片分析功能,最多可減少 88% tokens 消耗、降低 66% 成本,並提升 7% 質素。
Rohan Doshi
Google DeepMind 高級產品經理
Mario Lučić
Google DeepMind 研究總監
收聽文章
[[duration]] 分鐘
此內容由 Google AI 生成。生成式 AI 仍屬實驗性質
今天,我們透過最新模型推出代理式影片理解功能:Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite。這項新能力在提升準確度的同時,大幅減少影片分析的 tokens 用量和成本。代理式影片理解類似代理式視覺理解,後者將程式碼執行與 Gemini 模型原生圖像理解能力結合;代理式影片理解則運用 Gemini 原生影片工具改善效能,並為影片處理開啟新功能,例如在不足一秒內找出片段、更準確地偵測異常、精準點算等。
此功能即日起可透過 Gemini API 在 Google AI Studio 和 Gemini Enterprise Agent Platform 分析影片上載和 YouTube 影片。
基準測試
與目前的「靜態」處理方式不同,後者按固定每秒影格數(預設 1 FPS,可透過 API 調整)輸入影片;代理式影片理解會結合模型的核心推理和原生影片工具,動態搜尋、掃描及檢查目標片段的影格、音訊和轉錄內容。在標準影片分析基準測試中,支援代理式影片理解的 Gemini 模型可最多降低 66% 分析成本和 88% tokens 用量,同時提升 7% 準確度。
在長影片中,效益尤其明顯,涵蓋 10 分鐘教學指南、90 分鐘講課到數小時錄影。靜態處理會迫使開發者在高昂 tokens 成本與可能漏掉重要細節的技術之間作選擇。
啟用代理式影片理解後,Gemini 3.7 Flash 最多可減少 88% tokens 用量並提升 7% 準確度。
這些效益適用於全部三款支援模型;但整體而言,Gemini 3.7 Flash 配合代理式理解的品質最佳,品質與成本效益的組合亦最佳,在已測試的影片理解模型中位於準確度與成本的 Pareto 前沿。
使用代理式影片理解後,Gemini 3.7 Flash 在影片分析的準確度與成本比較中位於 Pareto 前沿。
運作方式
有別於模型以固定影格率輸入媒體串流的靜態處理,代理式影片理解讓 Gemini 主動、目標導向地決定應觀看甚麼內容、以甚麼速度,以及使用哪種模態(影格、音訊或轉錄),只擷取所需片段和訊號。過去開發者可手動完成這些工作;透過代理式影片理解,Gemini 會在代理循環中呼叫內部工具,載入相關影片片段,大幅減少開發負擔。
功能和使用情境
代理式影片理解革新開發者處理長影片的方式,支援多種要求嚴格的應用。
- 亞秒級片段擷取:精準找出瞬間狀態變化和緊湊剪接點,避免在 1 FPS 下被漏掉,讓精細影片自動編輯成為可能。
- 長片段「大海撈針」搜尋:跨數小時影片回答複雜查詢,無需消耗數以百萬計的 tokens。
- 異常偵測:以更高 FPS 重新取樣有趣的時間區段,檢視快速動作和細微視覺瑕疵。
- 動作和物件計數:準確追蹤重複的身體動作,以及不同物件隨時間的變化。
實際成果
多家早期體驗合作夥伴在測試代理式影片理解時都取得出色表現,以下是他們的分享:
開始使用
代理式影片理解可透過 Gemini API 在 Google AI Studio 和 Gemini Enterprise Agent Platform 使用,並陸續支援 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite。採用標準 Gemini API tokens 定價,不收取額外功能費用。
只需在 API 設定中將處理模式設為「agentic」即可啟用。請閲讀開發者指南,深入瞭解功能和開始使用的方法。
from google import genai
client = genai.Client()
interaction = client.interactions.create(
model="gemini-3.7-flash",
input=[
{
"type": "video",
"uri": "https://youtu.be/7Z5Vy9JBANs",
"processing": "agentic"
},
{
"type": "text",
"text": "What are the 3 most important announcements in this keynote?",
},
],
)
print(interaction.output_text)我們亦會將代理式影片理解的效率和質素提升帶給 Google 產品的數十億用戶。此功能即將陸續在 Gemini 應用程式中向所有用戶推出,支援 Flash 和 Flash-Lite 模型。未來幾個月,代理式影片理解亦會為 YouTube 影片觀看頁面的「Ask YouTube」功能提供支援,運用 Gemini 根據影片畫面提供更高質素的答案。
感謝以下人士對此工作的貢獻: Sergi Caelles、Filip Pavetić、Ahmet Iscen、Suhas Yogin,以及 Agentic Vision 團隊。
在收件匣接收 Google 最新消息
訂閲電子通訊,接收產品更新、活動資訊、特別優惠等內容。
你的資料將按照Google 私隱政策使用。你可以隨時取消訂閲。
來源:Google DeepMind · deepmind.google