AgentHands：為 XR 中以空間為基礎的智能體對話生成互動手勢
Google Research 提出 AgentHands，將 LLM 回應轉化為與語音同步、能配合 XR 空間場景的手勢。系統透過物件註冊、手勢事件和字級時間戳協調語音播放與動畫；研究以 N = 12 名參與者進行受試者內測試，使用蘭花護理和 3D 打印機操作任務，比較 AgentHands 與純語音基線。
#多模態
#多模態
今日 34 條Google ResearchAI 評分4141
Google ResearchAI 評分4343 流動數據如何讓語言模型更深入理解地點
Google Research 提出 Mobility-Embedded POIs（ME-POIs）框架，將匿名聚合流動模式融入地點表示，增強語言模型對地點動態功能的理解。在未見地點的測試中，到訪意向預測相對提升最高 81.9%，價格水平分類提升 75.1%，繁忙程度估算準確度提升 24.7%。
DeepSeek：API 更新日誌AI 評分6464 DeepSeek-V4-Flash-Vision-Exp 實驗模型在 DeepSeek API 平台開放使用
DeepSeek 已在 DeepSeek API 平台提供實驗性多模態視覺理解模型 DeepSeek-V4-Flash-Vision-Exp，可透過 `model='deepseek-v4-flash-vision-exp'` 調用。
Hugging Face BlogAI 評分5353 OlmoEarth Studio 新增自訂嵌入向量匯出功能
OlmoEarth Studio 新增自訂嵌入向量匯出功能，輸出可用於下游分析的 COG。使用者可設定研究區域、時間範圍、編碼器、解析度及影像來源；文章示範相似度搜尋、少樣本分割、變化檢測和 PCA 探索。以 60 個標註像素訓練的分類器取得 weighted F1 = 0.84，匯出檔可用於 QGIS、GDAL、rasterio 等工具。
Google DeepMind精選AI 評分7979 Google DeepMind 發佈 SL2T 手語轉文字模型，接入 Gboard 和 Live Transcribe
Google DeepMind 發佈 SL2T 多語言手語轉文字模型，為 Gboard 和 Live Transcribe 帶來手語轉文字功能，首階段支援 ASL 至英文。
推薦理由：SL2T 以簽署者的身體姿態座標直接翻譯成文字，原始影片會即時丟棄，呈現其輸入處理方式與私隱保護設計。
Google Research精選AI 評分6868 Google Research 推進 AMIE 邁向專家級視聽臨牀會診
Google Research 展示基於 Gemini 和 Project Astra 的 AMIE (Video)，在模擬即時視像會診中，核心臨牀能力獲評與基層醫生相當。
推薦理由：研究以 300 場模擬視像會診比較 AMIE (Video)、文字版 AMIE 與基層醫生，呈現視聽感知和虛擬檢查的表現差異，並交代病人演員研究的適用邊界。
Hugging Face Blog精選AI 評分7777 Meta 發佈 Muse Glimmer 30B 多模態模型，採用 Apache 2.0 授權並面向本地智能體應用
Meta 發佈 Muse Glimmer，一款由 Muse 蒸餾而來、面向本地智能體應用的多模態 30B 模型，採用 Apache 2.0 授權。模型由 2B ViT-style 視覺編碼器和 28B 文字解碼器組成，支援圖像、影片輸入及多模態工具調用。
推薦理由：文章把 Muse Glimmer 的本地智能體定位、30B 架構與 transformers、llama.cpp、vLLM 等入口連起來，提供從本地推理到託管部署的實作參考。
Sarvam AIAI 評分6868 Sarvam AI 在 Sarvam Epoch 公佈多款模型更新及 AI 產品
Sarvam AI 在 Sarvam Epoch 公佈 Sarvam 105B 的對話及工作智能體版本，並介紹 Sarvam Vision 2.0、Saaras V4 和研究預覽版 Bulbul V4。
Mistral AI精選AI 評分6262 Mistral AI 發佈 3B 多模態安全分類器 Shieldstral
Mistral AI 發佈 Shieldstral，一款 3B 開放權重多模態安全分類器，可用自然語言政策評估文字與圖像，無須重新訓練。它將內容審核設計為可在推理時指定政策的二元問答，並輸出校準後的安全分數；Mistral 稱其在多項基準上匹配或超越模型規模最高達其 7x 的開放權重安全模型。
推薦理由：將審核政策置於推理時的自然語言問題中，使同一個 3B 模型可按部署情境調整文字與圖像判斷，無須重新訓練。
Google DeepMind精選AI 評分6666 Google DeepMind 發佈 Gemini Robotics ER 2，支援影片理解、任務編排與多機械人協作
Google DeepMind 發佈 Gemini Robotics ER 2，這款面向機械人的具身推理模型可理解連續影片、編排多步任務，並支援多機械人協作。它在任務進度分類達 57.4% 準確率，關鍵時刻定位達 91.3% 準確率、平均絕對距離為 0.96s。
推薦理由：文章將影片進度追蹤與多機械人協作納入模型更新，並提供任務評測數據，讓讀者掌握 Gemini Robotics ER 2 的具身推理能力變化。
Google DeepMind精選AI 評分6969 Gemini Robotics 2 為機械人帶來全身智能控制
Google DeepMind 發佈 Gemini Robotics 2 系列模型，為機械人帶來全身控制、靈巧操作及多機協作能力。系列包括將視覺與語言輸入轉為動作控制的 Gemini Robotics 2、用於具身推理與多步任務規劃的 Gemini Robotics ER 2，以及可在機械人裝置本地運行的 Gemini Robotics On-Device 2。
推薦理由：全身控制、靈巧操作、多機協作與本地適配均有具體案例，呈現 Gemini Robotics 2 系列面向機械人任務的能力佈局。
Google DeepMind精選AI 評分7878 Google DeepMind 發佈 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber
Google DeepMind 發佈 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber，涵蓋智能體工作流、低延遲高吞吐任務及網絡安全場景。
推薦理由：文章列出 3.6 Flash 與 3.5 Flash-Lite 的速度及成本指標，並説明 Cyber 模型將透過有限試點提供，呈現不同工作負載的部署差異。
Google ResearchAI 評分5757 SensorFM：邁向穿戴式健康數據的通用智能與介面
Google Research 提出 SensorFM 大型感測器基礎模型，以來自五百萬名參與者的逾一萬億分鐘未標註穿戴式裝置訊號學習通用生理表徵。凍結模型編碼器後訓練的線性探測，在 35 項健康任務中的 34 項勝過特徵工程監督基線。在 31 份參與者檔案的評估中，加入 SensorFM 預測提升個人健康智能體摘要在五個評分維度的表現；與以真實測量值作依據的摘要評分則沒有統計顯著差異。
Mistral AIAI 評分5656 Mistral AI 發佈 8B 機械人導航模型 Robostral Navigate
Mistral AI 發佈 8B 模型 Robostral Navigate，讓機械人根據 RGB 圖像和自然語言指令自主導航。模型在 R2R-CE 已見及未見驗證集分別取得 79.4% 和 76.6% 成功率；未見集成績較最佳單相機方案高 9.7 個百分點，較採用深度感測或多相機的最佳系統高 4.5 個百分點。
Google ResearchAI 評分5757 Google Research 探討 AI 如何幫助使用者理解皮膚狀況
Google Research 分享兩項關於皮膚狀況 AI 的研究，發現 AI 輔助能提高參與者辨認病況的能力，但標準 AI 組判斷後續步驟的準確度沒有顯著提升。
Google DeepMind精選AI 評分7272 Google DeepMind 發佈 Gemma 4 12B 統一免編碼器多模態模型
Google DeepMind 發佈 Gemma 4 12B，定位為可在筆記型電腦本機運行的多模態模型，並為中型模型加入原生音訊輸入。它採用免多模態編碼器架構，將視覺和音訊輸入直接整合至 LLM backbone；標準基準表現接近 26B MoE，總記憶體佔用不足其一半。Gemma 4 12B 以 Apache 2.0 授權釋出，可透過 LM Studio、Ollama 等工具試用。
推薦理由：Gemma 4 12B 的免編碼器設計、接近 26B MoE 的基準表現與較低記憶體佔用，提供比較中型多模態模型架構和本機部署定位的具體依據。
Hugging Face Blog精選AI 評分7070 智能體如何串接兩個 Hugging Face Spaces 建成巴黎地標 3D 畫廊
編碼智能體串接兩個 Hugging Face Spaces，生成巴黎地標圖像及 3D Gaussian splats，並將畫廊部署為靜態 Space mishig/monuments-de-paris。
推薦理由：案例展示了透過 Hugging Face Spaces 的 agents.md 串接圖像生成與單圖 3D 重建，並以各一句提示複用到日本及埃及主題畫廊，呈現多媒體工作流的可遷移性。
Hugging Face Blog精選AI 評分6262 NVIDIA 發佈 Nemotron 3.5 Content Safety，整合多模態安全判定與自訂政策
NVIDIA 發佈 Nemotron 3.5 Content Safety，將多模態輸入、多語言覆蓋、自訂企業政策與可審計推理整合至單一 4B 模型。模型基於 Google Gemma 3 4B IT，明確訓練覆蓋 12 種語言，並承接其約 140 種語言的 zero-shot 泛化；可選 THINK mode 會輸出推理軌跡。
推薦理由：Nemotron 3.5 將多模態判定、自訂政策和可審計推理整合於 4B 模型，並附訓練資料集，提供企業安全審核的部署參考。
Google DeepMind精選AI 評分8080 Google DeepMind 推出 Gemini Omni，首個模型為 Gemini Omni Flash
Google DeepMind 推出 Gemini Omni 系列首個模型 Gemini Omni Flash，可結合圖像、影片、文字及語音參考生成影片，並支援透過對話編輯。
推薦理由：材料把 Gemini Omni Flash 的多模態輸入、對話式影片編輯和分階段上線平台放在一起，便於理解新模型如何連接生成能力與實際使用入口。
Google DeepMindAI 評分5858 Google DeepMind推出新加坡AI合作計劃，參與Google與新加坡政府的全國AI夥伴關係
Google DeepMind宣佈在新加坡推出多項AI合作計劃，並參與Google與新加坡政府的全國AI夥伴關係。計劃涵蓋醫療與生命科學、科研、教育及可持續發展，並推進多模態與多語言安全基準研究；Gemini for Education已提供予小學至初級學院的所有教育工作者。
Google DeepMind精選AI 評分8383 Google DeepMind 發佈 Gemini 3.5 系列，首款 Gemini 3.5 Flash 即日起推出
Google DeepMind 發佈 Gemini 3.5 模型系列，首款 Gemini 3.5 Flash 即日起透過 Gemini app 和 Google Search 的 AI Mode 向全球用户開放。
推薦理由：Gemini 3.5 Flash 列出代理任務、編碼及多模態基準成績，並比較每秒輸出 tokens 的速度，讓性能主張有多項指標可供對照。
Google DeepMind精選AI 評分6060 Google DeepMind 宣佈 AI co-clinician 醫療研究計劃，探索醫療協作模式
Google DeepMind 宣佈 AI co-clinician 研究計劃，探索讓 AI 在醫生專業監督下協助患者照護。在 98 個基層醫療問題的評估中，97 個案例錄得零項嚴重錯誤；在開放式藥物問答中，系統表現勝過可用的前沿 AI 系統。
推薦理由：文章並列呈現 AI co-clinician 在證據整理、藥物問答和多模態問診的測試結果，並以醫生整體表現較佳界定其臨牀輔助定位。
Hugging Face Blog精選AI 評分7272 NVIDIA 發佈 Nemotron 3 Nano Omni 長上下文多模態模型，面向文件分析、音訊與影片理解及智能體電腦操作
NVIDIA 發佈 Nemotron 3 Nano Omni，這款長上下文多模態模型面向文件分析、音訊與影片理解、智能體電腦操作及通用推理。
推薦理由：文章並列 Nemotron 3 Nano Omni、Nemotron Nano V2 VL 與 Qwen3-Omni 的多項基準結果，另列系統效率數據，提供文件、影音和 GUI 任務的比較依據。
Hugging Face Blog精選AI 評分6666 Sentence Transformers v5.4 多模態嵌入與 Reranker 模型使用指南
Sentence Transformers v5.4 的同一 API 現可編碼並比較文字、圖像、音訊和影片，文章示範其多模態嵌入與 reranker 用法。嵌入模型將不同模態映射至共享嵌入空間；預訓練多模態 reranker 目前主要處理文字與圖像配對。示例涵蓋跨模態檢索、混合模態文件重排及先檢索再重排流程，並列出輸入格式、支援模型和安裝依賴。
推薦理由：文章展示 Sentence Transformers v5.4 的跨模態檢索與 reranker 重排流程，並整理支援模型和輸入格式，提供實作參考。
Google DeepMind精選AI 評分8282 Gemma 4 成為 Google DeepMind 迄今能力最強的開放模型家族
Google DeepMind 發佈 Gemma 4 開放模型家族，提供 E2B、E4B、26B MoE 和 31B Dense 四種尺寸，並採用 Apache 2.0 授權。
推薦理由：Gemma 4 提供從手機端到工作站的多種尺寸，並列出排行榜名次與上下文窗口，便於比較本地部署時的硬件需求和能力差異。
Hugging Face Blog精選AI 評分8585 Google DeepMind 發佈 Gemma 4 多模態模型系列，五種尺寸登陸 Hugging Face
Google DeepMind 的 Gemma 4 多模態模型系列已登陸 Hugging Face，提供五種尺寸，支援圖像、文字及部分型號的音訊輸入。模型採 Apache 2 授權，最大上下文窗口為 256K；31B 和 26B A4B 的 text-only LMArena 估算分數分別為 1452 和 1441，後者有 4B 啟用參數。
推薦理由：文章列出五種 Gemma 4 規格、上下文窗口和音訊支援差異，並整理多個推理與微調框架的接入方式，可供比較型號特點及部署路徑。
Hugging Face BlogAI 評分5555 Granite 4.0 3B Vision：面向企業文件理解的緊湊型視覺語言模型
Granite 4.0 3B Vision 現已推出，是面向企業文件理解的緊湊型視覺語言模型，支援表格抽取、圖表理解及語義鍵值對抽取。模型以 LoRA adapter 形式構建於 Granite 4.0 Micro 之上，可獨立使用或配合 Docling，並以 Apache 2.0 授權在 Hugging Face 提供。
Google DeepMind精選AI 評分6565 Google DeepMind 探索 AI 時代的滑鼠遊標，介紹 Gemini 在 Chrome 的指向提問功能
Google DeepMind 介紹 AI 指針的設計原則與實驗演示，並宣佈即日起可在 Chrome 用指針向 Gemini 提問網頁內容。這套設計以四項原則為核心，讓指針結合視覺和語義上下文及語音，減少使用者撰寫詳細提示詞的需要。Magic Pointer 將即將在 Googlebook 推出。
推薦理由：文章以四項交互原則説明 AI 指針如何減少提示詞負擔，並列出 Gemini 在 Chrome 的現有功能及 Googlebook 即將推出的 Magic Pointer。
Google DeepMind精選AI 評分6868 Google DeepMind 推出 Lyria 3 Pro，支援最長 3 分鐘音樂生成並接入多項產品
Google DeepMind 推出音樂生成模型 Lyria 3 Pro，支援生成最長 3 分鐘的曲目，並可按前奏、主歌、副歌和橋段等音樂結構提示創作。
推薦理由：文章呈現 Lyria 3 Pro 從段落提示到 Vertex AI 公開預覽的接入脈絡，並連結創作者音樂工具與企業按需音訊製作場景。
OpenAI NewsAI 評分5959 OpenAI 推出 GPT-5.4 mini 和 nano
OpenAI 發佈 GPT-5.4 mini 和 nano，兩者是 GPT-5.4 的較小、更快速版本。它們針對編碼、工具使用、多模態推理，以及高用量 API 和子智能體工作負載作最佳化。
Mistral AI精選AI 評分7777 Mistral Small 4 發佈，整合推理、多模態與智能體編碼能力
Mistral AI 發佈 Mistral Small 4，將 Magistral 的推理、Pixtral 的多模態及 Devstral 的智能體編碼能力整合至單一模型。
推薦理由：Mistral Small 4 整合指令、推理、多模態及智能體編碼能力，並列出相較 Mistral Small 3 的吞吐數據，可供比較單一模型承接多類任務時的效率表現。
Mistral AI精選AI 評分6363 Mistral AI 與 NVIDIA 合作加速前沿開源模型開發
Mistral AI 宣佈成為 NVIDIA Nemotron Coalition 創始成員，並計劃與 NVIDIA 共同開發前沿開源 AI 模型。聯盟首個項目是在 NVIDIA DGX Cloud 訓練基礎模型，支撐即將推出的 NVIDIA Nemotron 4 系列；相關模型將開源，供後訓練與專門化。Mistral AI 亦宣佈發佈 Mistral Small 4。
推薦理由：聯盟首個基礎模型將在 NVIDIA DGX Cloud 訓練，支撐 NVIDIA Nemotron 4 系列，並作為開源後訓練與專門化的共同基礎。
Hugging Face BlogAI 評分5353 NXP 機械人 AI 嵌入式部署實踐指南：數據集錄製、VLA 微調與裝置端優化
NXP 分享將機械人 AI 部署到嵌入式平台的實踐指南，涵蓋數據集錄製、ACT 與 SmolVLA 微調，以及 i.MX 95 上的 VLA 推理優化。實驗以把茶包放入杯中為任務，使用 3 部攝影機；文章建議保留獨立驗證集，並以非同步方式計算下一動作區塊，但推理時間須短於當前動作執行時間。
Google DeepMind精選AI 評分7171 Gemini 3.1 Flash-Lite 為大規模開發者工作負載而設
Google DeepMind 推出 Gemini 3.1 Flash-Lite，現正以預覽版向開發者及企業開放，開發者可透過 Google AI Studio 的 Gemini API 使用，企業則可透過 Vertex AI 使用。
推薦理由：文章把 Gemini 3.1 Flash-Lite 的定價、相較 2.5 Flash 的速度數據及質素描述並列，呈現其面向高頻工作負載的成本定位。
Google DeepMind精選AI 評分7575 Google DeepMind 推出 Lyria 3 音樂生成模型，於 Gemini app 開放 beta 使用
Google DeepMind 在 Gemini app beta 推出 Lyria 3 音樂生成模型，使用者可用文字提示或上傳照片、影片生成 30 秒音軌。系統會按提示生成歌詞，並可調整風格、人聲和節奏；音軌嵌入 SynthID，Gemini 的核驗功能亦延伸至音訊，使用者可上傳檔案詢問其是否由 Google AI 生成。
推薦理由：Lyria 3 在 Gemini app 開放以文字、圖片或影片生成音樂，並納入 SynthID 與音訊核驗，呈現創作功能和 AI 內容識別並行的設計。
Google ResearchAI 評分5050 MapTrace：以合成數據訓練 MLLM 追蹤地圖路徑
Google Research 提出 MapTrace，以合成數據訓練多模態大語言模型（MLLM）在地圖上追蹤有效路徑，應對模型難以理解空間幾何與拓撲關係的問題。
Google ResearchAI 評分4242 Google 如何運用 AI 工具重新定義通用設計、提升無障礙程度
Google 提出 Natively Adaptive Interfaces（NAI）框架，以多模態 AI 工具建立更個人化、具適應性的無障礙應用介面。NAI 主張按情境資訊作出設計決策，並以動態、由智能體驅動的模組取代靜態導覽。Gemini 原型可將即時影片轉為互動音訊描述，讓使用者即時查詢畫面細節。
Google DeepMind精選AI 評分6868 Project Genie：用實驗原型探索無限互動世界
Google DeepMind 開始向美國年滿 18 歲的 Google AI Ultra 訂户逐步開放 Project Genie；這款由 Genie 3、Nano Banana Pro 和 Gemini 驅動的實驗研究原型，可建立、探索及改編互動世界。
推薦理由：原型把世界草圖、即時探索與改編放進同一體驗，並交代生成時長、物理表現和角色操控限制，可看出目前互動世界模型的使用方式與邊界。
Google ResearchAI 評分4444 小模型，大成果：Google Research 以分解方法提升意圖提取效果
Google Research提出分解式流程，令小型多模態 LLM 從網頁及手機互動軌跡提取意圖，表現勝過 CoT 提示和端到端微調。流程先逐屏摘要，再從摘要序列抽取整體意圖；測試涵蓋手機、網頁軌跡及 Gemini、Qwen2 基礎模型。Gemini 1.5 Flash 8B 配合此法，效果可媲美 Gemini 1.5 Pro，展示裝置端意圖理解的應用潛力。
Google Research精選AI 評分7070 Google 發佈 MedGemma 1.5 4B，介紹 MedASR 醫療語音轉文字模型
Google 發佈開放醫療多模態模型 MedGemma 1.5 4B，新增 CT、MRI、病理全切片及胸部 X 光時間序列等醫療影像處理能力。其基準結果較 MedGemma 1 4B 提升，例如 CT 疾病分類準確率為 61%（58%），MRI 為 65%（51%），醫療文本 EHRQA 為 90%（68%）。
推薦理由：MedGemma 1.5 4B 在多項醫療影像與文本基準上較前代提升，文中列出的具體分數可用來比較不同任務的改進幅度。