Microsoft Research 介紹 Quine 生物學 AI 研究系統並開放 Fellows 計劃申請
Microsoft Research 介紹 Quine,一個結合生物學多模態世界模型與互動式研究流程的 AI 研究系統,並開放首屆 Quine Fellows 計劃申請。
推薦理由:Quine 將跨生物模態的世界模型接入文獻、科研工具與實驗迴圈,並以胰臟癌細胞狀態轉換案例展示預測如何進入濕實驗驗證。
Microsoft Research 介紹 Quine,一個結合生物學多模態世界模型與互動式研究流程的 AI 研究系統,並開放首屆 Quine Fellows 計劃申請。
推薦理由:Quine 將跨生物模態的世界模型接入文獻、科研工具與實驗迴圈,並以胰臟癌細胞狀態轉換案例展示預測如何進入濕實驗驗證。
Google DeepMind 推出 Gemini 3.8 Live with Live Avatar,將近乎即時視像生成與語音結合,讓企業智能體以動態虛擬形象進行多模態對話。
NeoMME 推出 260M 和 800M 兩種規模的多語言多模態編碼器,並提供用於視覺文件檢索的 NeoMME-Retriever。模型從零開始以單一雙向 Transformer 處理文字 token 和原始圖像 patch;NeoMME-Retriever 單次前向傳播可輸出密集與 late-interaction 嵌入向量。
Google Earth AI 介紹實驗性行星預測引擎(PPE),可根據自然語言查詢自主完成地理空間資料搜尋、整理、模型訓練與評估。測試中,21 項 CDC 健康指標的平均 R² 為 76.8%,高於人工專家流程的 60.0%;尼日利亞糧食安全由 ADM1 下採樣至 ADM2,R² 為 66.1%,基線為 31.5%。
Google DeepMind 推出 Gemini Omni 1.1 Flash,為影片生成加入場景延伸、首尾幀控制、影片參考輸入及 1080p 或 4K 輸出。
推薦理由:場景延伸可分析最多10秒的既有影片,並以10秒增量延長至累計40秒;配合首尾幀指定,呈現更長影片創作中的控制方式。
Google Research 提出 AgentHands,將 LLM 回應轉化為與語音同步、能配合 XR 空間場景的手勢。系統透過物件註冊、手勢事件和字級時間戳協調語音播放與動畫;研究以 N = 12 名參與者進行受試者內測試,使用蘭花護理和 3D 打印機操作任務,比較 AgentHands 與純語音基線。
Google Research 提出 Mobility-Embedded POIs(ME-POIs)框架,將匿名聚合流動模式融入地點表示,增強語言模型對地點動態功能的理解。在未見地點的測試中,到訪意向預測相對提升最高 81.9%,價格水平分類提升 75.1%,繁忙程度估算準確度提升 24.7%。
OlmoEarth Studio 新增自訂嵌入向量匯出功能,輸出可用於下游分析的 COG。使用者可設定研究區域、時間範圍、編碼器、解析度及影像來源;文章示範相似度搜尋、少樣本分割、變化檢測和 PCA 探索。以 60 個標註像素訓練的分類器取得 weighted F1 = 0.84,匯出檔可用於 QGIS、GDAL、rasterio 等工具。
Google DeepMind 發佈 SL2T 多語言手語轉文字模型,為 Gboard 和 Live Transcribe 帶來手語轉文字功能,首階段支援 ASL 至英文。
推薦理由:SL2T 以簽署者的身體姿態座標直接翻譯成文字,原始影片會即時丟棄,呈現其輸入處理方式與私隱保護設計。
Google Research 展示基於 Gemini 和 Project Astra 的 AMIE (Video),在模擬即時視像會診中,核心臨牀能力獲評與基層醫生相當。
推薦理由:研究以 300 場模擬視像會診比較 AMIE (Video)、文字版 AMIE 與基層醫生,呈現視聽感知和虛擬檢查的表現差異,並交代病人演員研究的適用邊界。
Meta 發佈 Muse Glimmer,一款由 Muse 蒸餾而來、面向本地智能體應用的多模態 30B 模型,採用 Apache 2.0 授權。模型由 2B ViT-style 視覺編碼器和 28B 文字解碼器組成,支援圖像、影片輸入及多模態工具調用。
推薦理由:文章把 Muse Glimmer 的本地智能體定位、30B 架構與 transformers、llama.cpp、vLLM 等入口連起來,提供從本地推理到託管部署的實作參考。
Mistral AI 發佈 Shieldstral,一款 3B 開放權重多模態安全分類器,可用自然語言政策評估文字與圖像,無須重新訓練。它將內容審核設計為可在推理時指定政策的二元問答,並輸出校準後的安全分數;Mistral 稱其在多項基準上匹配或超越模型規模最高達其 7x 的開放權重安全模型。
推薦理由:將審核政策置於推理時的自然語言問題中,使同一個 3B 模型可按部署情境調整文字與圖像判斷,無須重新訓練。
Google DeepMind 發佈 Gemini Robotics ER 2,這款面向機械人的具身推理模型可理解連續影片、編排多步任務,並支援多機械人協作。它在任務進度分類達 57.4% 準確率,關鍵時刻定位達 91.3% 準確率、平均絕對距離為 0.96s。
推薦理由:文章將影片進度追蹤與多機械人協作納入模型更新,並提供任務評測數據,讓讀者掌握 Gemini Robotics ER 2 的具身推理能力變化。
Google DeepMind 發佈 Gemini Robotics 2 系列模型,為機械人帶來全身控制、靈巧操作及多機協作能力。系列包括將視覺與語言輸入轉為動作控制的 Gemini Robotics 2、用於具身推理與多步任務規劃的 Gemini Robotics ER 2,以及可在機械人裝置本地運行的 Gemini Robotics On-Device 2。
推薦理由:全身控制、靈巧操作、多機協作與本地適配均有具體案例,呈現 Gemini Robotics 2 系列面向機械人任務的能力佈局。
Google DeepMind 發佈 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber,涵蓋智能體工作流、低延遲高吞吐任務及網絡安全場景。
推薦理由:文章列出 3.6 Flash 與 3.5 Flash-Lite 的速度及成本指標,並説明 Cyber 模型將透過有限試點提供,呈現不同工作負載的部署差異。
Google Research 提出 SensorFM 大型感測器基礎模型,以來自五百萬名參與者的逾一萬億分鐘未標註穿戴式裝置訊號學習通用生理表徵。凍結模型編碼器後訓練的線性探測,在 35 項健康任務中的 34 項勝過特徵工程監督基線。在 31 份參與者檔案的評估中,加入 SensorFM 預測提升個人健康智能體摘要在五個評分維度的表現;與以真實測量值作依據的摘要評分則沒有統計顯著差異。
Mistral AI 發佈 8B 模型 Robostral Navigate,讓機械人根據 RGB 圖像和自然語言指令自主導航。模型在 R2R-CE 已見及未見驗證集分別取得 79.4% 和 76.6% 成功率;未見集成績較最佳單相機方案高 9.7 個百分點,較採用深度感測或多相機的最佳系統高 4.5 個百分點。
Google Research 分享兩項關於皮膚狀況 AI 的研究,發現 AI 輔助能提高參與者辨認病況的能力,但標準 AI 組判斷後續步驟的準確度沒有顯著提升。
Google DeepMind 發佈 Gemma 4 12B,定位為可在筆記型電腦本機運行的多模態模型,並為中型模型加入原生音訊輸入。它採用免多模態編碼器架構,將視覺和音訊輸入直接整合至 LLM backbone;標準基準表現接近 26B MoE,總記憶體佔用不足其一半。Gemma 4 12B 以 Apache 2.0 授權釋出,可透過 LM Studio、Ollama 等工具試用。
推薦理由:Gemma 4 12B 的免編碼器設計、接近 26B MoE 的基準表現與較低記憶體佔用,提供比較中型多模態模型架構和本機部署定位的具體依據。
編碼智能體串接兩個 Hugging Face Spaces,生成巴黎地標圖像及 3D Gaussian splats,並將畫廊部署為靜態 Space mishig/monuments-de-paris。
推薦理由:案例展示了透過 Hugging Face Spaces 的 agents.md 串接圖像生成與單圖 3D 重建,並以各一句提示複用到日本及埃及主題畫廊,呈現多媒體工作流的可遷移性。
NVIDIA 發佈 Nemotron 3.5 Content Safety,將多模態輸入、多語言覆蓋、自訂企業政策與可審計推理整合至單一 4B 模型。模型基於 Google Gemma 3 4B IT,明確訓練覆蓋 12 種語言,並承接其約 140 種語言的 zero-shot 泛化;可選 THINK mode 會輸出推理軌跡。
推薦理由:Nemotron 3.5 將多模態判定、自訂政策和可審計推理整合於 4B 模型,並附訓練資料集,提供企業安全審核的部署參考。
Google DeepMind 推出 Gemini Omni 系列首個模型 Gemini Omni Flash,可結合圖像、影片、文字及語音參考生成影片,並支援透過對話編輯。
推薦理由:材料把 Gemini Omni Flash 的多模態輸入、對話式影片編輯和分階段上線平台放在一起,便於理解新模型如何連接生成能力與實際使用入口。
Google DeepMind宣佈在新加坡推出多項AI合作計劃,並參與Google與新加坡政府的全國AI夥伴關係。計劃涵蓋醫療與生命科學、科研、教育及可持續發展,並推進多模態與多語言安全基準研究;Gemini for Education已提供予小學至初級學院的所有教育工作者。
Google DeepMind 發佈 Gemini 3.5 模型系列,首款 Gemini 3.5 Flash 即日起透過 Gemini app 和 Google Search 的 AI Mode 向全球用户開放。
推薦理由:Gemini 3.5 Flash 列出代理任務、編碼及多模態基準成績,並比較每秒輸出 tokens 的速度,讓性能主張有多項指標可供對照。
Google DeepMind 宣佈 AI co-clinician 研究計劃,探索讓 AI 在醫生專業監督下協助患者照護。在 98 個基層醫療問題的評估中,97 個案例錄得零項嚴重錯誤;在開放式藥物問答中,系統表現勝過可用的前沿 AI 系統。
推薦理由:文章並列呈現 AI co-clinician 在證據整理、藥物問答和多模態問診的測試結果,並以醫生整體表現較佳界定其臨牀輔助定位。
NVIDIA 發佈 Nemotron 3 Nano Omni,這款長上下文多模態模型面向文件分析、音訊與影片理解、智能體電腦操作及通用推理。
推薦理由:文章並列 Nemotron 3 Nano Omni、Nemotron Nano V2 VL 與 Qwen3-Omni 的多項基準結果,另列系統效率數據,提供文件、影音和 GUI 任務的比較依據。
Sentence Transformers v5.4 的同一 API 現可編碼並比較文字、圖像、音訊和影片,文章示範其多模態嵌入與 reranker 用法。嵌入模型將不同模態映射至共享嵌入空間;預訓練多模態 reranker 目前主要處理文字與圖像配對。示例涵蓋跨模態檢索、混合模態文件重排及先檢索再重排流程,並列出輸入格式、支援模型和安裝依賴。
推薦理由:文章展示 Sentence Transformers v5.4 的跨模態檢索與 reranker 重排流程,並整理支援模型和輸入格式,提供實作參考。
Google DeepMind 發佈 Gemma 4 開放模型家族,提供 E2B、E4B、26B MoE 和 31B Dense 四種尺寸,並採用 Apache 2.0 授權。
推薦理由:Gemma 4 提供從手機端到工作站的多種尺寸,並列出排行榜名次與上下文窗口,便於比較本地部署時的硬件需求和能力差異。
Google DeepMind 的 Gemma 4 多模態模型系列已登陸 Hugging Face,提供五種尺寸,支援圖像、文字及部分型號的音訊輸入。模型採 Apache 2 授權,最大上下文窗口為 256K;31B 和 26B A4B 的 text-only LMArena 估算分數分別為 1452 和 1441,後者有 4B 啟用參數。
推薦理由:文章列出五種 Gemma 4 規格、上下文窗口和音訊支援差異,並整理多個推理與微調框架的接入方式,可供比較型號特點及部署路徑。
Granite 4.0 3B Vision 現已推出,是面向企業文件理解的緊湊型視覺語言模型,支援表格抽取、圖表理解及語義鍵值對抽取。模型以 LoRA adapter 形式構建於 Granite 4.0 Micro 之上,可獨立使用或配合 Docling,並以 Apache 2.0 授權在 Hugging Face 提供。
Google DeepMind 介紹 AI 指針的設計原則與實驗演示,並宣佈即日起可在 Chrome 用指針向 Gemini 提問網頁內容。這套設計以四項原則為核心,讓指針結合視覺和語義上下文及語音,減少使用者撰寫詳細提示詞的需要。Magic Pointer 將即將在 Googlebook 推出。
推薦理由:文章以四項交互原則説明 AI 指針如何減少提示詞負擔,並列出 Gemini 在 Chrome 的現有功能及 Googlebook 即將推出的 Magic Pointer。
Google DeepMind 推出音樂生成模型 Lyria 3 Pro,支援生成最長 3 分鐘的曲目,並可按前奏、主歌、副歌和橋段等音樂結構提示創作。
推薦理由:文章呈現 Lyria 3 Pro 從段落提示到 Vertex AI 公開預覽的接入脈絡,並連結創作者音樂工具與企業按需音訊製作場景。
OpenAI 發佈 GPT-5.4 mini 和 nano,兩者是 GPT-5.4 的較小、更快速版本。它們針對編碼、工具使用、多模態推理,以及高用量 API 和子智能體工作負載作最佳化。
Mistral AI 發佈 Mistral Small 4,將 Magistral 的推理、Pixtral 的多模態及 Devstral 的智能體編碼能力整合至單一模型。
推薦理由:Mistral Small 4 整合指令、推理、多模態及智能體編碼能力,並列出相較 Mistral Small 3 的吞吐數據,可供比較單一模型承接多類任務時的效率表現。
Mistral AI 宣佈成為 NVIDIA Nemotron Coalition 創始成員,並計劃與 NVIDIA 共同開發前沿開源 AI 模型。聯盟首個項目是在 NVIDIA DGX Cloud 訓練基礎模型,支撐即將推出的 NVIDIA Nemotron 4 系列;相關模型將開源,供後訓練與專門化。Mistral AI 亦宣佈發佈 Mistral Small 4。
推薦理由:聯盟首個基礎模型將在 NVIDIA DGX Cloud 訓練,支撐 NVIDIA Nemotron 4 系列,並作為開源後訓練與專門化的共同基礎。
NXP 分享將機械人 AI 部署到嵌入式平台的實踐指南,涵蓋數據集錄製、ACT 與 SmolVLA 微調,以及 i.MX 95 上的 VLA 推理優化。實驗以把茶包放入杯中為任務,使用 3 部攝影機;文章建議保留獨立驗證集,並以非同步方式計算下一動作區塊,但推理時間須短於當前動作執行時間。
Google DeepMind 推出 Gemini 3.1 Flash-Lite,現正以預覽版向開發者及企業開放,開發者可透過 Google AI Studio 的 Gemini API 使用,企業則可透過 Vertex AI 使用。
推薦理由:文章把 Gemini 3.1 Flash-Lite 的定價、相較 2.5 Flash 的速度數據及質素描述並列,呈現其面向高頻工作負載的成本定位。
Google DeepMind 在 Gemini app beta 推出 Lyria 3 音樂生成模型,使用者可用文字提示或上傳照片、影片生成 30 秒音軌。系統會按提示生成歌詞,並可調整風格、人聲和節奏;音軌嵌入 SynthID,Gemini 的核驗功能亦延伸至音訊,使用者可上傳檔案詢問其是否由 Google AI 生成。
推薦理由:Lyria 3 在 Gemini app 開放以文字、圖片或影片生成音樂,並納入 SynthID 與音訊核驗,呈現創作功能和 AI 內容識別並行的設計。
Google Research 提出 MapTrace,以合成數據訓練多模態大語言模型(MLLM)在地圖上追蹤有效路徑,應對模型難以理解空間幾何與拓撲關係的問題。
Google 提出 Natively Adaptive Interfaces(NAI)框架,以多模態 AI 工具建立更個人化、具適應性的無障礙應用介面。NAI 主張按情境資訊作出設計決策,並以動態、由智能體驅動的模組取代靜態導覽。Gemini 原型可將即時影片轉為互動音訊描述,讓使用者即時查詢畫面細節。