騰訊混元 Hy4、Hy4 flash AI 模型即將發布,首次引入視覺理解
騰訊混元即將發布 Hy4 及 Hy4 flash;Hy4 相比 Hy4 preview 全面提升,並首次引入視覺理解,亦提升思維鏈效率及長程和真實生產力任務能力。Hy4 flash 近期推出,提供高性價比實用模型,並以模型和產品深度 Co-Design 推動高頻進化。
騰訊混元即將發布 Hy4 及 Hy4 flash;Hy4 相比 Hy4 preview 全面提升,並首次引入視覺理解,亦提升思維鏈效率及長程和真實生產力任務能力。Hy4 flash 近期推出,提供高性價比實用模型,並以模型和產品深度 Co-Design 推動高頻進化。
騰訊宣佈 Hy4 即將發佈;相比 Hy4 preview,Hy4 全面提升,尤其加強長程及真實生產力任務能力、提升思維鏈效率,並首次引入視覺理解。Hy4 flash 亦將於近期發佈,提供高性價比實用模型,並在承接 Hy4 的視覺及 Agent 能力基礎上,透過模型與產品深度 Co-Design 高頻演進。
多模態語言模型在多步視覺推理中的失誤,可能源於語言未能連結相關視覺物件、區域或位置的「參照落差」,而非視覺感知不足。研究提出 ReGap-Bench,涵蓋五項視覺推理任務;結果顯示,配合任務的外部參照可在無需訓練下令準確率提高最多 25%,不匹配的參照則助益甚微,甚至會降低表現。
《等你平安歸來》是一部 60 集閩南語短劇,並獲第四屆上海國際AIGC創新大賽最佳短劇劇本獎;文章拆解以阿里雲函數計算 FC、百煉大模型、ComfyUI、AnimateDiff 和 OSS 搭建 AIGC 短劇生產管線的做法。管線涵蓋結構化劇本、跨集角色一致性、方言 TTS 校準、GPU 彈性渲染及 60 集資產治理,可供政企文旅和博物館展陳場景參考。
Día de los Muertos Photo Booth 是一款本機 Flask 網頁應用程式,可為照片中的人臉自動添加亡靈節主題裝飾。應用程式使用 MediaPipe 本機偵測人臉,並隨機套用八種主題之一,支援 JPEG 和 PNG。所有處理均在本機記憶體中完成,沒有外部 API,照片不會上傳至第三方服務。
Qwen3.8-Flash 使用指南涵蓋百萬 Token 長文處理、程式開發實戰及 API 接入。文章列出原生 100 萬 Token 上下文、標準輸入 991,808 Token、輸出 131,072 Token,以及每次推理激活 6B 參數等規格。模型兼容 OpenAI 與 Anthropic 協議,指南亦説明 API 調用、免費 Token 額度及按量計費。
EmbeddingGemma 2 可把文字、圖像、影片及音訊映射至同一個 768 維向量空間,讓 FiftyOne 以文字或其他媒體跨模態搜尋影片。教程以 VGGSound 的 10,000 段影片建立影片、音訊及視聽三個 LanceDB 索引,並示範跨模態檢索、片段整理和零樣本分類。
Harpreet Sahota 示範如何把一段 Aria Digital Twin(ADT)錄製及其地面真值資料整合成同步 MCAP,並載入 FiftyOne 多模態檢視器。
作者以 FiftyOne 對包含 27,083 張圖像、352 類標誌的 QMUL-OpenLogo,實測 Qwen3.8-Max 的視覺定位表現。結果顯示,邊界框定位會隨思考模式和圖像細節設定大幅波動;相同輸入和設定亦曾出現 3/5 與 0/5 匹配,模型並會混用像素、0–1000 網格及 [0,1] 座標。
Harpreet Sahota 提出一套在訓練前分流多模態機械人資料集片段的方法,並以 FiftyOne 的 Episode Quality panel 和 operator 實作端到端評分。
MiniMax-M3 可透過 minimax-m3-fiftyone 插件接入 FiftyOne App,對圖像及抽樣影片執行標註、搜尋和問答等任務。插件無需微調或自建模型伺服器,會以提示詞要求固定格式 JSON,再轉成 FiftyOne 標籤;影片則透過抽取影格處理。文章亦提及 MiniMax 宣佈約 HK$16 billion(約 $2B)的私募配售及可轉換債券融資。
FiftyOne 1.19 現可原生開啟 MCAP 檔案,並在同一播放時間軸同步呈現相機、LiDAR、GPS、IMU 和日誌,無須安裝 ROS。作者以 TreeScope 的 10 段 UAV 飛行記錄示範,其中一段約 4.5 分鐘的自主飛行含 31 個頻道及 599,698 則訊息;未能解碼的頻道仍可在 Message tile 以原始記錄檢視。
KITScenes Multimodal 的 FiftyOne 建置把每個駕駛時刻的九部相機、融合七部 LiDAR 與三部雷達的點雲,以及 HD 地圖整合在同一 group id 下,讓每個時刻成為一個樣本。
作者以 FiftyOne 載入並探索 Hugging Face 上的 Voxel51/motor_two_wheel_rider,這是 MOTOR 完整語料的 324 段子集。
文章示範將 GLM-OCR 整合至 FiftyOne,建立可抽取文件文字、公式、表格及結構化資料的 AI 文件理解流程。GLM-OCR 提供 text、formula、table 和 custom 四種模式,可透過提示詞按自訂 JSON schema 擷取資料;文章亦示範批次推理、結果視覺化與 JSON 品質檢查。
LightOnOCR-2-1B 是一款 1-billion-parameter 視覺語言模型,在 OlmOCR-Bench 取得最高分,體積比此前表現最佳的模型小 9 倍。模型在 H100 GPU 上每秒處理 5.71 頁,並採用端到端架構處理複雜版面、多語言內容及科學記號。模型以 Apache 2.0 授權釋出,團隊亦公開訓練數據集及 LightOnOCR-bbox-bench 評測套件。
研究分析34個多模態模型後指出,所謂零樣本表現可能來自模型在預訓練期間接觸過相關概念,而非真正的泛化;概念在預訓練資料中出現的頻率,能有力預測模型表現。研究發現,概念頻率與零樣本表現呈對數線性關係,模型需要指數級增加訓練資料,才能取得線性表現提升。測試包含290個罕見概念的「Let it Wag!」數據集時,受測的50個CLIP模型表現均遜於ImageNet。
SPIQA 是面向科學論文理解的大規模數據集,納入論文全文、圖表及相關説明文字,以支援多模態科學 VQA。數據集涵蓋超過 25,000 篇論文、150,000 張圖及 117,000 個表格。研究團隊結合 LLM 自動生成問題與專家人工篩選,89% 的 LLM 生成問題在人類評估者眼中與人工撰寫的問題難以區分。
本月 Elorian 推出首個視覺推理模型 Glimpse,並與 Mercor 發布 DecoyCount 基準測試,檢驗模型是否真正計算物件數量,而非依賴視覺捷徑。Glimpse 在 1,660 題中取得 50.48%,GPT-6 Astra 為 43.17%;前者成績來自單次測試,後者數據為三次測試平均。
XREAL 宣佈旗艦 AR 眼鏡 1 Pro+ 現已發售,售價 $599。產品提供高畫質顯示及空間視覺體驗。
Guitoro 是一款可用鍵盤彈奏的虛擬結他,在 Hacker News 排名第 11,獲得 562 分。文章以 Guitoro 為引子,介紹 Seven Sports 開發的 Meta Quest 應用程式 Amblyotube,如何把 YouTube 影片轉化為弱視人士的雙眼視覺協調訓練。應用程式以 VR 雙屏幕分別調整兩眼所見,並用 AI 辨識影片中的人物、加上視覺提示。
Google 本週推出 Gemini 4 Carbon 和 Genie 4 兩款新 AI 模型,前者主打協助網絡安全專家偵測及修補漏洞,後者是可模擬真實與想像物理世界的世界模型。
作者打造 iOS 應用程式 Lupita,可從 TikTok、Instagram Reel 或 YouTube 烹飪影片連結擷取食材及克數,並按用餐人數調整份量,將食譜離線儲存到手機。
Google 正把 Gemini 從文字問答延伸至互動視覺化、3D 模型及沉浸式工作流,Gemini app 的互動模擬正向全球用戶推出。這些模擬可讓用戶調整輸入並觀察模型變化,但 Google 早期發布資料指出,Education 和 Workspace 帳戶當時未能使用該功能。
WorldFlow 是生成式世界模型,透過連續位移 token 與 Mixture-of-Transformers(MoT)骨幹,聯合預測未來影片和 3D 軌跡。在 SpatialCog 評測集上,其 ADE 為 0.060 m,較最強外部基線降低 54.2%;相較僅使用 flow 的變體,ADE 和 FDE 分別降低 55.9% 和 68.5%。
BedBench 顯示,視覺語言模型難以準確計算 3D 物件各顏色的數量,並在回答中一致地運用這些計數。基準涵蓋 13 項任務;人類準確率為 93.3%,最佳模型為 7.2%。針對性微調令一個模型的準確率由 3.0% 升至 68.6%,但其答案仍與自身計數不一致;程式碼和數據集已公開。
作者重寫 2001 年的機械人視覺方法,並與兩款本機視覺模型比較,傳統方法在測試中更準、更快。Intel N100 上的 72 個影格測試中,加入中值濾波和迴音消除器的方法平均誤差為 0.1 px,每個影格需時 37.5 ms;Qwen2.5-VL 3B 在 37 個完整回覆影格上的誤差為 1.3 px,每個影格需時 146 s,Gemma 3 4B 的誤差則為 177.8 px。
OCR 文字辨認器以分類器為每個字元選出最可能的結果,不會表示「不確定」,因此即使認錯,輸出仍可能像通順的句子。辨認準確度主要受文字像素高度影響;縮小圖片會流失細節,較有效的做法是以較大尺寸重新截圖或先放大原圖。InSnap 的本機辨認支援中文、英文及拉丁字母語言,但不可靠地辨認日文假名、韓文或俄文。
Google 與 XREAL 合作推出 AURA,這是首款搭載 Android XR 的有線擴展實境(XR)眼鏡。AURA 重量不足 95 克,採用每眼 1920×1200 解像度、最高 120Hz 更新率的 Sony Micro-OLED 顯示屏,運算能力及電池則移至有線運算盒。
Google DeepMind 發佈 Genie 4,這款即時世界模型可生成照片級寫實的世界,並讓用戶在模擬進行期間透過文字提示改變場景。它原生生成音樂、環境聲和會回應用戶的對話;場景一致性最長可維持兩分鐘,是 Genie 3 上限的兩倍。
EmbeddingGemma 2 是一款開放的多模態嵌入模型,在統一空間表示文字、圖像、音訊、影片及其組合。在涵蓋各模態的嵌入基準中,模型建立新的 Pareto frontier,表現勝過專用模型及大 2 至 12 倍的模型。模型亦支援選擇性載入模態編碼器、調整 vision token 預算、截短嵌入維度及量化權重,以配合資源受限環境。
NVIDIA 為 RTX Spark Windows 手提電腦公佈新模型、智能體工具及遊戲更新。Nemotron 3.5 Transcribe 可轉錄 40 種語言,並處理説話者標註、翻譯及音訊問答;NVIDIA App 新增前景應用程式與背景智能體之間的 GPU 資源分配控制。
文章對照 Genie 4、Genie 3 與 Marble,指出前兩者生成即時互動世界,Marble 則建立可編輯及匯出的 3D 世界。Genie 4 示範為 1080p,Genie 3 為 720p;Genie 4 加入環境音效與角色對話,但仍是研究預覽,公開途徑包括 Project Genie 等候名單,以及 Gemini API 和 AI Studio 的早期存取。
ChatGPT、Gemini 和 Claude 在收據、財務報表及兩頁美國製造業普查表的掃描轉 Excel 測試中,儲存格準確度得分介乎 9.33/10 至 10/10。各文件類型的最高分不同,評分只衡量預先選定儲存格的抽取準確度;測試仍發現漏值、小數錯誤及代碼替換。文章建議對照原件、核對欄列並重算總數,按資料的重要程度驗證活頁簿。
南洋理工大學、中國科學技術大學、新加坡國立大學與微軟研究院的研究者提出 NV-CoT,以連續數值座標選取圖像區域,並獲 NeurIPS 2026 Oral(Top 0.4%)。在 Vis-CoT-363K 驗證集上,定位 IoU 由 47.3 升至 59.5;在 V* Bench、HR-Bench 4K 和 HR-Bench 8K 上,SFT 與 RL 路線均有提升。
視覺-語言-動作模型將視覺感知和語言指令轉化為具身系統的實體動作序列,是通用機械人的基礎。這份指南以五個可觀察階段説明其運作:透過相機和感測器觀察場景、理解指令和相關物件、以聯合模型表示任務、生成低層或分段動作,以及觀察結果並作出修正。它亦指出,這類模型不同於為單一固定任務編寫的機械人控制器。
Amazon 公佈五款 Alexa 裝置,其中 Echo Studio with Home Camera 加入鏡頭,讓 Alexa 查看裝置前方的物件。這款 Echo Studio 即日以 $249.99 發售;新 Echo Dot 售價 $99.99,首次內置支援 Zigbee、Matter 和 Thread 的智能家居中樞,並配備 eero Wi-Fi 延伸器。
Amazon 更新 Echo Studio 和 Echo Dot,前者新增 Home Camera 作即時家居監控,後者加入智能家居中樞及內置 Eero Wi-Fi 延伸器。
天津大學張長青在 CNCC 2026 介紹團隊的廣義多模態融合研究,涵蓋保留模態特有資訊、以證據評估預測不確定性,以及探索通用多模態預測基座 Fusion Anything Model(FAM)。論文評估中,FAM 在18個真實數據集、12種模態和11類預測任務上測試,平均準確率較所比較的專用融合基線提高約6.9個百分點。FAM 可利用上下文樣例適應新任務,無需額外更新模型參數。
華為小藝大型模型應用實驗室主任劉睿認為,AI 助手應告別聊天框,從被動響應轉向理解用戶情境後的主動服務。Aura 可持續理解影片,並在過馬路、煮食等情境提供提醒或指引。劉睿認為,主動陪伴應由用戶決定是否開啟。