Inkling 2 Mini 發佈,面向本地部署的多模態 MoE 模型
Thinking Machines Lab 與 Hugging Face 發佈 Inkling 2 Mini,一款支援 1M-token 上下文及圖像、文字輸入的本地多模態 MoE 模型。
推薦理由:文章拆解 Inkling 2 Mini 如何重用中間層權重、透過跨輪訊息逐步修正計算,讓 24 個實體層執行相當於 48 個邏輯層的計算,呈現循環式架構的設計。
Thinking Machines Lab 與 Hugging Face 發佈 Inkling 2 Mini,一款支援 1M-token 上下文及圖像、文字輸入的本地多模態 MoE 模型。
推薦理由:文章拆解 Inkling 2 Mini 如何重用中間層權重、透過跨輪訊息逐步修正計算,讓 24 個實體層執行相當於 48 個邏輯層的計算,呈現循環式架構的設計。
MIT-IBM Computing Research Lab 團隊正研究多模態基礎模型的感知與語言能力落差,並以基準測試及較少依賴標註資料的方法改善模型表現。研究涵蓋模型難以定位特定物件,以及部分音訊基準測試可能讓模型只看答案選項、沒有真正聆聽音訊等問題。
Thinking Machines 發佈 Inkling 2 Mini,一款開放權重循環 Transformer MoE 模型,總參數量為 26B、活躍參數量為 5.4B。
Baseten 推出基於 Google Gemma 4 的決策模型 bison-1 和 groundhog-1,兩者均支援 128k 上下文及文字、圖像輸入。在 Artificial Analysis Decision Index v2.1 中,bison-1 以 76 分排名 19 款決策模型首位,Brier score 為 0.14。
文章分析「學習何時思考:自適應 VLM 推理的雙參照離線最佳化」,並比較標準密集基線與最佳化系統的推理表現。基準測試中,最佳化系統的首個 token 延遲為 165 ms,KV cache 佔用減少 87.5%,吞吐量達 118.2 tok/s,Exact Match 為 100.0%。
Direct3D-V3 提出一種無潛變量的擴散 Transformer 框架,捨棄 VAE,直接在原生體素域建模 SDF 體素網格。框架以鄰近體素的隱式流形正則化抑制非封閉表面,並預測條件圖像的相機參數;生成網格具有更豐富的局部細節,亦可用於生成式重建。
Engadget 評測指出,Ray-Ban Meta (Gen 3) 相較 Gen 2 只有小幅外觀與性能升級,$449 售價偏高。眼鏡標稱單次充電最多可用 9 小時,充電盒另加 50 小時續航,並新增 action button 和一個麥克風;作者實測連續播放音訊約 6 小時。
Hany Farid 主張,生成式 AI 時代應把對影像的「預設為真」轉為「預設為假」,由創作者證明內容真實。C2PA 憑證、SynthID 浮水印和攝影感光元件的加密簽署可提供來源訊號,與事後鑑證分析互補。作者提出,視像通話軟件日後亦可逐格驗證即時串流簽署,讓真實參與者證明身份。
作者以單一 Cloudflare Worker 和一個 D1 資料庫,建成 Idol Max 的圖像轉 3D 工作室,整合生成任務、積分帳簿、GLB 驗證與瀏覽器端轉台匯出。
Tencent 的 Hy4 flash 於 2026-11-17 在 Hugging Face 發佈,是一款總計 220B 參數、每 token 約啟用 12B 參數、上下文窗口為 1M token 的多模態混合專家模型,權重採用 Tencent Hy License。
作者示範如何以 2.5D 深度圖和 Gaussian splats,將單張圖片轉成可移動鏡頭的 3D 場景,並製作 AI 影片效果。文章指出 Apple 的 SHARP 權重僅限研究用途,並介紹作者自建的 splat 引擎。作者表示,其影片每分鐘成本為 $20-30,加入 splat 場景或 dolly zoom 的成本可由 $1-2 降至 10 cents。
2026年AI眼鏡市場銷量快速增長,但高退貨率、佩戴不適和隱私爭議,反映供給擴張尚未解決用戶的實際需求。洛圖科技數據顯示,2026年上半年中國智能眼鏡全渠道銷量同比增長85.5%,退貨率達30%至70%;市面上大部分AI眼鏡重36克至50克,普通近視眼鏡約20克。受訪者認為,產品要留住用戶,還需兼顧佩戴舒適度、隱私合規和高頻使用場景。
作者倡議為逼真的合成人物商業用途設立法律責任,並在虛擬人物用於銷售、募款或遊説時強制加入醒目水印及披露。文章指出,合成人物被用於色情內容、投資詐騙及虛假募款,令用戶向不存在的人物或機構付款。作者亦主張核實營利帳號營運者身份,並要求從已核實 AI 詐騙中獲利的平台承擔財務責任。
上海電信在柳林路營業廳設置「有AI營業廳」互動櫥窗,利用AI辨識街頭角色並送上個人化問候,也能識別跌倒等突發情況並提示求援。系統以本地模型即時理解街景,視覺資料只在本地處理,不作傳輸或保存,路人離開約15秒後即丟棄。項目運用「智雲上海」AI STORE的工具與模型能力,以Vibe Coding完成開發。
通用型機械人策略透過跨物件、場景、目標及操作條件的泛化,支援操作、導航、互動和工具使用等實體技能。多模態表示、語言指令、時間資訊及多樣化機械人數據,有助模型重用和組合技能;評估則應檢視模型在未見物件、環境變化及執行偏差下的表現。
動作表示為機械人基礎模型與 VLA 建立多模態語義表示至馬達指令的橋樑,讓模型能預測並學習可執行的實體行為。連續控制向量保留精細控制資訊,但較難融入以 token 為基礎的架構;離散化則可把動作轉成 action token,方便模型以類似語言模型的方式預測,但會引入量化誤差。
VLA 模型以視覺、語言及其他感測訊號為輸入,將多模態理解轉化為可執行的機械人行動,補足 VLM 只理解環境、但不直接指定動作的限制。VLA 訓練以包含觀察、指令和對應行動的機械人軌跡為基礎,並須利用時間脈絡反映任務進展。實際系統可採用分層架構,讓基礎模型預測與軌跡生成器、運動規劃器、控制器及安全機制協作。
機械人視覺語言模型(VLM)連結視覺感知與語言表徵,讓機械人以語義理解場景,並將指令連繫至畫面中的物件及關係。VLM 可運用大型圖文數據集預訓練所得的知識,但物件識別不等於掌握深度、受力或可達性,因此通常須配合幾何感知、狀態估計及物理世界模型。
機械人基礎模型旨在減少傳統任務專用系統的開發成本與知識重用限制,透過多任務及多環境數據學習可重用的通用表徵。這類模型需要整合視覺、語言、幾何、時間及動作資訊,並將觀察、指令、推理與行動連接起來,逐步從視覺語言理解邁向 VLA。其目標亦包括提升跨任務、環境及不同機械人形態的適應能力。
Qwen3.7-Plus 入門教程拆解其多模態 Agent 能力、底層架構及 API 調用方法,涵蓋文本、圖片和影片輸入、工具調用與 GUI 操作。模型上下文窗口最高支援 100 萬 token,並提供上下文緩存;當前版本不支援自訂微調。教程亦提供 Python 和 curl 調用示例。
Qwen3.8-Flash 採用 MoE 架構及 GDN+QSA 混合稀疏注意力,原生支援百萬 token 上下文;在百萬上下文場景下,文件預填充速度提升 7 倍以上。模型兼容 OpenAI 與 Anthropic API 協議,並提供雲端 API 呼叫及開源權重本地部署方案。
Qwen3.8-Max 詳盡指南拆解其多模態能力、長週期 Agent 任務及程式碼接入流程,並説明模型架構、調優策略與業務場景。模型總參數量為 2.4萬億,推理時動態啟用 950億參數,支援 100萬 Token 上下文窗口。開發者可透過百煉平台 API 調用,亦可使用開源權重作私有化部署。
研究團隊提出多模態概念透鏡 MC-Lens,分析視覺語言模型如何讀取概念、選擇性存取資訊,並將其用於後續計算與推理。實驗顯示,可靠的選擇性存取比概念可讀性較晚形成;不同模型家族和規模的模型則呈現共同的概念可讀性、依查詢而變的選擇性,以及跨任務介入效應。
Zhe 提出歌曲生成輸入的結構化寫法,建議把需求拆成風格規格、歌詞段落圖和生成前限制紀錄,而非混寫成一段文字。風格規格列出曲風、情緒、樂器和人聲特徵,歌詞則用 [Verse]、[Chorus] 等系統支援的標籤標示段落;每次重跑只改一個欄位。文中亦整理各模型的點數、生成數量與時長,以及方案授權條件,並提醒這些頁面資訊應重新核對,並非作者實測或基準結果。
HiUni 探索將預訓練視覺語言模型擴展為統一多模態模型,讓同一個語言對齊 ViT 和 dense Transformer 主幹同時支援視覺理解與生成,並將任務專屬計算限制在輸出端。模型以 Pixel Diffusion Head 優化像素空間生成,並透過輕量 HiGate 路徑補充合成所需的細緻空間資訊。實驗顯示,HiUni 的平均理解評分與預訓練視覺語言模型相若,圖像生成和編輯表現具競爭力。
Practical 使用 Presage SmartSpectra SDK,將筆電鏡頭化作學生進行呼吸、心跳及脈搏實驗的生理實驗室,並以手腕脈搏計數校驗鏡頭測量。五次有效脈搏檢查的結果均與手腕計數相差不超過 2.5 bpm,平均差異為 1.5 bpm。遇上畫面有多張人臉等問題時,程式會拒絕顯示讀數。
星辰智算(SentiMind)宣佈獲京師中教數百萬元人民幣戰略投資,資金將用於推進 Senti-OS 在教育及健康場景落地,並迭代多模態認知模型。端側認知調度系統 Senti-OS 搭載 1–3B 輕量化模型,可評估大模型輸出的認知負荷並校驗物理可行性。
HKGAI 雪巍教授團隊聯同 Dolby Laboratories 發表的空間音訊研究論文,獲 ACM MM 2026 最佳論文獎。論文提出 StereoCodec、StereoGen 及 StereoCLAP,讓模型按文字生成具左右方位及動態軌跡的立體聲音訊。這項技術可降低 AI 影視、動畫及遊戲的後期製作門檻,並為多模態世界模型提供技術支點。
DailySafe 是一項評測多模態大語言模型能否在日常多輪互動中追蹤安全風險並提供合適協助的基準。它包含 195 組自然情境的多輪、多圖片互動,涵蓋 10 個日常領域及 42 類任務。DailySafe 已公開,並以個案安全標註評估模型在支持用戶正當目標的同時,能否識別及應對逐步浮現的風險。
作者在 WorkBuddy 使用 Hy4 flash,搭配倉頡 Skill 和 video-downloader Skill,實測將一段 45 分鐘訪談影片蒸餾為 Skill,耗時 9 分鐘。Hy4 flash 在 WorkBuddy 提供免費額度,文章亦展示它迭代製作遊戲,以及從長截圖提取文字的測試。
VLA 的控制帶寬上限受整條鏈路的絕對延遲限制,提高推理頻率只能減少半個控制週期的滯後。在 150 毫秒鏈路、5 赫茲控制下,等效滯後為 250 毫秒,2 赫茲處的相位滯後為 180 度;鏈路降至 97 毫秒並以 10 赫茲控制後,等效滯後為 147 毫秒,2 赫茲處的相位滯後降至 106 度。
EgoCaptioner 以影片整體概述及帶時間戳記的步驟描述,改善第一人稱視角影片描述的細節與時間對齊。研究團隊從八個第一人稱視角影片來源整理出 50,000 個訓練例子,並以 Group Relative Policy Optimization(GRPO)引導描述修訂。
WeMM-Video 論文提出一系列中英雙語全模態基礎模型,涵蓋 2B、4B、9B 及 35B-A3B,整合文字、圖像、音訊和影片處理,並支援快速回應及逐步推理模式。
論文提出 TuringSpace,一個包含 125 個互動式 CAPTCHA 的合成網頁環境,透過點擊和拖曳測試多模態模型的五種空間能力。人類成功率為 94.1%,表現最佳的模型 GPT-6 Astra 仍有 25.9% 的任務失敗;最佳開放權重模型 Kimi K3 則有 68.0% 失敗。
Depth Pro 2 提出單一可擴展網絡,以原生解像度為圖像及影片估算稠密度量深度,兼顧度量準確度、邊界清晰度和時間一致性,並在這些方面超越以往方法。團隊發布了一系列模型,在度量準確度、清晰度、時間一致性及運行時間方面開創新的 Pareto 前沿,並提供程式碼和權重。
Kimi-K3 定位為面向長程編程、知識工作及推理的旗艦模型,最大輸入和輸出均為 1,048,576 Token,並已上架阿里雲百煉。它採用 KDA 混合線性注意力與注意力殘差,支援原生視覺理解,但只有思考模式。華北2(北京)/全球的輸入、輸出及快取命中價格分別為 20、100、2 元/百萬 Token,且沒有免費額度。
商湯聯合創始人、首席科學家林達華表示,公司至今仍把20%的資源投向沒有產品出口的預研,並以空間智能等方向探索長期競爭力。他指出,空間智能任務中增加數據曾令模型表現更不穩定,單靠擴大數據和參數未必能解決問題。他以Seedance的30秒影片片段對照Seko的100集短劇創作流程,並透露Seko今年用戶增長7到8倍,平台已有播放量過億的短劇。
DeepSeek-V4.1-Flash 是一款 552B MoE 模型,已在阿里雲百煉上架;其架構、基準表現、適用場景及計費方式均有詳細説明。它在多項編程、終端及自動化基準上的表現高於 V4-Pro,但知識問答類表現略低;上下文窗口為 1M,最大輸出為 384K。快取命中輸入價為未命中的 1/50,阿里雲百煉與 DeepSeek 官方的忙閒時段定義不同,排產須按調用入口區分。
阿里雲 Qwen3.8-Max 定位為面向複雜任務和智能體開發的旗艦基座模型,提供按量 API 及 Token Plan 訂閲兩種使用方式。模型採用 2.4萬億參數 MoE 架構,支援百萬 Token 上下文及文字、圖片和影片輸入,並面向編碼、文件處理和工具編排等場景。
阿里雲通義萬相 Wan3.0‑Video 支援文生、圖生及參考生影片,單次最長生成 30 秒,並可接收文字、圖像、影片、音訊、辦公文件和網頁連結作為輸入。模型透過阿里雲百煉異步 API 提供服務,邀測階段須申請且暫未開源;費用按成功生成時長及解像度計算,生成內容須經人工審核。