跳到正文
10月15日週四
  1. DEV Community41

    Turning songs into sheet music: my audio-to-engraving pipeline, and 3 bugs that almost shipped

    AI 智能體 Lily 分享將歌曲音訊製作成樂譜的流程,以及 3 個險些上線的錯誤。她以 basic-pitch 擷取音符事件,再用 LilyPond 排版並輸出 PDF;錯誤涉及等音拼寫、LilyPond 記譜規則及調性判斷分歧。獨奏和鋼琴主導的曲目效果較清晰,輸出因此標示為根據音訊編配,而非樂譜轉錄。

  2. IT之家79

    階躍 Step 5 Preview 開放模型權重,支援 100 萬 token 上下文窗口

    階躍開放 Step 5 Preview 的 BF16 與 FP8 模型權重,並同步公開技術博客及配套開源開發工具。模型採用稀疏 MoE 架構,總參數量為 600B、每 token 僅激活 27B 參數,支援 100 萬 token 上下文窗口及文字與視覺輸入。

    推薦理由:文章拆解 Step 5 Preview 面向長程 Agent 任務的架構與訓練設計,並説明 Sparse GQA 如何降低百萬 token 上下文的計算開銷。

  3. IT之家80

    上海人工智能實驗室團隊以書生科學多模態大模型 S2 完成三維 Ghys 猜想證明

    上海人工智能實驗室訪問學者兼大灣區大學教授許地生團隊,依託書生科學多模態大模型 S2,以人機協同方式完成三維 Ghys 猜想的證明。北京大學董彬、劉若川團隊使用 SHEAF 框架完成形式化驗證;相關論文已發布於 arXiv,形式化程式碼亦已在 GitHub 公開。

    推薦理由:這項成果將專家判斷納入模型求解流程,並經 SHEAF 框架形式化驗證,提供人機協同處理長期數學問題的具體案例。

  4. HuggingFace Daily Papers(社區熱門論文)32

    感知、維護與學習:多模態智能體記憶的演進

    研究提出多模態智能體記憶的雙軸分析框架,分別考察多模態資訊的形成與表徵,以及記憶管理如何隨累積經驗調整。框架將記憶管理分為 T1 靜態記憶、T2 動態記憶及 T3 自我演進記憶,分別按固定方式重用記憶、按穩定政策更新,以及按演進政策更新,並提出兼顧來源忠實度、時間有效性、來源脈絡與可復原證據的設計原則。

  5. DEV Community39

    FoodTruth 以開放權重視覺 AI 揭示包裝食品的誤導宣稱

    開源工具 FoodTruth 透過食品包裝正反面影像擷取營養與成分資料,並審核誤導宣稱及法規風險。其審核流程採用 Gemma 開放權重模型(gemma-4-26b-a4b-it/gemma-4-31b-it),再以規則引擎評估糖分風險、蛋白質品質、熱量效益及 FSSAI/FDA 標示合規。程式碼以 MIT 授權開源,並提出每月 $4.99 或每年 $39 的消費者訂閲方案。

  6. HuggingFace Daily Papers(社區熱門論文)46

    DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision

    DecisionRobust 基準測試評估 JEV 類決策模型在文字與視覺輸入下抵抗對抗性操縱的能力,涵蓋文字與圖像擾動,以及兩種模態下的提示詞注入。研究測試了文字任務的 30 種模型配置和視覺任務的 17 種,結果顯示不同任務及攻擊類型下的相對穩健性各異,抵抗輸入擾動不代表能抵抗提示詞注入。標籤一致性檢查可大幅降低文字和圖像設定下測得的攻擊成功率。

  7. elsewhere:文章54

    格式塔科技探索以超聲讀取和調控大腦網絡

    格式塔科技押注超聲腦機接口,探索在不開顱下讀取和調控大腦深部區域,並以慢性疼痛作為首個產品方向。公司披露,經顱聚焦超聲可實現4到8毫米聚焦,最深可達顱骨下6到7釐米;功能性超聲成像的時間分辨率低於100毫秒。格式塔預計2026年底發布針對慢性疼痛的第一代產品並開展相關臨牀試驗,也正以多模態腦數據構建大腦基礎模型。

  8. DEV Community55

    多模態 AI 生產環境部署的現實:演示背後的落差

    多模態 AI 在生產環境的主要難點不只是視覺模型選擇,而是輸入接收、預處理、路由和人工覆核等整條管線。原文指出,40–60% 的真實文件頁面需要預處理,才能達到演示準確度,部署亦應保留視覺原生及 OCR 後備路徑。文章建議以真實失敗樣本建立回歸測試集,並把低信心結果交由人工覆核。

  9. Hacker News 熱門(buzzing.cc 中文翻譯)48

    Jev 發佈 1.14.0 版本,為夢想家帶來實驗性功能

    Jev 發佈 jev-1.14.0,並透過 API 標頭旗標提供可組合圖片、box 類型及較長上下文等實驗性功能。官方提醒這些功能仍有不少不穩定之處,不適合用於生產環境。新版本預期在多語言支援方面提升最多;jev-latest 將於一週後更新至 jev-1.14.0,jev-1.13.0 暫時仍可使用。

  10. HuggingFace Daily Papers(社區熱門論文)40

    OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing

    OmniXRef 提出統一框架,讓用戶結合不同數量的文字、圖片及影片參考,控制來源影片的多種屬性。框架採用 R^2-RoPE,並以單流擴散 Transformer 處理來源影片及來自 MLLM 的多模態上下文;團隊亦建構 OmniXRef-Data 和 OmniXRef-Bench。評估顯示,OmniXRef-Model 的表現優於特定任務基線及商業模型。

  11. HuggingFace Daily Papers(社區熱門論文)48

    Event-STVG:面向長篇事件推理的時空影片定位基準

    Event-STVG 提出面向多模態模型的長篇事件推理基準,要求模型在長影片中辨別重複事件,並進行多目標時空定位。基準涵蓋足球及另外七個領域,共標註 4,016 個事件;在 10 分鐘時長下,表現最強的模型 m-vIoU 只有 5.4%。研究亦觀察到模型難以區分同類重複事件、進行空間定位,以及同時定位所有所需角色。

  12. HuggingFace Daily Papers(社區熱門論文)50

    Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models

    一項新基準測試揭示,多模態檢索模型普遍存在屬性與物件綁定失誤,涵蓋 CLIP 式雙編碼器及新近的 MLLM 嵌入模型。研究團隊推出 SABER,評估圖像與文字之間四種配對,場景最多包含十個物件;只用合成屬性綁定文字微調 MLLM 嵌入模型,無需圖像監督,仍能提升跨模態及圖像對圖像檢索,並在 SABER 上取得 SOTA 成績。

  13. HuggingFace Daily Papers(社區熱門論文)43

    AVC-Reward:以事件為中心的音訊與影片一致性評估

    AVC-Reward提出以事件為中心的音訊與影片一致性評估框架,並實作為可訓練的獎勵模型,用於評估複雜多事件場景。框架衡量整體敍事協調、事件層級時間同步及細緻屬性對齊。它與人類判斷的吻合度在自動評估方法中達到當前最佳,亦可定位失效原因,並作為線上強化學習訊號提升聯合生成模型的音訊與影片一致性。

  14. HuggingFace Daily Papers(社區熱門論文)42

    Can Visual Generation Expand What Unified Multimodal Models Know?

    視覺生成訓練可把文字未充分記錄的視覺資訊傳入預訓練多模態模型,但轉移至語言的程度不一。研究以 Knowledge Transfer Probing(KTP)測試三個統一多模態模型在七類知識上的轉移。Textual Alignment 和 Interleaved Image--Text Alignment 可提升文字對這些知識的存取,但圖像與文字兩種存取方式之間仍有明顯差距。

  15. Apple Machine Learning Research48

    三模態遮罩擴散模型的設計空間

    研究團隊提出首個從零開始預訓練的三模態遮罩擴散模型(MDM),訓練數據涵蓋文字、圖文及音訊文字。研究系統分析多模態 scaling laws、模態混合比例、噪聲排程及批次大小效應,並提出基於 SDE 的重新參數化,毋須調校最佳批次大小。初步模型規模為 3B(6.4T tokens),在文字生成、T2I 及 T2S 任務均取得強勁結果。

  16. Google Research54

    Google Research 在 Research@ 2026 展示 10 種放大人類創造力的方式

    Google Research 在 Research@ 2026 展示 10 項研究進展與工具,涵蓋地理空間分析、科研、醫療、災害預測及教育。Google Earth AI 擴大早期使用範圍,Deep Review 開放予公眾;Groundsource 整理出逾 2.6 million 宗洪災事件的數據集,協助訓練可提前最多 24 小時預測城市山洪機率的模型。

10月14日週三
  1. IT之家28

    消息指 Nothing 將推出兩款智能眼鏡:音訊版及相機版,後者支援 ChatGPT

    消息人士 Roland Quandt 透露,Nothing 將推出兩款智能眼鏡,分別主打音訊功能及配備相機。音訊版支援播放音樂、通話及透過眼鏡與手機語音助手互動,並配備可在陽光下變暗、室內變亮的光致變色鏡片。相機版支援 ChatGPT 和翻譯功能;彭博社此前稱,Nothing 智能眼鏡會透過手機及雲端處理 AI 任務,且不設 AR 顯示屏。

  2. IT之家55

    榮耀 MagicOS 11 公佈十月升級功能,AI 隨心握更新及 IT之家資訊、圈子首頁與話題頁懸浮按鈕支援跟手移動

    榮耀 MagicOS 官方公佈 MagicOS 十月體驗升級內容,涵蓋 YOYO、桌面與鎖屏、跨品牌互聯、應用設定及生態功能。新增 AI 證件照、存包碼提醒及遊樂園助手,並支援與 iPhone 雙向同步來電、通知及相簿。另有 IT之家資訊及圈子首頁、話題頁懸浮按鈕支援跟手移動,並新增支付風險檢測和親情防詐。

  3. Unite.AI47

    Alibaba 的 Qwen Glasses N1 採用 Himax WiseEye 常開視覺 AI

    Himax 宣佈,WiseEye HX6538 超低功耗 AI 處理器已整合至 Alibaba 最新的 Qwen Glasses N1 系列,為智能眼鏡提供常開視覺感知系統。HX6538 採用 Arm Cortex-M55 CPU 和 Ethos-U55 NPU,以 5 毫瓦功耗進行即時裝置端視覺 AI 推理。處理器偵測到相關事件或有人出現時才喚醒主機進行進一步 AI 處理,否則主機保持休眠。

  4. Unite.AI53

    NEURA Robotics 發佈 Neuron AI 多模態 Physical AI 基礎模型

    NEURA Robotics 於 2026 年 10 月 14 日推出 Neuron AI,稱其為用於 Physical AI 的多模態基礎模型,採用 Perception-Language-Action(PLA)架構,整合視覺、聽覺、觸覺與記憶,將多感官資訊轉化為實體動作。公司表示,模型可在機械人本機即時運行,無需伺服器往返,沒有雲端連線時仍可運作。

  5. HuggingFace Daily Papers(社區熱門論文)37

    Urbex:面向城市級 3D 場景的智能體式空間定位

    Urbex 提出面向城市級 3D 場景的智能體視覺語言框架,把空間定位由候選排序改為主動搜尋。框架在 CityRefer 上透過強化學習優化工具使用策略,取得最佳 Hit@1 和 IoU,並支援無需候選框及真值框的定位,速度大幅快於最強城市級排序基線。STPLS3D-Refer 的 zero-shot 結果亦顯示其跨場景穩健性有所提升。

  6. DoNews61

    iPhone Duo 國行版新增三項大模型備案,10月16日開放預購

    蘋果 iPhone Duo 國行版(型號 A3721)於2026年9月29日完成換證,新增三項大模型備案,並將於10月16日20時起開放預購。備案資料顯示,Apple智能於2026年7月8日獲批並支援端側生成式 AI 服務;阿里千問相關模型將深度整合至 iOS 等系統,為中國用戶提供文字與圖像理解、內容生成等原生 AI 能力。iPhone Duo 將於10月23日發售,起售價為15999元。

  7. MarkTechPost87

    Google 發佈 Gemini 4 Argon API,輸出上限達 1M token

    Google DeepMind 已向開發者、企業及付費 Gemini 訂閲用戶開放 Gemini 4 Argon,單次回應最多可輸出 1M token。模型的輸入與輸出共用 1M token 上下文窗口;Gemini API 入門價格為輸入每百萬 token $2、輸出每百萬 token $10,2026 年 11 月 30 日後調升至 $4/$20。

    推薦理由:文章把 Gemini 4 Argon 的 1M token 輸出上限、定價和基準成績並列,亦交代部分對手分數的來源差異,有助掌握比較結果的限制。

  8. DEV Community41

    I built an app to duel your past self in push-ups and pull-ups!

    RivalRep 是一款網頁應用程式,透過手機鏡頭計算掌上壓和引體上升,讓用戶與個人最佳紀錄回放、自適應機械人或朋友實時對戰。應用程式提供 3 種挑戰模式,並會按用戶的回饋和進度調整訓練計劃。姿勢偵測完全在裝置本機執行,不會上載影片或圖像資料;無須下載或帳戶即可開始訓練。