跳到正文
10月29日週四
  1. HuggingFace Daily Papers(社區熱門論文)47

    多模態推理中的參照落差:視覺輔助能解決和不能解決的問題

    多模態語言模型在多步視覺推理中的失誤,可能源於語言未能連結相關視覺物件、區域或位置的「參照落差」,而非視覺感知不足。研究提出 ReGap-Bench,涵蓋五項視覺推理任務;結果顯示,配合任務的外部參照可在無需訓練下令準確率提高最多 25%,不匹配的參照則助益甚微,甚至會降低表現。

  2. 阿里雲開發者社區 AI48

    AI 劇本生成與動畫創作實戰拆解:《等你平安歸來》台青短劇奪獎案例

    《等你平安歸來》是一部 60 集閩南語短劇,並獲第四屆上海國際AIGC創新大賽最佳短劇劇本獎;文章拆解以阿里雲函數計算 FC、百煉大模型、ComfyUI、AnimateDiff 和 OSS 搭建 AIGC 短劇生產管線的做法。管線涵蓋結構化劇本、跨集角色一致性、方言 TTS 校準、GPU 彈性渲染及 60 集資產治理,可供政企文旅和博物館展陳場景參考。

  3. 阿里雲開發者社區 AI45

    Qwen3.8-Flash 使用指南:百萬長文處理、程式開發實戰與 API 接入

    Qwen3.8-Flash 使用指南涵蓋百萬 Token 長文處理、程式開發實戰及 API 接入。文章列出原生 100 萬 Token 上下文、標準輸入 991,808 Token、輸出 131,072 Token,以及每次推理激活 6B 參數等規格。模型兼容 OpenAI 與 Anthropic 協議,指南亦説明 API 調用、免費 Token 額度及按量計費。

  4. DEV Community62

    MiniMax 宣佈約 $2B 融資,MiniMax-M3 透過插件接入 FiftyOne App

    MiniMax-M3 可透過 minimax-m3-fiftyone 插件接入 FiftyOne App,對圖像及抽樣影片執行標註、搜尋和問答等任務。插件無需微調或自建模型伺服器,會以提示詞要求固定格式 JSON,再轉成 FiftyOne 標籤;影片則透過抽取影格處理。文章亦提及 MiniMax 宣佈約 HK$16 billion(約 $2B)的私募配售及可轉換債券融資。

  5. DEV Community59

    FiftyOne 1.19 新增 MCAP 原生檢視及多通道同步播放

    FiftyOne 1.19 現可原生開啟 MCAP 檔案,並在同一播放時間軸同步呈現相機、LiDAR、GPS、IMU 和日誌,無須安裝 ROS。作者以 TreeScope 的 10 段 UAV 飛行記錄示範,其中一段約 4.5 分鐘的自主飛行含 31 個頻道及 599,698 則訊息;未能解碼的頻道仍可在 Message tile 以原始記錄檢視。

  6. DEV Community47

    LightOnOCR-2:精巧 AI 模型革新文件 OCR

    LightOnOCR-2-1B 是一款 1-billion-parameter 視覺語言模型,在 OlmOCR-Bench 取得最高分,體積比此前表現最佳的模型小 9 倍。模型在 H100 GPU 上每秒處理 5.71 頁,並採用端到端架構處理複雜版面、多語言內容及科學記號。模型以 Apache 2.0 授權釋出,團隊亦公開訓練數據集及 LightOnOCR-bbox-bench 評測套件。

  7. DEV Community43

    NeurIPS 2024 前瞻:零樣本學習是個誤稱嗎?

    研究分析34個多模態模型後指出,所謂零樣本表現可能來自模型在預訓練期間接觸過相關概念,而非真正的泛化;概念在預訓練資料中出現的頻率,能有力預測模型表現。研究發現,概念頻率與零樣本表現呈對數線性關係,模型需要指數級增加訓練資料,才能取得線性表現提升。測試包含290個罕見概念的「Let it Wag!」數據集時,受測的50個CLIP模型表現均遜於ImageNet。

  8. DEV Community34

    NeurIPS 2024 前瞻:打造 SPIQA,回應現有科學 VQA 數據集的侷限

    SPIQA 是面向科學論文理解的大規模數據集,納入論文全文、圖表及相關説明文字,以支援多模態科學 VQA。數據集涵蓋超過 25,000 篇論文、150,000 張圖及 117,000 個表格。研究團隊結合 LLM 自動生成問題與專家人工篩選,89% 的 LLM 生成問題在人類評估者眼中與人工撰寫的問題難以區分。

  9. DEV Community29

    Guitoro:用鍵盤彈奏的虛擬結他

    Guitoro 是一款可用鍵盤彈奏的虛擬結他,在 Hacker News 排名第 11,獲得 562 分。文章以 Guitoro 為引子,介紹 Seven Sports 開發的 Meta Quest 應用程式 Amblyotube,如何把 YouTube 影片轉化為弱視人士的雙眼視覺協調訓練。應用程式以 VR 雙屏幕分別調整兩眼所見,並用 AI 辨識影片中的人物、加上視覺提示。

  10. DEV Community57

    Google Gemini 擴展互動 3D 與 XR 工作流

    Google 正把 Gemini 從文字問答延伸至互動視覺化、3D 模型及沉浸式工作流,Gemini app 的互動模擬正向全球用戶推出。這些模擬可讓用戶調整輸入並觀察模型變化,但 Google 早期發布資料指出,Education 和 Workspace 帳戶當時未能使用該功能。

  11. HuggingFace Daily Papers(社區熱門論文)47

    視覺語言模型在哪些 3D 推理任務上失敗?

    BedBench 顯示,視覺語言模型難以準確計算 3D 物件各顏色的數量,並在回答中一致地運用這些計數。基準涵蓋 13 項任務;人類準確率為 93.3%,最佳模型為 7.2%。針對性微調令一個模型的準確率由 3.0% 升至 68.6%,但其答案仍與自身計數不一致;程式碼和數據集已公開。

  12. DEV Community43

    畫面中的鬼影:我用 2001 年的機械人視覺技巧對比兩款本機視覺模型

    作者重寫 2001 年的機械人視覺方法,並與兩款本機視覺模型比較,傳統方法在測試中更準、更快。Intel N100 上的 72 個影格測試中,加入中值濾波和迴音消除器的方法平均誤差為 0.1 px,每個影格需時 37.5 ms;Qwen2.5-VL 3B 在 37 個完整回覆影格上的誤差為 1.3 px,每個影格需時 146 s,Gemma 3 4B 的誤差則為 177.8 px。

  13. DEV Community49

    為甚麼 OCR 會辨認出錯誤文字,而不是回報錯誤

    OCR 文字辨認器以分類器為每個字元選出最可能的結果,不會表示「不確定」,因此即使認錯,輸出仍可能像通順的句子。辨認準確度主要受文字像素高度影響;縮小圖片會流失細節,較有效的做法是以較大尺寸重新截圖或先放大原圖。InSnap 的本機辨認支援中文、英文及拉丁字母語言,但不可靠地辨認日文假名、韓文或俄文。

10月28日週三
  1. HuggingFace Daily Papers(社區熱門論文)61

    EmbeddingGemma 2 提出統一且高效的多模態表示

    EmbeddingGemma 2 是一款開放的多模態嵌入模型,在統一空間表示文字、圖像、音訊、影片及其組合。在涵蓋各模態的嵌入基準中,模型建立新的 Pareto frontier,表現勝過專用模型及大 2 至 12 倍的模型。模型亦支援選擇性載入模態編碼器、調整 vision token 預算、截短嵌入維度及量化權重,以配合資源受限環境。

  2. DEV Community61

    ChatGPT、Gemini 和 Claude 掃描表格轉 Excel 評測

    ChatGPT、Gemini 和 Claude 在收據、財務報表及兩頁美國製造業普查表的掃描轉 Excel 測試中,儲存格準確度得分介乎 9.33/10 至 10/10。各文件類型的最高分不同,評分只衡量預先選定儲存格的抽取準確度;測試仍發現漏值、小數錯誤及代碼替換。文章建議對照原件、核對欄列並重算總數,按資料的重要程度驗證活頁簿。

  3. 新浪科技47

    NeurIPS 2026 Oral|NV-CoT 用連續座標重構視覺思維鏈,提升圖像定位與回答準確率

    南洋理工大學、中國科學技術大學、新加坡國立大學與微軟研究院的研究者提出 NV-CoT,以連續數值座標選取圖像區域,並獲 NeurIPS 2026 Oral(Top 0.4%)。在 Vis-CoT-363K 驗證集上,定位 IoU 由 47.3 升至 59.5;在 V* Bench、HR-Bench 4K 和 HR-Bench 8K 上,SFT 與 RL 路線均有提升。

  4. Unite.AI23

    甚麼是視覺-語言-動作模型?通用機械人的基礎

    視覺-語言-動作模型將視覺感知和語言指令轉化為具身系統的實體動作序列,是通用機械人的基礎。這份指南以五個可觀察階段説明其運作:透過相機和感測器觀察場景、理解指令和相關物件、以聯合模型表示任務、生成低層或分段動作,以及觀察結果並作出修正。它亦指出,這類模型不同於為單一固定任務編寫的機械人控制器。

  5. 雷鋒網45

    張長青談廣義多模態融合:以可信度量尺應對模態缺失與噪聲幹擾

    天津大學張長青在 CNCC 2026 介紹團隊的廣義多模態融合研究,涵蓋保留模態特有資訊、以證據評估預測不確定性,以及探索通用多模態預測基座 Fusion Anything Model(FAM)。論文評估中,FAM 在18個真實數據集、12種模態和11類預測任務上測試,平均準確率較所比較的專用融合基線提高約6.9個百分點。FAM 可利用上下文樣例適應新任務,無需額外更新模型參數。