跳到正文
10月6日週二
  1. 字節 Seed:Research Feed66

    Seedream 5.0 Pro 發佈,支援資訊圖生成與交互式精準編輯

    Seedream 5.0 Pro 正式發布,作為多模態圖像創作模型,提升圖文匹配、結構合理性、文字渲染及畫面美感。其四項核心能力包括高密度資訊圖生成、交互式精準編輯、影像與人像質感提升,以及十餘種常用語言的原生輸入與生成。目前模型已在火山方舟體驗中心上線,並將陸續在豆包、即夢上線;項目主頁:https://seed.bytedance.com/seedream5_0_pro

  2. 字節 Seed:Research Feed78

    Seedance 2.5 正式發布,單次最長可生成 30 秒影片並支援多模態參考

    字節 Seed 正式發布新一代影片創作模型 Seedance 2.5,單次最長可生成 30 秒影片,並支援多輪延長、多模態參考及時間戳精準編輯。用戶單次最多可輸入 30 張圖片、10 段影片和 10 段音訊作參考,模型亦提升長影片連貫性及綠幕、視角和運鏡編輯能力。Seedance 2.5 正陸續於即夢 AI、豆包專業版上線,API 服務近期亦將上線火山方舟。

    推薦理由:Seedance 2.5 將單次影片生成時長提升至 30 秒,並支援多輪延長、多模態參考及時間戳編輯,呈現影片創作由片段輸出走向完整流程的能力變化。

  3. 字節 Seed:Research Feed75

    字節 Seed 發佈 SeedRealtime 原生音訊及影片全雙工大模型,邁向全模態自然互動

    字節 Seed 正式推出原生音訊及影片全雙工大模型 SeedRealtime,透過統一架構在連續多模態資訊流中即時互動。SeedRealtime 已在豆包 App 全量上線;端到端人工評測顯示,與級聯模型相比,其音訊及影片對話節奏問題減少一半,單次對話順暢、完整交流的機率亦有明顯提升。項目主頁:https://seed.bytedance.com/seedrealtime

  4. Thinking Machines Lab:News44

    Thinking Machines Lab 宣佈提供互動性研究資助

    Thinking Machines Lab 宣佈提供多項互動性研究資助,每項金額為 $100,000,另附 $25,000 Tinker credits。研究方向包括即時多模態互動評測與安全、以生成式 UI 解釋複雜資訊,以及在長期任務中即時瞭解智能體的執行情況並加以引導;亦歡迎其他相關提案。申請截止日期為 June 19, 2026。

  5. HuggingFace Daily Papers(社區熱門論文)41

    WorldSonus:為世界模型帶來聲音

    WorldSonus 提出面向世界模型的互動式影片轉音訊框架,可即時合成具空間定位的聲音。其串流因果自回歸擴散架構的即時因子(RTF)為 0.41,並以按音訊片段索引的提示詞排程,支援生成期間動態操控聲音事件。在開放領域影片轉音訊基準測試中,WorldSonus 的聲學質素及空間對齊表現匹敵或勝過當前最先進的雙向模型。

  6. HuggingFace Daily Papers(社區熱門論文)43

    Frozen Models, Evolving Expertise: Model-Agnostic Learning from Deployment Experience for Multimodal Medical AI

    研究團隊提出一套模型無關框架,讓已部署的凍結 LLM 和 VLM 從使用經驗中學習,以提升多模態醫療 AI 的表現。框架透過 Skill、Knowledge Memory 和 Multimodal Knowledge Base 累積推理指引、可靠事實及視覺案例,並只在新案例表現改善且不損害舊案例時保留更新。

  7. HuggingFace Daily Papers(社區熱門論文)32

    PAIR:銜接視覺-語言-動作模型中的感知與動作

    PAIR 為連續動作的視覺-語言-動作模型提出明確中間表示,銜接視覺語言理解與可執行的機械人動作。該表示結合任務語義與專家動作結構,透過對齊動作潛在表示學習 Bridge Tokens,並提早注入 Action Expert;在 LIBERO、LIBERO-Plus、CALVIN 及真實世界操作任務中均提升表現。

10月5日週一
  1. HuggingFace Daily Papers(社區熱門論文)38

    Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding

    RGPO(Rationale-Guided Policy Optimization)是一種按模型當前能力自適應運用真實推理依據、同時保留探索空間的強化學習框架。它把參考解答作為暫時支架,並只將獎勵較高的模型生成解答轉回無引導設定。在純文字及視覺語言推理任務中,RGPO 的表現均優於 RLVR 基線。

  2. HuggingFace Daily Papers(社區熱門論文)64

    視覺語言模型的視覺定位安全研究

    這項研究分析視覺語言模型的視覺定位安全,發現模型對文字問題會拒答,對同一有害請求改要求點或邊界框時卻常會配合。在五個模型中,視覺定位拒答率平均比 VQA 低 31–59 個百分點,安全系統提示詞未能消除差距。

  3. HuggingFace Daily Papers(社區熱門論文)34

    MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM Agents

    MemPilot 透過強化學習,為 LLM 智能體按需整理多模態記憶,動態權衡效能、成本與延遲。其策略會在檢索通用記憶與委派 LLM、VLM 整理原始多模態歷史之間作選擇。五個多模態智能體記憶基準測試顯示,MemPilot 在不同最佳化偏好下取得良好的效能、成本與延遲取捨。

10月4日週日
  1. HuggingFace Daily Papers(社區熱門論文)37

    Prism:用於原生 2K 聯合影片音訊生成模型訓練的動態稀疏注意力

    Prism 提出動態稀疏注意力框架,用於原生以 2K 訓練聯合影片音訊生成模型。框架按時空區域的視覺變化及音訊對影片的影響,動態調整區塊形狀和每個查詢的稀疏度。實驗顯示,相比全注意力,Prism 的訓練速度提升 2.5 倍,生成質素亦更高。

  2. HuggingFace Daily Papers(社區熱門論文)45

    SheetSage2:合成監督下的連貫旋律和絃譜轉錄

    SheetSage2 是一套把音樂錄音轉成連貫、可編輯的旋律和絃譜及帶時間標記音樂註釋的統一框架。單一 SheetSage2-AR 模型在 8 個基準集合涵蓋的 15 組基準與評測指標配對中,有 12 組勝過受比較的既有系統,推理時毋須按任務使用動態規劃。模型權重及推理程式碼可供使用,並提供 ABC 和 MIDI 輸出,供編輯及後續音樂工作流程使用。

  3. HuggingFace Daily Papers(社區熱門論文)41

    When to Rethink: Learning Multi-Perspective Self-Verification for Vision-Language Models

    MOTIVE 是一套視覺語言模型自我驗證框架,透過五種互補的驗證角度和學習所得的可靠性分數,判斷答案應予採納還是重新思考。五個基準測試的平均準確率中,Qwen2.5-VL-3B 由 55.11% 升至 63.13%,Qwen2.5-VL-7B 由 60.49% 升至 68.63%。MOTIVE 亦比傳統自我驗證減少平均答案生成輪數。

  4. HuggingFace Daily Papers(社區熱門論文)45

    LLM-as-Jev: LLMs Are Already Jev-Style Decision Models -- When and How to Fine-Tune Them

    LLM-as-Jev 指出,現代大語言模型本身已具備 Jev 式決策能力;Qwen3.5-4B 無需訓練,即可匹配採用相同骨幹的社羣 Jev 式模型。微調能顯著提升較弱模型及特定任務的表現,但對強模型的額外收益有限。KL 錨定可避免對話生成能力退化,而 LoRA 在能力較強的模型上表現最佳。

10月3日週六
  1. LlamaIndex:產品、工程與評測56

    LlamaIndex 解析多模態 RAG 評估方法

    LlamaIndex 介紹多模態 RAG 的評估方法,建議沿用文字型 RAG 的檢索與生成兩階段框架,並分別計算文字和圖片的檢索指標。生成評估則可使用能處理文字及圖像上下文的 LMM 作裁判,衡量相關性與忠實度;文中亦介紹其 beta Multi-Modal Evaluator abstractions。

  2. LlamaIndex:產品、工程與評測42

    LlamaIndex 2024-10-01 電子報

    LlamaIndex 已整合 MistralAI 的 Pixtral 12B,提升圖表分析、圖像理解及圖像轉程式碼能力。本期亦提供以 OpenAI o1 和 LlamaParse 處理多工作表 Excel 的進階 RAG 指南,以及使用 LlamaParse 建立市場研究報告多模態 RAG 流程的教學。

  3. LlamaIndex:產品、工程與評測34

    超越 OCR:LLM 如何革新企業文件處理中的 PDF 解析

    LLM 正革新企業 PDF 解析,從單純讀取文字轉向理解文件版面與內容;LlamaParse 利用視覺語言模型處理文字和視覺元素,並保留文件結構。平台可處理表格、掃描文件、表單及技術圖紙,並透過 LlamaExtract 輸出 Markdown、JSON、XML 或自訂格式。服務提供免費及付費方案,實施指南涵蓋文件盤點、試點、擴展及正式部署。

  4. LlamaIndex:產品、工程與評測26

    AI 文件解析:LLM 正重塑機器讀取與理解文件的方式

    LLM 正重塑 AI 文件解析,讓機器能從文字與圖像理解文件版面、語義及上下文。相較 OCR、NLP、NER 等依賴模板與規則的工具,多模態 LLM 可重建語義閲讀順序、理解圖表與表格,並處理新文件類型而毋須重新訓練。但單靠標準 LLM API 解析複雜版面,仍可能漏掉細節或產生幻覺數值。

  5. LlamaIndex:產品、工程與評測45

    OlmOCR-Bench 評析:OCR 基準測試的洞見與陷阱

    LlamaIndex 評析 OlmOCR-Bench,認為它有助衡量文件 OCR 進展,但與多數真實文件處理需求仍有落差。基準涵蓋 1400+ 份 PDF、設有 7000+ 項二元單元測試,並按類別計算子分數。不過,約 56% 的 PDF 來自學術資料,表格與閲讀順序測試粒度偏粗,精確匹配亦容易造成脆弱判定。

  6. LlamaIndex:產品、工程與評測47

    解析難以辨讀的文件:LlamaParse 如何處理訴訟證據開示文件

    LlamaParse 以多模態模型解析法律證據開示文件,可處理低畫質掃描件,並理解頁面版面、圖片、圖表及表格。它支援自訂解析指示,API 可回傳「markdown」、「text」及「items」等輸出。文章建議這類文件使用 `tier="agentic_plus"`,該層級針對複雜版面與視覺內容優化;所有 tier 均採用高解析度 OCR。

  7. LlamaIndex:產品、工程與評測45

    LlamaIndex:圖表數據提取逐步指南

    圖表數據提取須將圖中的視覺標記映射為座標數值,再整理成結構化資料;流程包括識別圖表類型、解析座標軸與圖例、定位數據點及匯出。人工數位化通常每張圖需 15 至 30 分鐘,傳統 OCR 只能辨識文字;AI/VLM(如 LlamaParse)可處理多種圖表,並輸出 CSV、JSON 或 Markdown,附信心分數與引用。

  8. LlamaIndex:產品、工程與評測26

    2026 年面向全球文件辨識的最佳多語言 OCR 軟件

    2026 年多語言 OCR 軟件評估聚焦全球文件辨識,指出英語、拉丁字母文件上的準確率未必反映其他文字系統及混合語言文件的實際表現。評估工具時,須檢視其對 RTL、CJK、垂直文字、混合語言分段辨識及版面結構的處理能力。低資源語言及文件品質會影響辨識效果,應以實際文件測試,而非只看支援語言數量。

  9. LlamaIndex:產品、工程與評測55

    LlamaIndex 解釋 VLM 為何難以解析表格

    LlamaIndex 指出,通用 VLM 難以可靠解析表格,因其並非為文件及表格處理最佳化;LlamaParse 則以專用方案取得更佳結果並降低成本。LlamaParse 以巢狀 JSON 保留欄位與分區關係,並處理勾選狀態、邊界框定位和欄位歸屬。

最多提供 50 頁,更早的內容請使用搜尋或主題頁。