Seedream 5.0 Pro 發佈,支援資訊圖生成與交互式精準編輯
Seedream 5.0 Pro 正式發布,作為多模態圖像創作模型,提升圖文匹配、結構合理性、文字渲染及畫面美感。其四項核心能力包括高密度資訊圖生成、交互式精準編輯、影像與人像質感提升,以及十餘種常用語言的原生輸入與生成。目前模型已在火山方舟體驗中心上線,並將陸續在豆包、即夢上線;項目主頁:https://seed.bytedance.com/seedream5_0_pro
Seedream 5.0 Pro 正式發布,作為多模態圖像創作模型,提升圖文匹配、結構合理性、文字渲染及畫面美感。其四項核心能力包括高密度資訊圖生成、交互式精準編輯、影像與人像質感提升,以及十餘種常用語言的原生輸入與生成。目前模型已在火山方舟體驗中心上線,並將陸續在豆包、即夢上線;項目主頁:https://seed.bytedance.com/seedream5_0_pro
字節 Seed 正式發布新一代影片創作模型 Seedance 2.5,單次最長可生成 30 秒影片,並支援多輪延長、多模態參考及時間戳精準編輯。用戶單次最多可輸入 30 張圖片、10 段影片和 10 段音訊作參考,模型亦提升長影片連貫性及綠幕、視角和運鏡編輯能力。Seedance 2.5 正陸續於即夢 AI、豆包專業版上線,API 服務近期亦將上線火山方舟。
推薦理由:Seedance 2.5 將單次影片生成時長提升至 30 秒,並支援多輪延長、多模態參考及時間戳編輯,呈現影片創作由片段輸出走向完整流程的能力變化。
字節 Seed 正式推出原生音訊及影片全雙工大模型 SeedRealtime,透過統一架構在連續多模態資訊流中即時互動。SeedRealtime 已在豆包 App 全量上線;端到端人工評測顯示,與級聯模型相比,其音訊及影片對話節奏問題減少一半,單次對話順暢、完整交流的機率亦有明顯提升。項目主頁:https://seed.bytedance.com/seedrealtime
Thinking Machines Lab 宣佈提供多項互動性研究資助,每項金額為 $100,000,另附 $25,000 Tinker credits。研究方向包括即時多模態互動評測與安全、以生成式 UI 解釋複雜資訊,以及在長期任務中即時瞭解智能體的執行情況並加以引導;亦歡迎其他相關提案。申請截止日期為 June 19, 2026。
Thinking Machines Lab 發佈從零訓練、提供完整權重的多模態模型 Inkling,採用 Mixture-of-Experts Transformer,總參數量為 975B、啟用參數量為 41B。
Thinking Machines Lab 發佈開放權重模型 Inkling-Small,以 276B 總參數、12B 啟用參數達到與 Inkling 相若的表現,參數規模約為其四分之一。
WorldSonus 提出面向世界模型的互動式影片轉音訊框架,可即時合成具空間定位的聲音。其串流因果自回歸擴散架構的即時因子(RTF)為 0.41,並以按音訊片段索引的提示詞排程,支援生成期間動態操控聲音事件。在開放領域影片轉音訊基準測試中,WorldSonus 的聲學質素及空間對齊表現匹敵或勝過當前最先進的雙向模型。
研究團隊提出一套模型無關框架,讓已部署的凍結 LLM 和 VLM 從使用經驗中學習,以提升多模態醫療 AI 的表現。框架透過 Skill、Knowledge Memory 和 Multimodal Knowledge Base 累積推理指引、可靠事實及視覺案例,並只在新案例表現改善且不損害舊案例時保留更新。
VisionWeave 透過大規模訓練,讓 MLLM 原生具備按視覺內容調整表徵粒度的能力。在八項基準測試中,模型平均節省 43.0% tokens,同時保留 98.9% 原生效能。部署於 SGLang 後,吞吐量提升 2.3x,平均 TTFT 和 TPOT 分別降低 54.4% 和 60.6%。
ProactiveCoach suite 以階層式程序理解提升主動式 AI 助理,包含訓練用的 ProactiveCoach-Instruct、評測用的 ProactiveCoachBench,以及採用自適應指引系統的微調 VLM。
PAIR 為連續動作的視覺-語言-動作模型提出明確中間表示,銜接視覺語言理解與可執行的機械人動作。該表示結合任務語義與專家動作結構,透過對齊動作潛在表示學習 Bridge Tokens,並提早注入 Action Expert;在 LIBERO、LIBERO-Plus、CALVIN 及真實世界操作任務中均提升表現。
Reka AI 發佈 Rho-1 研究預覽,這個 19-billion-parameter 全模態模型在單一神經網絡中處理及生成文字、圖像、影片和機械人控制動作。
OpenMOSS 發佈開源影片與同步音訊生成模型 MOVA,模型可在單次推理中生成影片及同步音訊。程式庫提供模型權重、推理、訓練、LoRA 微調及評測流程,並列出不同推理及訓練設定的硬件資源與耗時數據。
作者實測 MiniMax M3.1 Flash Preview,認為其在複雜頁面、視覺還原及互動效果上的完成度接近 Claude Opus 5.5。案例包括 Python 動態短片、可操作的 3D 相機拆解網頁,以及只用原項目公開美術素材重做的熊貓紙藝互動場景;相機展示拆成 10 步。
RGPO(Rationale-Guided Policy Optimization)是一種按模型當前能力自適應運用真實推理依據、同時保留探索空間的強化學習框架。它把參考解答作為暫時支架,並只將獎勵較高的模型生成解答轉回無引導設定。在純文字及視覺語言推理任務中,RGPO 的表現均優於 RLVR 基線。
這項研究分析視覺語言模型的視覺定位安全,發現模型對文字問題會拒答,對同一有害請求改要求點或邊界框時卻常會配合。在五個模型中,視覺定位拒答率平均比 VQA 低 31–59 個百分點,安全系統提示詞未能消除差距。
Conditional Trajectory Peaks(CTP)提出單次推理策略框架,同時預測完整動作片段候選、機率質量及軌跡尺度,並維持重新規劃週期之間的行為一致性。
研究提出一套讀取多模態擴散 Transformer(MM-DiTs)上下文 tokens 的方法,並以 Contextual Alignment 強化其中的視覺語義資訊,改善生成質素及分佈覆蓋。
MemPilot 透過強化學習,為 LLM 智能體按需整理多模態記憶,動態權衡效能、成本與延遲。其策略會在檢索通用記憶與委派 LLM、VLM 整理原始多模態歷史之間作選擇。五個多模態智能體記憶基準測試顯示,MemPilot 在不同最佳化偏好下取得良好的效能、成本與延遲取捨。
NASA 與 IBM Research 發佈開源 NASA-IBM Lunar Foundation Model,使用 17 年月球軌道觀測資料支援月球科學的機器學習任務。
Prism 提出動態稀疏注意力框架,用於原生以 2K 訓練聯合影片音訊生成模型。框架按時空區域的視覺變化及音訊對影片的影響,動態調整區塊形狀和每個查詢的稀疏度。實驗顯示,相比全注意力,Prism 的訓練速度提升 2.5 倍,生成質素亦更高。
SheetSage2 是一套把音樂錄音轉成連貫、可編輯的旋律和絃譜及帶時間標記音樂註釋的統一框架。單一 SheetSage2-AR 模型在 8 個基準集合涵蓋的 15 組基準與評測指標配對中,有 12 組勝過受比較的既有系統,推理時毋須按任務使用動態規劃。模型權重及推理程式碼可供使用,並提供 ABC 和 MIDI 輸出,供編輯及後續音樂工作流程使用。
MOTIVE 是一套視覺語言模型自我驗證框架,透過五種互補的驗證角度和學習所得的可靠性分數,判斷答案應予採納還是重新思考。五個基準測試的平均準確率中,Qwen2.5-VL-3B 由 55.11% 升至 63.13%,Qwen2.5-VL-7B 由 60.49% 升至 68.63%。MOTIVE 亦比傳統自我驗證減少平均答案生成輪數。
LLM-as-Jev 指出,現代大語言模型本身已具備 Jev 式決策能力;Qwen3.5-4B 無需訓練,即可匹配採用相同骨幹的社羣 Jev 式模型。微調能顯著提升較弱模型及特定任務的表現,但對強模型的額外收益有限。KL 錨定可避免對話生成能力退化,而 LoRA 在能力較強的模型上表現最佳。
LlamaIndex 在 OpenAI Developer Day 當日為其程式庫加入對兩款新模型及多項 OpenAI 功能的支援。
推薦理由:文章列出 LlamaIndex 對新模型、Azure endpoints、嵌入向量抽象層及函數調用的支援,並附模型調用程式例子,呈現這次更新涵蓋的整合範圍。
作者以 KOSMOS-2、Google PaLM API 和 LlamaIndex 建構 Streamlit 多模態原型,讓使用者上載圖片並就圖像內容對話。KOSMOS-2 生成圖片描述,PaLM 負責對話,LlamaIndex 串接流程;示範版每個工作階段最多可傳送 20 則訊息。
LlamaIndex 介紹多模態 RAG 新抽象,讓文字與圖片可納入索引、檢索及回答流程。新能力包括 OpenAIMultiModal 支援 GPT-4V、ReplicateMultiModal 支援開源多模態模型(目前處於 beta),以及透過 CLIP 建立圖片嵌入。
LlamaIndex 介紹多模態 RAG 的評估方法,建議沿用文字型 RAG 的檢索與生成兩階段框架,並分別計算文字和圖片的檢索指標。生成評估則可使用能處理文字及圖像上下文的 LMM 作裁判,衡量相關性與忠實度;文中亦介紹其 beta Multi-Modal Evaluator abstractions。
LlamaIndex 在 2023–12–12 電子報中介紹多項產品更新,涵蓋 RAG 評測、資料管線、多模態功能及開發模板。
LlamaIndex 已整合 MistralAI 的 Pixtral 12B,提升圖表分析、圖像理解及圖像轉程式碼能力。本期亦提供以 OpenAI o1 和 LlamaParse 處理多工作表 Excel 的進階 RAG 指南,以及使用 LlamaParse 建立市場研究報告多模態 RAG 流程的教學。
LLM 正革新企業 PDF 解析,從單純讀取文字轉向理解文件版面與內容;LlamaParse 利用視覺語言模型處理文字和視覺元素,並保留文件結構。平台可處理表格、掃描文件、表單及技術圖紙,並透過 LlamaExtract 輸出 Markdown、JSON、XML 或自訂格式。服務提供免費及付費方案,實施指南涵蓋文件盤點、試點、擴展及正式部署。
LLM 正重塑 AI 文件解析,讓機器能從文字與圖像理解文件版面、語義及上下文。相較 OCR、NLP、NER 等依賴模板與規則的工具,多模態 LLM 可重建語義閲讀順序、理解圖表與表格,並處理新文件類型而毋須重新訓練。但單靠標準 LLM API 解析複雜版面,仍可能漏掉細節或產生幻覺數值。
LlamaIndex 評析 OlmOCR-Bench,認為它有助衡量文件 OCR 進展,但與多數真實文件處理需求仍有落差。基準涵蓋 1400+ 份 PDF、設有 7000+ 項二元單元測試,並按類別計算子分數。不過,約 56% 的 PDF 來自學術資料,表格與閲讀順序測試粒度偏粗,精確匹配亦容易造成脆弱判定。
LlamaIndex 建立了 audio-kb CLI 工具,讓使用者可從終端錄製或上傳音訊筆記,並對筆記進行語義搜尋。工具以 LlamaParse 提取逐字稿,將文本分塊後用 Gemini Embedding 2 產生嵌入向量,再存入帶有 HNSW 索引的本地 SurrealDB。
LlamaParse 以多模態模型解析法律證據開示文件,可處理低畫質掃描件,並理解頁面版面、圖片、圖表及表格。它支援自訂解析指示,API 可回傳「markdown」、「text」及「items」等輸出。文章建議這類文件使用 `tier="agentic_plus"`,該層級針對複雜版面與視覺內容優化;所有 tier 均採用高解析度 OCR。
圖表數據提取須將圖中的視覺標記映射為座標數值,再整理成結構化資料;流程包括識別圖表類型、解析座標軸與圖例、定位數據點及匯出。人工數位化通常每張圖需 15 至 30 分鐘,傳統 OCR 只能辨識文字;AI/VLM(如 LlamaParse)可處理多種圖表,並輸出 CSV、JSON 或 Markdown,附信心分數與引用。
2026 年多語言 OCR 軟件評估聚焦全球文件辨識,指出英語、拉丁字母文件上的準確率未必反映其他文字系統及混合語言文件的實際表現。評估工具時,須檢視其對 RTL、CJK、垂直文字、混合語言分段辨識及版面結構的處理能力。低資源語言及文件品質會影響辨識效果,應以實際文件測試,而非只看支援語言數量。
LlamaIndex 復盤 LlamaParse 文件處理流程中的兩類生產故障:模型重複輸出造成延遲與資源耗盡,recitation 內容攔截則令生成中止並使下游流程出錯。
LlamaIndex 指出,通用 VLM 難以可靠解析表格,因其並非為文件及表格處理最佳化;LlamaParse 則以專用方案取得更佳結果並降低成本。LlamaParse 以巢狀 JSON 保留欄位與分區關係,並處理勾選狀態、邊界框定位和欄位歸屬。
Meta 公佈 Ray-Ban Display 眼鏡 2026 年下半年大型更新詳情,涵蓋導航、通知管理、Hologram 虛擬化身及 Explore 應用推薦。
最多提供 50 頁,更早的內容請使用搜尋或主題頁。