Dify 知識庫自 v1.11.0 起支援多模態檢索
Dify 知識庫自 v1.11.0 起支援多模態檢索,可在 Workflow 應用中共同理解、檢索和使用文字與圖片。系統將圖片和文字放入統一語義空間,支援 Image-to-Text、Text-to-Image 和 Image-to-Image 檢索,並可從 Markdown 連結提取 JPG、PNG、GIF 圖片,大小上限為 2MB。
Dify 知識庫自 v1.11.0 起支援多模態檢索,可在 Workflow 應用中共同理解、檢索和使用文字與圖片。系統將圖片和文字放入統一語義空間,支援 Image-to-Text、Text-to-Image 和 Image-to-Image 檢索,並可從 Markdown 連結提取 JPG、PNG、GIF 圖片,大小上限為 2MB。
MAXHUB在新品媒體品鑒會上發布新一代專業視像會議終端、面向不同會議空間的分體式方案及全向麥產品。新一代終端配備16陣列天籟陣列麥克風、2.2聲道50W擴音能力、雙向AI降噪及2億像素四攝三焦段方案,並支援主流平台接入、設備管理和安全管控。
Hark 宣佈完成逾 $700 million 的 A 輪融資,投後估值為 $6 billion。融資由 Parkway Venture Capital 領投;Hark 團隊已增至約 70 人,並將在新的 NVIDIA B200 數據中心訓練下一代模型。Hark 表示,AI 平台將於今夏推出,模型具備智能體及多模態能力;下一代硬件則將從設計之初以 AI 原生為目標,並整合 Hark 的基礎模型。
Hark 宣佈與 NVIDIA 展開多年策略合作,透過深度技術協作及吉瓦級運算能力,推進個人化智能體 AI。合作將採用新一代 NVIDIA Vera Rubin 平台;Hark 計劃於夏季結束前向公眾推出平台。NVIDIA 基建亦支援 Hark Handoff、平台推出時的分散式推理,以及未來基礎模型的訓練。
比亞迪發布汽車行業首個 AI 超級智能體「迪迪蝦」,並陸續向旗下多款車型推送。迪迪蝦基於璇璣架構 2.0,透過端雲協同及多模態感知、工具、技能、記憶四大系統,支援多場景辦事與自然深度對話。目前已向騰勢 Z9GT 閃充版、第二代騰勢 D9、騰勢 N8L 閃充版、騰勢 N9 閃充版、大唐等車型 OTA 推送,其他車型將陸續升級。
ALPS 是預訓練視覺狀態編碼器,整合物理狀態預測、語言對齊與像素重建,作為世界模型的共用基礎。以靜態圖像和文字從頭預訓練的 ViT-B/16,在 15 個公開編碼器的統一評測中取得最低 LIBERO 狀態探測誤差,媲美規模大 3.5x 的 V-JEPA 2-L。
Kakao 將兩款自研圖像識別模型 Kanana-2-vision-encoder 開源,medium 版有 426 million parameters、tiny 版有 98 million parameters;兩者可在 Hugging Face 取得,並採用容許研究、開發及商業用途的 Kanana Open License。
美國 NIH 國家糖尿病、消化及腎臟疾病研究所的研究人員分析102頓營養成分已知的餐點,發現四款照片卡路里應用程式的估算值全數偏低。Appediet 每餐平均低估252 kcal(95% CI 210–295 kcal),MyFitnessPal 低估327 kcal(269–385 kcal),Lose It!
指南依據《EU AI Act》第 50(4) 條,將深偽界定為 AI 生成或操控、近似現存人物、物件、地點、實體或事件,並會令人誤以為真實的圖像、音訊或影片。指南以 AI 虛擬代言人、複製真人聲線、合成產品或店面照片等作例,並指出 AI 撰寫的廣告文字不屬深偽。發布相關內容的部署者須最遲在首次曝光時清晰披露;指南聲明內容僅屬一般資訊,未經律師審閲,並非法律意見。
科大訊飛全球 1024 開發者節北京科博展將於 10 月 22 日在北京國家會議中心二期一層迎賓廳舉行,展示全棧自主可控的大模型技術、AI 應用及軟硬一體的人機交互成果。展覽包括基於全國產算力完成訓練升級的訊飛星火大模型 X2.6,以及教育、醫療、汽車、政企辦公和具身智能等領域的應用。活動當日 9:00—19:00 面向客戶及大會相關嘉賓開放參觀。
Ultra Video Editor 1.4.6 加入口述影像功能,用戶可為影片生成描述旁白,並將其混入成片。Gemini 會連同聲音分析整段影片,產生可編輯的描述腳本;剪輯器會在旁白播放時降低音樂音量,並輸出 .txt 和 .vtt 檔。
sloth-receipts 使用 Gemma 4 在本地讀取 Pix 收據,再由 Python 規則判定;測試中的 12 張虛構收據,最終判定全部正確。模型平均每張需時 52 s,部分交易編號和 Pix key 讀取有誤,因此係統以容錯比對識別可疑項目,不用它確認付款。收據只供分類,付款仍須以銀行月結單或 PSP webhook 確認。
作者花數星期調校本地 OCR 流程,但視覺模型在相同照片上只用九秒便勝過該流程。閲讀教練以孩子拍攝的手寫頁面為輸入,遇上無法有信心辨認的字詞便要求重拍,不會評分。測試共進行 22 次,周轉時間中位數為 169 秒,索引了 3 本書及 20,726 個字,並生成 566 道涵蓋九個科目的題目。
作者 Anush Deotare 開發 Sloth Sorter,這款本地桌面網頁應用透過 Ollama 執行 Gemma 3:4B,為每個檔案建議新檔名及分類資料夾,用戶預覽並按 Apply 後,檔案才會移動。
Dual Exam 分別評測多模態智能體與世界模型在不同領域的表現,並揭示兩者在試點測試中未能共同成功。智能體評測涵蓋 1,088 個項目及 15 個報告類別,GPT 6 Astra 的加權分數為 31.3;世界模型評測涵蓋 400 個案例及八種情境,GPT-Image-2 的整體分數為 21.7。兩組分數採用不同任務和指標,不能直接比較;150 個案例的配對試點中沒有任務成功。
CellTrack-Bench 評測視覺語言模型的細胞追蹤能力,並與專用追蹤算法比較,揭示模型在不同成像模態下的推理差距。基準涵蓋四種成像模態、15 個細胞追蹤數據集,共有 1,537 個問題及 9,041 項細胞連結決策。研究評測了 9 個閉源前沿模型和 13 個開放權重模型,並分析其失效模式。
DirCast 是單一串流影片語言模型,能根據過往畫面選擇鏡頭並生成即時解説,負責電競直播的導播與解説。研究團隊以 27 場職業 Dota 2 賽事建立數據集,DirCast 的導播表現優於規則式及零樣本導播,包括 GPT-5。在 Proact-VL 評測中,其解説有 29.2% 的比較勝過 GPT-4o;觀看人工導播直播的 11 個串流解説模型中,最佳者為 19.4%。
MMVistaReason 提出開放數據後訓練方案,結合難度感知蒸餾、強化學習及多教師訓練,以提升多模態推理能力。在 15 項基準測試中,MVR-4B 平均得分為 72.8,使用的樣本比 MMFineReason 少約 70%,並勝過 Qwen3.5-9B (Instruct) 和 MMFineReason-8B。
FocusVLA 根據預測的互動意圖,在機械人操作不同階段動態切換全局與局部相機視角。在 RoboTwin 2.0 上,其平均成功率較最強基線 π_{0.5} 高 10.10 pp;真實環境評估中,成功率由 71.7% 提升至 85.0%。意圖預測與動態路由模組可整合至現有 VLA 框架,無須修改核心架構。
Ohio State 研究人員研發 Scentronic 系統,以 AI 電子鼻偵測和分析氣味,再將氣味數據傳送至裝置重現。測試中,16 人均準確辨認出系統重現的五種氣味;研究人員指,這項技術可用於網上購物及醫療診斷等場景。
FlipCheck 用 Gemma 4 識別物品,再以 SerpApi 搜尋最多 200 筆即時 eBay 刊登,交由 TabPFN 根據物品狀況估算快速出售、公平及耐心等候價格,並生成 eBay 標題、描述和商品資料。價格依據的是目前叫價,而非成交價;TabPFN 在 CPU 上處理 200 筆刊登需時 0.2 s。程式目前未部署,可在本機運行。
NVIDIA 擴充 Nemotron Retriever 系列,推出 Nemotron 3.5 Embed、Rerank 和 Parse 開放模型,涵蓋多模態檢索、相關性重排及文件擷取。
LazyCart 使用 Gemma 2 分析雪櫃或食品儲藏室的照片,整理食材並生成只需一個鍋或平底鑊的食譜,再找出所需食材。Browserbase 雲端瀏覽器 Agent 可搜尋網上超市並將商品加入購物車,Sentry Agent Tracing 則記錄及顯示模型推理和 Agent 操作。項目以 MIT License 開源,並支援本機推理備用方案。
禾賽科技公佈 6D 全綵激光雷達亮點,稱可在芯片級將 RGB 與深度資訊原生像素級對齊,讓每個像素同時包含顏色、位置和距離資訊。今年 4 月,禾賽發布 6D 全綵激光雷達芯片平台「畢加索」;這項技術可用於直接判斷紅綠燈狀態,並讓遠處物體的顏色與距離精準對應。
NVIDIA 擴展 Nemotron Retriever 系列,推出可商用的開放模型 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse,涵蓋多模態檢索、重排及文件抽取。
推薦理由:這次更新把多模態嵌入、重排與文件解析納入同一檢索系列,並列出多項基準與吞吐數據,呈現準確度和部署效率的取捨。
NVIDIA 擴展開放模型系列,推出涵蓋語言、機械人、生物學及量子計算的多款模型與工具。新增項目包括 NVIDIA Nemotron 3.5 Super VL。
NVIDIA 宣佈擴大開放模型組合,涵蓋語言、機械人、生物學及量子計算,納入 Nemotron、Kumo、Cosmos、Alpamayo、BioNeMo 和 Ising 等模型系列。
Synaptics 推出 Astra SR200 系列 xMCU,內置 Google Research 的 Coral NPU,並集成容量可擴展至數百 MB 的高帶寬定製 DRAM。
RIVET 是一個擬議中的環境事件調查系統,結合 OpenCV 影片分析與水質感測器讀數,調查水道中的可疑變化並生成可追溯的事件報告。計劃中的原型會使用 AI 智能體,在觀察不完整或互相矛盾時選擇後續分析,並以 AWS 支援數據處理和儲存。文章亦提出,將評估這種做法能否改善環境異常偵測,並提升自動監測的透明度和可靠性。
這個模型透過少量交叉注意力層連接預訓練影片生成器,為任意骨架綁定共同生成影片與 3D 動作,並推算鏡頭位置,將動作定位於場景中。研究團隊以近 200K 組訓練配對訓練模型。評估顯示,模型可按文字為不同骨架生成動作,也支援影片與骨架動作互相轉換及以關鍵影格控制 3D 動作。
JolSetu 是為 Xylem Global Student Innovation Challenge 2026 建立的原型,以 AI 讀取砷測試套件結果,並協助家庭尋找附近經核實的安全水井。原型使用的 6,593 個水井數據來自 Araihazar 調查;風險模型在留出數據上的 AUC 為 0.67。系統支援離線使用及孟加拉語文字轉語音,但尚未部署。
一般視覺語言模型可透過單次前向傳遞的選擇題,充當多模態重排序器。零樣本 Qwen3.8-27B 在三項基準上均勝過監督式 Qwen3-VL-Reranker-2B,並在 MMEB-V2 視覺文件任務上以 84.79 nDCG@5 與 Reranker-8B 的 84.78 持平,延遲為其 1.1 至 1.5 倍。作者指出,模型規模及世代差異令這些比較存在混淆。
小米於 10 月 20 日宣佈 MiMo-V2.6-Pro 接入 WorkBuddy;模型在 Artificial Analysis Intelligence Index 取得 46.32 分,當時於受測開放權重模型中排名第一。
Video-Point Model(VPM)根據多視角影片歷史和語言指令,預測未來影片及持續場景點的 3D 軌跡。研究團隊建立 VPM-Data 和 VP-WorldBench,用於訓練及評估。在 VP-WorldBench 和現有 4D 生成基準上,點軌跡監督提升影片保真度及 3D 運動準確度;模擬及真實機械人實驗亦顯示,加入動作的模型操作成功率有所提高。
小米 MiMo-V2.5-Pro 和 MiMo-V2.5 已於 10 月 21 日 10 時(UTC+8)下線。相關請求自 10 月 14 日 18 時(UTC+8)起自動路由至 MiMo-V2.6-Pro 和 MiMo-V2.6-Flash;MiMo-V2.5-Pro 僅支援文字輸入,替換後的 MiMo-V2.6-Pro 將支援多模態理解。
Cloudflare 於2026年10月19日宣佈推出 AI 模型 Clairic 的預覽版,可從文字及圖片抽取或推算指定類型的值,並以 JSON 輸出。它最多可處理4張圖片,支援計算、估值及預測;現可透過 Workers AI 使用,每100萬個輸入 token 收費0.10美元,模型權重計劃日後公開。
Meta新一代AI眼鏡Ray-Ban Meta(Gen 3)及Ray-Ban Meta Optics已在香港及澳門發售,建議售價分別為3759及3919港元起。
Buddy AI 是一款多模態 AI 伴侶,以開放權重 Gemma 模型提供回應,並透過輕量網頁介面與用戶互動。項目使用 Python 和 Flask 建構後端,並探索本地推理及多模態互動;設計目標是簡化日常 AI 使用,同時減少不必要的 token 用量。
EvaOmni 是一項以證據為本的基準測試,用於評估全模態語言模型能否識別視聽證據,並據此推理回答問題。基準涵蓋 392 段影片、1,027 組人工標註問答、15 項能力及三個難度層級,並要求模型同時提供答案和支持證據的時間區間。
指南説明如何辨識深偽內容,並示範用 Python 建立影片偵測器。程式每 2 秒擷取一格,檢查壓縮痕跡及中繼資料,並查詢 Microsoft Video Authenticator API。文章稱,未有為深偽內容加上標籤的平台,最高可被罰年度營業額的 6%。