用開放模型提升 OCR 流程
Hugging Face 更新開放 OCR 模型指南,加入 Chandra、OlmOCR-2 及模型在 OlmOCR Benchmark 的比較分數。指南對照多款模型的輸出格式、語言支援、功能與成本,並介紹 OmniDocBenchmark、OlmOCR-Bench 和 CC-OCR 等評測基準。
推薦理由:文章對照模型能力、輸出格式、評測基準與部署成本,並建議以代表性樣本檢驗不同文件和語言下的表現。
Hugging Face 更新開放 OCR 模型指南,加入 Chandra、OlmOCR-2 及模型在 OlmOCR Benchmark 的比較分數。指南對照多款模型的輸出格式、語言支援、功能與成本,並介紹 OmniDocBenchmark、OlmOCR-Bench 和 CC-OCR 等評測基準。
推薦理由:文章對照模型能力、輸出格式、評測基準與部署成本,並建議以代表性樣本檢驗不同文件和語言下的表現。
Hugging Face Blog 提供以 Optimum Intel 和 OpenVINO 在 Intel CPU 上本地運行 SmolVLM2-256M-Video-Instruct 的三步教程,涵蓋模型轉換、量化及推理。
推薦理由:文章展示 VLM 在 Intel CPU 上以 OpenVINO 完成轉換、兩種量化和推理的三步流程,並交代靜態量化校準與精度影響。
研究提出 A2D-VL 7B,透過微調 Qwen2.5-VL,將自回歸視覺語言模型改編為可並行生成的擴散模型。方法逐步增加預測窗口至 8 tokens,並採用區塊大小退火和噪聲水平退火,以保留基礎模型的能力。
Hugging Face 為 Gradio 加入可見水印功能,讓開發者可在生成圖片、影片及 AI 文字內容中加入水印。gr.Image 和 gr.Video 可透過 watermark 參數設定水印,聊天介面亦可設定自訂文字水印,使用者複製 AI 回應時會自動附上標示。
虛擬歌手正由小眾文化走向主流,為東南亞結合音樂、電影與本地文化創作帶來新機會。由中國工程師創作的虛擬歌手 Yuri 結合 Suno、Gemini 及智譜 AI 的 DreamOmniHuman,全球巡演吸引超過 700,000 名粉絲。文章亦指出,AI 複製聲音與外貌引發版權及數碼身份權利問題,馬來西亞需為相關規管作準備。
AI 虛擬歌手已由小眾文化走向主流,文章指出東南亞可結合多語言和本地文化,發展文化創新。Yuri 由中國工程師創作,結合 Suno、Gemini 和智譜 AI 的 DreamOmniHuman,並在全球巡演中吸引超過 700,000 名粉絲。文章亦討論 AI 創作工具在音樂、電影及品牌內容的應用,以及聲音和肖像權帶來的法律挑戰。
OpenAI 發佈更先進的語音對語音模型 gpt-realtime,並為 Realtime API 加入新 API 能力。更新包括 MCP server 支援、圖像輸入及 SIP 電話呼叫支援。
推薦理由:公告同時列出語音對語音模型與 Realtime API 的更新,並點明 MCP server、圖像輸入及 SIP 電話呼叫支援,方便掌握本次功能範圍。
Runway 推出 Game Worlds Beta,讓用戶透過即時生成的個人化故事、角色和多模態媒體,探索非線性敍事體驗。Beta 提供 The Last Score、Athena Springs 和 The Gallic Storm 等預設遊戲,也容許用戶自建遊戲世界;自建遊戲預設為私人,可設為公開供人遊玩或分享。
智能眼鏡在未來五年內不太可能完全取代智能手機,較可能與手機共存並互相整合。顯示、續航、運算能力、佩戴體驗、私隱、應用生態及價格,仍是普及和獨立使用的障礙。Apple 預計約於 2026 年推出 AI 智能眼鏡,Google 正與眼鏡品牌合作推出 Android XR 平台,Meta 則計劃在 2025 年推出 Oakley 品牌 AR 眼鏡。
Hugging Face 的 TRL 新增視覺語言模型對齊訓練支援,涵蓋 MPO、GRPO、GSPO、RLOO、Online DPO 與原生 SFT 支援。MPO 結合 DPO 偏好損失、BCO 品質損失與 SFT 生成損失,文中引述論文稱該組合在 MathVista 提升 6.2 pts。
Mistral 以 Aerial Image Dataset 微調 Pixtral-12B,將衞星影像分類的整體準確率由 0.56 提升至 0.91,幻覺比例則由 5% 降至 0.1%。
Hugging Face Blog 介紹開源基準 TimeScope,評估視覺語言模型對 1 分鐘至 8 小時影片的理解能力。基準在長影片中插入約 5–10 秒短片,分別測試局部檢索、資訊綜合和細粒度時間感知。結果顯示模型表現會隨影片變長而下降;Gemini 2.5-Pro 是唯一在超過一小時影片上仍維持良好準確率的模型,而千問(Qwen)2.5-VL 在文字資訊綜合較強、細粒度動態辨識較弱。
Mistral AI 為 Le Chat 推出 Deep Research、語音、多語言推理、Projects 和圖片編輯等新功能。Deep Research(Preview)可搜尋可信來源並生成附參考資料的結構化報告,語音模式採用 Voxtral,多語言推理由 Magistral 驅動,圖片編輯則與 Black Forest Labs 合作。
推薦理由:Le Chat 把研究、語音、多語言推理、Projects 與圖片編輯納入同一產品,呈現其如何覆蓋資訊整理、語音互動和圖像修改等不同任務。
Mistral AI 發佈 Voxtral 語音理解模型,提供 24B 生產級版本及 3B 本地與邊緣部署版本。兩者均以 Apache 2.0 授權發布,並可透過 API 使用;32k token 上下文支援最長 30 分鐘音訊轉錄或 40 分鐘音訊理解,也可對音訊提問及生成摘要。API 價格由每分鐘 $0.001 起。
推薦理由:Voxtral 同時提供 24B 與 3B 版本及 API 使用方式,並列出音訊時長上限和起始價格,方便比較本地部署與雲端接入的適用情境。
NVIDIA 將 8B 視覺語言模型 Llama Nemotron Nano VL 上架 Hugging Face Hub,亦可透過 NVIDIA NIM API 使用,主打智能文檔處理與 OCR。
Gemma 3n 已接入多個主流開源工具庫,並推出 E2B、E4B 兩種尺寸的 base 與 instruct 版本。支援工具包括 Transformers、timm、MLX、llama.cpp、Transformers.js 和 Ollama;兩款模型實際參數量為 5B 和 8B,GPU 記憶體佔用約相當於 2B 和 4B 模型。
推薦理由:文章並列模型的實際參數量、GPU 記憶體需求和多個工具庫的接入方式,方便衡量 Gemma 3n 本地多模態部署時的硬件門檻與工具選擇。
H Company 發佈 Holo1 開源 VLM 系列及 WebClick UI 定位基準,後者收錄 1,639 項 UI 任務。Holo1 系列包括 Holo1-3B 和 Holo1-7B,後者在常見 UI 定位基準的平均準確率為 76.2%。Surfer-H 採用 Holo1 開放權重模型;H Company 稱,該智能體在真實網頁任務上的準確率為 92.2%,每項任務成本為 $0.13。
Hugging Face 發佈 SmolVLA,一款 450M 開源 Vision-Language-Action(VLA)機械人模型,以 LeRobot 社羣數據預訓練,可在消費級硬件上運行。
推薦理由:文中比較社羣數據預訓練前後的成功率,以及同步與非同步推理的完成時間和吞吐量,呈現數據與推理架構各自帶來的變化。
Mistral AI 發佈 Mistral Medium 3,定位為兼顧效能、成本與企業部署的語言模型。Mistral AI 稱,該模型在各項基準測試中的表現達到 Claude Sonnet 3.7 的 90% 或以上,API 定價為每 M token 輸入 $0.4、輸出 $2;亦可部署於任何雲端,包括使用 4 張或以上 GPU 的自託管環境。
推薦理由:文章將 Mistral Medium 3 與 Claude Sonnet 3.7 的基準表現、API 定價和自託管條件放在一起比較,呈現企業部署時效能、成本與部署方式之間的核心取捨。
Meta 發佈 Llama Guard 4 多模態安全模型,以及兩款用於偵測提示詞注入和越獄的 Llama Prompt Guard 2 分類器,參數量分別為 86M 和 22M。
推薦理由:文章交代 Llama Guard 4 的圖文審核範圍與單張 24 GB VRAM GPU 部署條件,並附 Llama Prompt Guard 2 分類器規格及使用示例。
OpenAI 展示 ChatGPT for Business 的最新功能,包括 o3、圖片生成、增強記憶及內部知識。內容以實際操作示範呈現。
Language Technologies Lab 發佈 Visual Salamandra,將 7B 參數的 Salamandra 模型擴展至圖像與影片理解。
Hugging Face 與 Cloudflare 合作,讓 FastRTC 開發者可透過 Hugging Face token 使用 Cloudflare 的企業級 WebRTC 基礎設施。
ChatGPT 的視覺與語音功能協助團隊處理多模態輸入,並以更自然的方式溝通。
Hugging Face 將 Llama 4 Maverick (~400B) 與 Scout (~109B) 的權重上架 Hub,並宣佈 Transformers 與 TGI 支援。
推薦理由:文章整理了長上下文所用的 NoPE、分塊注意力與 temperature tuning 設計,讓讀者瞭解 Llama 4 延伸上下文窗口的架構取捨。
ChatGPT-4.5 被描述為透過多模態學習、自我檢查、擴大的上下文窗口及強化學習,提升準確度並減少模型幻覺。文章指出,AI 在部分數據處理和分析工作上可能比人更可靠,但仍受訓練數據偏差影響,並需由人類監管。
香港浸會大學聯同藝術科技初創公司於 FILMART 2025 展示沉浸式及 AI 藝術科技項目,並介紹大學的未來電影教育。展品包括可生成動作的「AI Motion Acting Agent」、保護數碼創作者知識產權的「DigitalGuardian」,以及 AR 裝置「VotR.AR」和 Future Cinema Systems 平台。
NVIDIA 在 GTC 2025 發佈 Cosmos Transfer、Physical AI Dataset 和 NVIDIA Isaac GR00T N1 三項 Physical AI 開源資源。
推薦理由:三項資源分別涵蓋可控合成場景、機械人訓練數據與人形機械人推理及技能,呈現 Physical AI 開發中生成、訓練和執行能力的不同分工。
Mistral AI 發佈 Mistral Small 3.1,改進文本表現與多模態理解,並將上下文窗口擴展至最高 128k tokens。官方稱模型推理速度為 150 tokens per second,表現超越 Gemma 3、GPT-4o Mini 等可比模型,並以 Apache 2.0 授權釋出。
推薦理由:文中將 Mistral Small 3.1 的文本、多模態、長上下文與多語言表現放入同級比較,並列出本地運行條件及下載、API 等使用入口。
Google 發佈 Gemma 3 開放權重模型系列,提供 1B、4B、12B、27B 四種規模及預訓練、指令微調版本。4B、12B、27B 版本支援圖像和文字、140+ 種語言及 128k tokens 上下文;1B 版本僅支援文字和英文,提供 32k 上下文。
推薦理由:文章整理 Gemma 3 各版本的上下文、圖像與語言支援差異,並列出 Transformers、MLX 和 llama.cpp 的推理入口,方便比較使用路徑。
Mistral AI 推出 Mistral OCR 文件理解 API,可解析圖片與 PDF,並抽取文字、圖像、表格及公式。API mistral-ocr-latest 已在 la Plateforme 開放,每美元可處理 1000 頁,批次推理下每美元可處理頁數約增至兩倍;Mistral OCR 亦可在 le Chat 免費試用。
推薦理由:Mistral OCR 可解析 PDF、圖片中的表格與公式,並支援 JSON 輸出,展示文件接入 RAG 與 Agent 工作流的實際做法。
Cohere For AI 發佈 Aya Vision 8B 和 32B,這組開放權重視覺語言模型支援 23 種語言。Aya Vision 32B 在 mWildVision 的 23 種語言平均比較中,對參數量超過其 2 倍的模型取得 52% 至 72% 勝率。團隊亦公開 AyaVisionBench,涵蓋 23 種語言、9 類任務,每種語言有 135 組圖像與問題配對,供研究使用。
推薦理由:文章拆解合成標註、多語言資料擴充與多模態模型合併等訓練做法,呈現 Aya Vision 的多語言視覺語言建模路徑。
Google 發佈 SigLIP 2 多語言視覺語言編碼器系列,加入新的訓練目標以提升語義理解、定位及密集特徵表現。訓練加入圖像描述與區域定位解碼器、自蒸餾的 Global-Local Loss 和 Masked Prediction Loss,並提供動態解析度 naflex 版本。
推薦理由:SigLIP 2 把解碼器監督、自蒸餾與遮罩預測納入訓練,並提供動態解析度版本,展示提升局部語義表徵與適應不同長寬比的訓練思路。
Hugging Face 發佈 SmolVLM2,提供 2.2B、500M 和 256M 三種影片理解模型,並從推出首日起支援 Transformers 和 MLX,後者提供 Python 及 Swift API。
推薦理由:文章同時列出 2.2B、500M、256M 規模及 Video-MME 表現,方便比較不同參數量下的影片理解能力取捨。
Google 發佈 PaliGemma 2 Mix,這組視覺語言模型是在 OCR、長短圖像描述等任務上微調的 PaliGemma 2 版本。模型提供 3B、10B、28B 三種規模,以及 224 和 448 兩種解析度。模型涵蓋視覺問答、文件理解、圖中文字辨識和物件定位;物件偵測與圖像分割需使用任務前綴,其餘任務使用開放式提示詞表現較佳。
這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置,估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4($0.8/hr)上,三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51;測試程式碼見 https://github.com/datavistics/encoder-analysis。
推薦理由:三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響,並提供可替換模型與硬件重跑的流程,供讀者估算自有配置處理 1B 筆輸入的開支。
Mistral AI 推出全新 le Chat AI 助手,面向生活與工作場景,並開始提供 iOS、Android 版本及 Pro、Team 方案。它支援網頁搜尋、文件上傳與摘要、圖像生成及沙盒程式碼執行;Flash Answers 預覽版向所有用户開放,速度最高可達 ~1000 words / sec。
推薦理由:le Chat 整合文件分析、Code interpreter、圖像生成與日常助理用途,並以免費、Pro、Team及企業私有部署方案覆蓋不同場景。
Hugging Face 為 smolagents 加入視覺支援,使視覺語言模型可原生用於智能體流程。圖片可以在 agent.run() 時一次傳入,也可透過 step callback 動態加入 ActionStep;文章並以 helium 示範視覺網頁瀏覽智能體。
推薦理由:文章整理了 smolagents 接收初始圖片與逐步加入截圖的兩種方式,並以網頁瀏覽智能體示範如何用 callback 更新執行記憶。
Hugging Face 發佈 SmolVLM-256M 與 SmolVLM-500M 兩款視覺語言模型。兩款模型各有 base 及 instruction fine-tuned checkpoints,支援 Transformers、MLX 和 ONNX,另有 WebGPU 示範。
推薦理由:文章交代兩款模型的定位,以及較小視覺編碼器和 tokenization 調整等設計取捨,呈現小型 VLM 如何兼顧效率與多模態能力。
Google 發佈 PaliGemma 2 視覺語言模型,提供 3B、10B、28B 三種規模及 224x224、448x448、896x896 三種輸入解析度。
推薦理由:PaliGemma 2 將前代單一 3B 規格擴展至 3B、10B、28B,並提供三種輸入解析度,呈現下游微調時在品質與效率間選擇的彈性。