Google 發佈 Gemma 3 開放權重模型系列，提供 1B、4B、12B、27B 四種規模及預訓練、指令微調版本。4B、12B、27B 版本支援圖像和文字、140+ 種語言及 128k tokens 上下文；1B 版本僅支援文字和英文，提供 32k 上下文。
推薦理由：文章整理 Gemma 3 各版本的上下文、圖像與語言支援差異，並列出 Transformers、MLX 和 llama.cpp 的推理入口，方便比較使用路徑。
Mistral AI 推出 Mistral OCR 文件理解 API，可解析圖片與 PDF，並抽取文字、圖像、表格及公式。API mistral-ocr-latest 已在 la Plateforme 開放，每美元可處理 1000 頁，批次推理下每美元可處理頁數約增至兩倍；Mistral OCR 亦可在 le Chat 免費試用。
推薦理由：Mistral OCR 可解析 PDF、圖片中的表格與公式，並支援 JSON 輸出，展示文件接入 RAG 與 Agent 工作流的實際做法。
Cohere For AI 發佈 Aya Vision 8B 和 32B，這組開放權重視覺語言模型支援 23 種語言。Aya Vision 32B 在 mWildVision 的 23 種語言平均比較中，對參數量超過其 2 倍的模型取得 52% 至 72% 勝率。團隊亦公開 AyaVisionBench，涵蓋 23 種語言、9 類任務，每種語言有 135 組圖像與問題配對，供研究使用。
推薦理由：文章拆解合成標註、多語言資料擴充與多模態模型合併等訓練做法，呈現 Aya Vision 的多語言視覺語言建模路徑。
Google 發佈 SigLIP 2 多語言視覺語言編碼器系列，加入新的訓練目標以提升語義理解、定位及密集特徵表現。訓練加入圖像描述與區域定位解碼器、自蒸餾的 Global-Local Loss 和 Masked Prediction Loss，並提供動態解析度 naflex 版本。
推薦理由：SigLIP 2 把解碼器監督、自蒸餾與遮罩預測納入訓練，並提供動態解析度版本，展示提升局部語義表徵與適應不同長寬比的訓練思路。
Hugging Face 發佈 SmolVLM2，提供 2.2B、500M 和 256M 三種影片理解模型，並從推出首日起支援 Transformers 和 MLX，後者提供 Python 及 Swift API。
推薦理由：文章同時列出 2.2B、500M、256M 規模及 Video-MME 表現，方便比較不同參數量下的影片理解能力取捨。
Google 發佈 PaliGemma 2 Mix，這組視覺語言模型是在 OCR、長短圖像描述等任務上微調的 PaliGemma 2 版本。模型提供 3B、10B、28B 三種規模，以及 224 和 448 兩種解析度。模型涵蓋視覺問答、文件理解、圖中文字辨識和物件定位；物件偵測與圖像分割需使用任務前綴，其餘任務使用開放式提示詞表現較佳。
這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置，估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4（$0.8/hr）上，三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51；測試程式碼見 https://github.com/datavistics/encoder-analysis。
推薦理由：三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響，並提供可替換模型與硬件重跑的流程，供讀者估算自有配置處理 1B 筆輸入的開支。
Mistral AI 推出全新 le Chat AI 助手，面向生活與工作場景，並開始提供 iOS、Android 版本及 Pro、Team 方案。它支援網頁搜尋、文件上傳與摘要、圖像生成及沙盒程式碼執行；Flash Answers 預覽版向所有用户開放，速度最高可達 ~1000 words / sec。
推薦理由：le Chat 整合文件分析、Code interpreter、圖像生成與日常助理用途，並以免費、Pro、Team及企業私有部署方案覆蓋不同場景。
Hugging Face 為 smolagents 加入視覺支援，使視覺語言模型可原生用於智能體流程。圖片可以在 agent.run() 時一次傳入，也可透過 step callback 動態加入 ActionStep；文章並以 helium 示範視覺網頁瀏覽智能體。
推薦理由：文章整理了 smolagents 接收初始圖片與逐步加入截圖的兩種方式，並以網頁瀏覽智能體示範如何用 callback 更新執行記憶。
Hugging Face 發佈 SmolVLM-256M 與 SmolVLM-500M 兩款視覺語言模型。兩款模型各有 base 及 instruction fine-tuned checkpoints，支援 Transformers、MLX 和 ONNX，另有 WebGPU 示範。
推薦理由：文章交代兩款模型的定位，以及較小視覺編碼器和 tokenization 調整等設計取捨，呈現小型 VLM 如何兼顧效率與多模態能力。
Google 發佈 PaliGemma 2 視覺語言模型，提供 3B、10B、28B 三種規模及 224x224、448x448、896x896 三種輸入解析度。
推薦理由：PaliGemma 2 將前代單一 3B 規格擴展至 3B、10B、28B，並提供三種輸入解析度，呈現下游微調時在品質與效率間選擇的彈性。
Hugging Face 發佈 SmolVLM 2B 視覺語言模型系列，提供 Base、Synthetic 和 Instruct 三個版本。模型檢查點、VLM 資料集、訓練配方及工具均採 Apache 2.0 授權開放；模型亦已整合至 transformers。
推薦理由：文中將 SmolVLM 與其他模型的多項基準、GPU 記憶體及吞吐量並列，提供評估小型視覺語言模型效能與資源取捨的依據。
Mistral AI 為 le Chat 推出多項免費 beta 更新，新增網頁搜尋、Canvas、文件與圖像理解、圖像生成及智能體功能。文件與圖像理解由 Pixtral Large 與一款實驗模型支援，圖像生成則採用 Black Forest Labs 的 Flux Pro。新功能將於未來數週逐步推出。
推薦理由：網頁搜尋、Canvas、文件與圖像理解、圖像生成及可分享智能體同列免費 beta，呈現 le Chat 將對話延伸至知識工作多個環節的產品方向。
Mistral AI 發佈 Pixtral Large，一款基於 Mistral Large 2 的 124B 開放權重多模態模型，支援 128K 上下文窗口。
推薦理由：Pixtral Large 在 MathVista 得分 69.4%，並於 ChartQA、DocVQA 超越 GPT-4o 和 Gemini-1.5 Pro；這些結果提供數學視覺推理、圖表與文件理解的具體比較參照。
OpenAI 為微調 API 加入圖像支援，開發者現在可用圖像與文本微調 GPT-4o。此功能旨在提升 GPT-4o 的視覺能力。
推薦理由：這項更新把圖像納入 GPT-4o 的微調資料，並可與文本一同使用，讓開發者能用兩種資料形式針對視覺能力進行調整。
OpenAI 以基於 GPT-4o 的全新多模態審核模型升級 Moderation API，提升對有害文字和圖像的檢測準確度。此模型可協助開發者建立更穩健的審核系統。
Meta 發佈 Llama 3.2，共有 10 個開放權重模型，包括 5 個多模態模型和 5 個純文字模型，涵蓋 11B、90B 視覺模型及面向裝置端的 1B、3B 純文字模型。
推薦理由：Llama 3.2 涵蓋 11B、90B 視覺模型與 1B、3B 裝置端純文字模型，並列出 Transformers、llama.cpp 等運行示例，可作為選擇部署路徑的參考。
Mistral AI 公佈多項更新，包括 Mistral Small v24.09、la Plateforme 免費層、模型降價及 le Chat 免費提供 Pixtral 12B 圖像理解。
推薦理由：免費層涵蓋開發者的實驗、評估與原型製作，價格表亦列出模型新舊費率及降幅，呈現試用門檻和 API 成本的變化。
Mistral AI 發佈 Pixtral 12B，這款多模態模型採用基於 Mistral Nemo 的 12B 參數解碼器，以及從零訓練的 400M 參數視覺編碼器。它支援不同尺寸與長寬比的圖像，並可在 128K tokens 上下文窗口中處理多張圖片；在 MMMU 推理基準上取得 52.5%。模型採用 Apache 2.0 授權，可透過 Le Chat 或 La Plateforme 試用。
推薦理由：Mistral AI 以相同評測流程比較 Pixtral 12B 與多個開源及閉源模型，並列出 MMMU 52.5% 等基準結果，便於理解其多模態表現。
Hugging Face Blog 介紹 TextImage Augmentation，這套與 Albumentations AI 合作開發的流程可同步增強文件圖像及其中的文字標註。它可隨機插入、刪除或交換文字，並搭配圖像變換生成多樣化訓練樣本。變更後文字及對應 bounding box 可提取，用於模型訓練。
Hugging Face 發佈 Docmatix 文件視覺問答數據集，包含 2.4 million 張圖片及 9.5 million 組問答，規模較先前數據集增加 240X。
Hugging Face Blog 示範以 DocVQA 微調 Microsoft 的 Florence-2，使其適配視覺問答任務。訓練 7 個 epochs 後，驗證集 Levenshtein 相似度由 0 升至 57.0。文中提供凍結視覺編碼器、batch size 6 的低資源方案，並記錄以 8 張 H100、batch size 64 微調全模型需時 70 分鐘。
推薦理由：文章以 DocVQA 示範 Florence-2 微調，並列出驗證集表現及不同 GPU 配置，可供評估下游任務適配與訓練資源。
擴散模型大幅推進圖像、音訊和影片生成，但依賴反覆採樣流程，令生成速度較慢。
TII 發佈 Falcon 2 系列的 11B LLM 與 11B VLM，VLM 可接收圖像並回答相關問題。LLM 使用逾 5000B tokens 訓練，主要支援英語，並對另外 10 種語言具備良好能力。VLM 結合 CLIP ViT-L/14 視覺編碼器，先以 558K 圖像描述配對訓練多模態投影器，再以 1.2M 圖像文字指令資料微調。
Google 發佈 PaliGemma，一系列可接收圖像與文字並輸出文字的開源視覺語言模型。模型結合 SigLIP-So400m 圖像編碼器與 Gemma-2B 文字解碼器，提供 PT、Mix、FT 三類檢查點及 224x224、448x448、896x896 三種解像度。PaliGemma 是單輪模型，不適用於對話；Mix 檢查點適合以自由文字提示進行通用推理，但僅供研究用途。
推薦理由：文章整理 PT、Mix、FT 檢查點的用途，並指出高解像度會增加記憶體需求、多數任務的質素提升有限，有助按任務需要選擇模型。
OpenAI 宣佈 GPT-4 Omni（GPT-4o）為新的旗艦模型。該模型可即時跨音訊、視覺和文字進行推理。
推薦理由：公告把 GPT-4o 定位為新旗艦模型，並明確列出音訊、視覺和文字的即時推理能力，讓讀者掌握此次宣佈的多模態重點。
Hugging Face 發佈 Idefics2，這款 8B 參數多模態模型可接收文字與圖像序列並生成文字回應。模型權重採 Apache-2.0 授權，並已整合至 Transformers，支援圖像問答、OCR、圖表與文件理解。團隊亦公開 The Cauldron，收錄 50 個人工整理、供多輪對話使用的資料集。
推薦理由：Idefics2 同時公開 8B 權重、Apache-2.0 授權與多項視覺問答基準成績，便於對照小型多模態模型的效能表現和使用條件。
OpenAI 訓練文字條件式擴散模型，最大模型 Sora 可生成一分鐘高保真影片。模型在不同時長、解析度和長寬比的影片與圖像上聯合訓練，並以 Transformer 架構處理影片和圖像的時空區塊及潛在編碼。研究結果認為，擴大影片生成模型規模是構建通用物理世界模擬器的一條有前景路徑。
推薦理由：文章交代影片與圖像的聯合訓練方式及時空區塊架構，並呈現 OpenAI 將影片生成規模化連結至物理世界模擬器的研究思路。
OpenAI 在 DevDay 公佈 GPT-4 Turbo、GPT-4 Turbo with Vision、DALL·E 3 API、新的 Assistants API 等模型與開發者產品。GPT-4 Turbo 配備 128K 上下文窗口，價格較低。
推薦理由：GPT-4 Turbo 的 128K 上下文窗口與較低價格，連同 Vision 及多項 API，勾勒出 DevDay 公佈的模型與開發者產品範圍。
Renumics Spotlight 可直接讀取 Hugging Face datasets，讓使用者以一行程式碼建立互動式視覺化，檢視資料樣本與羣集。文章以 speech_commands 和 CIFAR-100 示範加入模型預測與嵌入向量，並利用相似度圖、混淆矩陣等視圖分析資料羣集及模型失敗模式。
ChatGPT 現可看、聽及説話。
Hugging Face 發佈 IDEFICS，作為 Flamingo 的開放取用復現模型，可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本，訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
推薦理由：IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權，呈現開放多模態模型的建構和使用邊界。
教程提供以生成式 AI 製作 PS1 風格 3D 資產的逐步流程，從 Shap-E 依文字生成模型，到在 Unity 中查看成品。流程包括用 Blender 將模型減面、以 Dream Textures 生成貼圖、完成 UV 展開並匯出 FBX；文中説明，PS1 風格較能包容現階段文字生成 3D 模型的低保真表現。
OpenAI 發佈 GPT-4，這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現，但在許多真實場景中的能力仍不及人類。
推薦理由：材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式，以及基準表現和真實場景能力的差異，可幫助讀者把握其能力描述的範圍。
Kakao Brain 與 Hugging Face 公開 ViT、ALIGN 視覺語言模型，以及由 700 million 對圖文構成的開源 COYO 資料集。
推薦理由：ViT 與 ALIGN 連同 COYO 訓練資料一併開放，並提供與 Google 版本的任務比較，呈現資料可取得性對視覺語言研究復現的價值。
Hugging Face Blog 示範如何透過 Transformers 使用 CLIPSeg，以文字或參考圖像作為提示，為圖像生成零樣本分割遮罩。CLIPSeg 使用 352 x 352 像素圖像，輸出遮罩分辨率較低；文章示範將預測作為 Segments.ai 的粗略預標註，再人工修正以供後續模型訓練。
Hugging Face 介紹如何以開源模型建立 Document AI 方案，並按任務梳理文件分類、版面分析、文件解析、表格處理及文件問答。文中以 RVL-CDIP 為例，列出 BERT-base、DiT、LayoutLMv3 和 Donut 的文件分類準確率分別為 89%、92% 及 95%，並討論授權、數據準備、微調與評估等實作考量。
推薦理由：文章按文件類型與任務梳理 Document AI 模型選擇，並串連授權、數據準備和評估考量，提供從小規模微調起步的實作思路。
Hugging Face 為 🤗 Datasets 新增音訊與圖像資料集文件，並更新 Quickstart，提供使用 PyTorch 或 TensorFlow 載入及處理資料集的端到端示例。
Hugging Face 多模態學習團隊為研究項目制定倫理章程，把倫理原則納入機器學習研究生命週期。章程列明須防範歧視、侵犯私隱與權利、生成個人識別資料及有害虛假資訊，並警示醫療、法律、金融和移民等高風險用途。文件截至 2022 年 5 月仍在完善，倡議透明、開放可重現、公平、自我批判及尊重貢獻。
OpenAI 發現，CLIP 中有些神經元在同一概念以字面、符號或概念方式呈現時，均會作出反應。這或可解釋 CLIP 為何能準確分類出人意料的概念視覺呈現，也有助理解 CLIP 及類似模型學到的聯想與偏見。