Google 發佈 PaliGemma 2 視覺語言模型
Google 發佈 PaliGemma 2 視覺語言模型,提供 3B、10B、28B 三種規模及 224x224、448x448、896x896 三種輸入解析度。
推薦理由:PaliGemma 2 將前代單一 3B 規格擴展至 3B、10B、28B,並提供三種輸入解析度,呈現下游微調時在品質與效率間選擇的彈性。
Google 發佈 PaliGemma 2 視覺語言模型,提供 3B、10B、28B 三種規模及 224x224、448x448、896x896 三種輸入解析度。
推薦理由:PaliGemma 2 將前代單一 3B 規格擴展至 3B、10B、28B,並提供三種輸入解析度,呈現下游微調時在品質與效率間選擇的彈性。
Hugging Face Blog 發佈 EU AI Act 開源開發者指南,梳理法規對 AI 系統及 GPAI 模型的適用範圍與分級義務。指南聚焦有限風險 AI 系統和非系統性風險開源 GPAI 模型,涵蓋披露 AI 互動、以機器可讀格式標記合成內容、提供訓練內容摘要及尊重版權 opt-out 等要求。
推薦理由:文章區分有限風險 AI 系統與非系統性風險開源 GPAI 模型,梳理透明標示、訓練內容摘要及版權 opt-out 等合規要求。
Hugging Face 發佈 SmolVLM 2B 視覺語言模型系列,提供 Base、Synthetic 和 Instruct 三個版本。模型檢查點、VLM 資料集、訓練配方及工具均採 Apache 2.0 授權開放;模型亦已整合至 transformers。
推薦理由:文中將 SmolVLM 與其他模型的多項基準、GPU 記憶體及吞吐量並列,提供評估小型視覺語言模型效能與資源取捨的依據。
Argilla 2.4 新增免程式 UI 工作流程,讓使用者從 Hugging Face Hub 匯入資料集、配置欄位與問題,再收集人工回饋以整理微調或評測資料。首版只支援公開 Hub 資料集;部署在 Spaces 時,預設啟用 Hugging Face OAuth,讓 Hub 使用者參與標註。
Google DeepMind 與 Hugging Face 宣佈在 Transformers v4.46.0 推出 SynthID Text,讓生成時可加入文字水印,並透過分類器檢測水印。
推薦理由:文章梳理 SynthID Text 從生成端配置到分類器訓練的部署流程,並説明改寫、翻譯與事實性回答對水印效果的限制,便於評估適用場景。
Hugging Face 宣佈與 Protect AI 合作,並將 Guardian 整合至 Hub 掃描套件,所有公開模型倉庫在推送檔案後都會自動接受掃描。
dottxt 與 Hugging Face 合作推出 outlines-core,將 Outlines 的結構化生成核心算法移植至 Rust。項目現已公開並整合至 outlines,Python 綁定版本 0.1.0 已推出,索引編譯速度平均提升 2x。輕量化核心讓其他程式庫更易整合結構化生成,亦可建立 Python 以外語言的綁定。
Stable Diffusion 3.5 Large(8B)及其 timestep 蒸餾版(8B)已在 Hugging Face Hub 提供,並可透過 Diffusers 進行推理與訓練。
推薦理由:文章把 Diffusers 中的量化推理與 LoRA 微調落到具體步驟,並提供在 24GB VRAM 消費級 GPU 上微調 SD3.5 Large 的參考路徑。
Hugging Face 發佈 Transformers.js v3,新增 WebGPU 支援和量化格式選擇,支援架構總數增至 120 種。官方稱 WebGPU 最高可比 WASM 快 100 倍;此版本另提供 25 個示例專案與範本,以及超過 1200 個已轉換模型。
推薦理由:這次更新把 WebGPU、量化格式選擇及 120 種架構納入同一 JavaScript 庫,並兼容 Node.js、Deno、Bun,展示其瀏覽器與伺服器端部署路徑。
Hugging Face 示範以自訂 Docker 映像,將 Speech-to-Speech(S2S)流程部署至 Hugging Face Inference Endpoints。
推薦理由:文章把多模型語音流程拆解為自訂 Docker 映像、端點設定和 WebSocket 音訊服務等步驟,提供部署複雜推理管線時可參照的實作路徑。
Hugging Face Blog 示範以 Dask 和 Coiled 把 FineWeb-Edu 網頁分類流程,從 pandas 本機處理 100 行擴展至雲端多 GPU 處理 211 million 行。
推薦理由:FineWeb-Edu 分類案例呈現了由 pandas 本機小批次測試,擴展至 Dask 與 Coiled 雲端多 GPU 處理 211 million 行資料的完整流程,為大型資料集推理提供可參照的工程做法。
Gradio 5 推出穩定版,讓開發者可用 Python 建構面向生產環境的機器學習網頁應用,並改進效能、介面、即時串流及網絡安全。
推薦理由:Gradio 5 將 SSR、低延遲串流與網絡安全改進納入穩定版,並交代 Gradio 4.x 應用的相容條件,方便開發者評估升級影響。
Hugging Face 推出 Open FinLLM Leaderboard,評估金融大語言模型在金融任務上的表現,並以 zero-shot 測試模型在未經微調任務上的泛化能力。
Meta 發佈 Llama 3.2,共有 10 個開放權重模型,包括 5 個多模態模型和 5 個純文字模型,涵蓋 11B、90B 視覺模型及面向裝置端的 1B、3B 純文字模型。
推薦理由:Llama 3.2 涵蓋 11B、90B 視覺模型與 1B、3B 裝置端純文字模型,並列出 Transformers、llama.cpp 等運行示例,可作為選擇部署路徑的參考。
Hugging Face 介紹 Daily Papers 頁面的功能,包括認領論文、提交社羣推薦論文、與作者討論,以及查看相關模型、數據集和示範。過去一年,Daily Papers 收錄超過 3,700 篇論文,訂閲者超過 12k;只有已認領論文的用户可提交論文,留言支援多種語言並提供內置翻譯。用户可在評論區輸入 @librarian-bot 獲推薦相關論文,亦可訂閲每日更新(週末除外)。
Hugging Face Blog 示範如何用 Optimum-Intel 和 OpenVINO GenAI 優化 Transformers 模型,並部署至邊緣或客户端環境。
Hugging Face 在 Hub 的資料集頁面推出 SQL Console,讓用户直接在瀏覽器以 SQL 查詢和篩選資料集。它由 DuckDB WASM 驅動,不需伺服器或後端;非 Parquet 格式的資料集會自動轉換前 5GB,查詢結果可匯出為 Parquet,公開資料集的結果亦可透過連結分享。
推薦理由:SQL Console 以 DuckDB WASM 在瀏覽器查詢資料集,並示範用 SQL 將 Alpaca 格式轉為對話格式,提供一個可參照的資料整理流程。
HuggingChat 推出 Community Tools,讓使用者可把 Hugging Face 上的公開 Space 轉成模型可直接調用的工具。這些工具可用於理解圖片、生成影片或文字轉語音,也可建立文件 RAG 工具。建立助手時最多可選 3 個工具;該功能目前仍屬實驗階段。
推薦理由:文章展示如何把公開 Space、自建 Gradio 工具和文件 RAG 接入 HuggingChat,並在助手中組合最多 3 個工具,提供從建立到配置的實操路徑。
Hugging Face 發佈 Accelerate 1.0.0 首批候選版本,供社羣在正式版推出前試用及遷移。文章列出多項棄用項目及替代寫法,並提供 `pip install --pre accelerate` 試用方式。Accelerate 支援 CPU、GPU、TPU、XPU、NPU、MLU 六類硬件加速器,並可維持 99% 原有訓練迴圈。
Hugging Face Blog 介紹 Hugging Face Hub 上 5 項常被忽略的工具,並以 Reddit 資料展示自動更新的視覺化語義搜尋流程。
推薦理由:文章以每日更新的 Reddit 資料為例,拆解 Hugging Face Hub 五項工具如何協作,從資料抓取、嵌入向量處理與事件觸發,直到視覺化語義搜尋。
Hugging Face Blog 提供了在 Google Cloud Vertex AI 部署 Meta Llama 3.1 405B Instruct FP8 的操作教程,並示範如何以 Text Generation Inference(TGI)執行線上推理。
Hugging Face 在 Transformers 中提供統一工具調用 API,讓同一套程式碼可跨多個熱門模型系列使用。API 支援 Mistral、Cohere、NousResearch 和 Llama;Transformers 亦加入輔助功能、完整文件與範例,並可將 Python 函式自動轉為 JSON schema。
推薦理由:文章説明統一 API 如何簡化工具定義與聊天紀錄格式,也交代模型輸出的工具呼叫仍需自行解析,呈現目前統一機制的範圍與缺口。
阿布扎比的 Technology Innovation Institute(TII)發佈 Falcon Mamba 7B,這是一款採用純 Mamba 架構、以 TII Falcon Mamba 7B License 1.0 開放存取的模型。
推薦理由:文章並列 Falcon Mamba 的基準表現與長序列生成結果,也説明 sequential prefill 對可處理提示長度的影響。
Hugging Face 宣佈收購 XetHub,並計劃以其技術替換 Hub 現有的 Git LFS 儲存後端。文中舉例,10GB Parquet 檔案新增一行時只需重傳少數區塊;未來修改 GGUF header 的單一 metadata 值,也只需重傳數 KB 的區塊。
推薦理由:XetHub 的分塊與去重技術將用於 Hub 儲存後端,文中的 Parquet 和 GGUF 例子展示小幅修改如何減少大型檔案的重傳量。
Hugging Face Blog 介紹 TextImage Augmentation,這套與 Albumentations AI 合作開發的流程可同步增強文件圖像及其中的文字標註。它可隨機插入、刪除或交換文字,並搭配圖像變換生成多樣化訓練樣本。變更後文字及對應 bounding box 可提取,用於模型訓練。
Hugging Face 示範如何在 Diffusers 中使用 Quanto 量化 Transformer-based diffusion pipeline,以降低推理時的 GPU 記憶體佔用。
推薦理由:文章提供在 Diffusers 中以 Quanto 量化擴散 Transformer 與文字編碼器的操作步驟,並用記憶體和延遲數據呈現精度設定的取捨。
Hugging Face 的 TGI 推出 Multi-LoRA serving,讓單一基礎模型可按請求動態選用不同 LoRA adapter,以一個部署服務多個微調模型。文中以 mistralai/Mistral-7B-v0.1 示範,載入 30 個 adapter 時 VRAM 增幅為 3%;實際可載入數量取決於 GPU 資源和所部署模型。
推薦理由:文章以 TGI 的部署及調用示例,展示單一基礎模型按請求選用不同 LoRA adapter 的做法,並比較多模型部署的成本與擴展管理。
Hugging Face 發佈 Docmatix 文件視覺問答數據集,包含 2.4 million 張圖片及 9.5 million 組問答,規模較先前數據集增加 240X。
Mistral AI 發佈 Mathstral,這款以 Mistral 7B 為基礎、專攻 STEM 的模型面向複雜數學推理。Mathstral 7B 在 MATH 得分 56.6%、MMLU 得分 63.47%;加入多數投票後,MATH 得分為 68.37%,使用強力獎勵模型並在 64 個候選項中評選時為 74.59%。
Hugging Face 發佈 135M、360M 和 1.7B 三種 SmolLM 模型,並公開訓練語料 SmolLM-Corpus。語料包括 28B tokens 的 Cosmopedia v2、4B tokens 的 Python-Edu,以及 220B tokens 的 FineWeb-Edu;三款模型分別以 600B、600B 和 1T tokens 訓練。
推薦理由:文章梳理 SmolLM 的資料集整理流程、訓練配置與各參數級別的基準結果,並列出三種模型規模及本地運行選項,便於比較小型模型的訓練和部署取捨。
Hugging Face Blog 示範如何用 distilabel 為 Argilla 2.0 技術文件建立 RAG 聊天機械人。流程包括從文件建立切塊與合成查詢三元組、微調領域嵌入模型、建立向量資料庫,並將 Gradio 應用部署至 Hugging Face Spaces。聊天互動會記錄在 Argilla,供持續評估與改進。
推薦理由:文章串起文件切塊、合成查詢三元組、微調領域嵌入模型、向量檢索與對話評估,提供一套可複用的文件問答 RAG 實作流程。
Hugging Face 與 KerasHub 宣佈共用模型保存格式,讓 Hugging Face Hub 上部分 Transformers 模型可直接載入 KerasHub。首批涵蓋 Gemma 1、Gemma 2、Llama 3 和 PaliGemma;KerasHub 可透過 TensorFlow、JAX 或 PyTorch 後端運行這些模型。
推薦理由:共享模型保存格式讓受支援架構的 Transformers 模型可直接載入 KerasHub,並透過 TensorFlow、JAX 或 PyTorch 後端運行,呈現跨框架使用的實際路徑。
Hugging Face 正在 Dataset Hub 試驗 Presidio 報告功能,估算資料集內個人識別資訊(PII)的存在情況。Presidio 是開源 PII 偵測工具,透過偵測模式和機器學習模型識別 PII;報告可供使用者在訓練前評估資料集,也讓擁有者檢查 PII 過濾流程。示例報告在預訓練資料集中偵測到少量電郵地址及敏感 PII。
Hugging Face 宣佈,Google Cloud TPU v5e 現已支援 Inference Endpoints 和 Spaces,可用於部署生成式 AI 模型及運行 AI 示範應用。
Banque des Territoires、Polyconseil 與 Hugging Face 完成 EduRénov 首階段合作,開發主權數據 RAG 工具以支援地方政府。EduRénov 旨在協助 10,000 項公立學校設施翻新工程,並在 5 年內實現 40% 能源節省。項目要求確保所用運算服務與模型的主權。
Hugging Face 宣佈為 Dataset Search 加入四項功能,支援按資料模態、行數、格式及相容 library 篩選資料集。行數可設定最低和最高值;對於 metadata 未列出行數的超大型資料集,系統會根據前 5GB 內容估算總行數。新篩選條件可與 Language、Tasks、Licenses 及文字搜尋組合使用。
Google 發佈 Gemma 2,提供 9B 和 27B 兩種參數規模的基礎版與指令微調版,合共四個開放權重模型。Gemma 2 每隔一層採用滑動窗口注意力,其餘層使用全局注意力;9B 模型採用知識蒸餾預訓練。Hugging Face Hub 已提供四個模型,並介紹 Transformers 整合、Inference Endpoints 部署及 TRL 微調示例。
推薦理由:文章並列 Gemma 2 9B 與 Mistral 7B、Llama 3 8B 等模型在 MMLU、GSM8K 等基準的成績,提供小型開放模型效能比較的具體參照。
Hugging Face Blog 示範以 DocVQA 微調 Microsoft 的 Florence-2,使其適配視覺問答任務。訓練 7 個 epochs 後,驗證集 Levenshtein 相似度由 0 升至 57.0。文中提供凍結視覺編碼器、batch size 6 的低資源方案,並記錄以 8 張 H100、batch size 64 微調全模型需時 70 分鐘。
推薦理由:文章以 DocVQA 示範 Florence-2 微調,並列出驗證集表現及不同 GPU 配置,可供評估下游任務適配與訓練資源。
BigCodeBench 團隊發布 BigCodeBench 程式碼生成基準,收錄1,140項函式級任務,涵蓋139個程式庫。基準分為 BigCodeBench-Complete 和 BigCodeBench-Instruct;GPT-4o 的 calibrated Pass@1 分別為61.1%和51.1%。團隊開源任務、測試案例、評測框架及排行榜,並提供 PyPI 安裝方式。
Hugging Face 宣佈 Stable Diffusion 3 Medium(2B parameters)已在 Hugging Face Hub 上提供,並可透過 Diffusers 使用。
推薦理由:文章比較 offloading、移除 T5 與 8-bit T5 的顯存和耗時,並提供 torch.compile 加速與 LoRA 微調腳本,可作為 SD3 推理部署與微調的實作參考,並呈現節省顯存方案的耗時取捨。