Hugging Face 在 TRL 引入 RLOO Trainer，這是一種較 PPO 更易實作、較省 GPU 記憶體的線上 RLHF 訓練方法。測試顯示，RLOO 約比 PPO 少用 50–70% vRAM，1B 模型快 2 倍、6.9B 模型最高快 3 倍；6.9B checkpoint 的 GPT4 評審偏好率為 78.7%（k=2）。
推薦理由：文章對照 RLOO 與 PPO 的 GPU 記憶體用量、訓練速度及回答勝率，並披露 bf16 下 RLOO 有較多批次資料的梯度被清零。
Hugging Face 計劃重新設計 Transformers 文件，令內容更貼合開發者需要，並改善導覽與內容整合。文件原為機器學習工程師與研究人員而寫，後隨文本、LLM及優化等階段逐步擴充，造成內容分散、結構僵化和導覽困難。重設方向是以程式碼示例和解決方案為先，結合初階機器學習概念，並採用可自然擴展的靈活架構。
Hugging Face 宣佈 Embedding Container for Amazon SageMaker 正式 GA，AWS 客户可在 SageMaker 部署嵌入向量模型，支援包括 RAG 在內的生成式 AI 應用。
Artificial Analysis 推出文生圖模型排行榜與 Image Arena，以超過 45,000 次人類圖像偏好計算模型 ELO 排名。排行榜收錄 Midjourney、DALL·E、Stable Diffusion、Playground 等開源及專有模型，評測為每個模型生成超過 700 張圖像。用户可在 Image Arena 投票，投滿 30 票後查看個人化模型排名。
推薦理由：排行榜以超過 45,000 次人類圖像偏好計算 ELO，並涵蓋開源與專有模型，為比較不同文生圖模型提供同一參照。
Cubzh 與 Gigax 推出 NPC-Playground，讓玩家在瀏覽器的 3D 場景中與 LLM 驅動的 NPC 互動，並用 Lua 腳本教授新技能。Gigax 已開源推理堆疊；示範所用模型託管於雲端，微調版 Phi-3 和 Mistral-7B 可從 🤗 Hub 下載。
Hugging Face 為 Intel Gaudi 適配並優化輔助生成，並將支援納入 Optimum Habana。該方法先由草稿模型生成 K 個 tokens，再交由目標模型評估；大型 Transformer 模型通常可提速約 2x，並維持與自回歸採樣相同的採樣品質。
Hugging Face 介紹如何使用 TGI Benchmarking 工具，測量 Text Generation Inference（TGI）在不同 batch size 下的吞吐量與延遲，並據此調整部署設定。
Sentence Transformers 指南示範如何微調嵌入模型以配合特定任務，並説明亦可從頭訓練新模型。內容講解資料集、損失函數、訓練參數、評估器與 Trainer，並示範從 Hugging Face Hub 或本機載入資料及多資料集訓練。文中 AllNLI 三元組範例以餘弦相似度計算，開發集及測試集準確率分別為 90.04% 和 91.5%；訓練前基礎模型的開發集準確率為 68.32%。
推薦理由：文章拆解資料集格式、損失函數、訓練參數、評估器與 Trainer 的配合，並展示多資料集搭配不同損失函數的訓練方式，方便轉用於不同嵌入任務。
Hugging Face Inference Endpoints 新增 AWS Inferentia2 執行個體選項，使用者可從 Hugging Face Hub 部署支援的模型。
Hugging Face Spaces 推出 Dev Mode，讓用户可透過 VS Code 或 SSH 直接連接 Space 並編輯程式碼。功能目前處於 beta，供 PRO 訂閲者使用；修改後可在 Space 點擊「Refresh」測試，無需先推送變更或重建容器。確認修改後，可透過 commit and merge 保存。
Hugging Face 宣佈把 AMD Instinct MI300 整合至平台，透過 Transformers、text-generation-inference 等工具部署模型時無需改動程式碼。
推薦理由：文章比較 Azure MI300X 與 MI250 執行 Llama 3 70B 推理和微調的結果，並公開基準程式碼，便於核對性能差異及復現測試。
Hugging Face 宣佈推出 Dell Enterprise Hub，讓企業透過 Dell 平台在本地訓練和部署開源模型。平台提供包括 Llama 3、Mixtral 和 Gemma 在內的精選開源模型，可按授權或模型大小篩選，並查看模型資訊及適用的 Dell 平台。
Hugging Face 與 Microsoft 宣佈加深合作，擴充 Azure AI Studio 中可一鍵部署的 Hugging Face Collection，並推出 Spaces Dev Mode。
Hugging Face 將 KV cache 量化功能加入 Transformers，以較低精度儲存快取，減少長文本生成的記憶體佔用。int4 快取約帶來 x2.5 記憶體節省，品質接近 fp16，但較高 batch size 下生成速度會下降。
Google 發佈 PaliGemma，一系列可接收圖像與文字並輸出文字的開源視覺語言模型。模型結合 SigLIP-So400m 圖像編碼器與 Gemma-2B 文字解碼器，提供 PT、Mix、FT 三類檢查點及 224x224、448x448、896x896 三種解像度。PaliGemma 是單輪模型，不適用於對話；Mix 檢查點適合以自由文字提示進行通用推理，但僅供研究用途。
推薦理由：文章整理 PT、Mix、FT 檢查點的用途，並指出高解像度會增加記憶體需求、多數任務的質素提升有限，有助按任務需要選擇模型。
Hugging Face 發佈 Transformers Agents 2.0，新增 ReactCodeAgent 和 ReactJsonAgent，能根據過往觀察迭代。框架以簡潔、模組化，以及工具和提示詞透明為設計目標。使用 Llama-3-70B-Instruct 的智能體在完整 GAIA 基準中排名第 4，超越多個基於 GPT-4 的智能體。
推薦理由：文中比較 Code 與 JSON 智能體在不同模型上的表現，並展示 Llama-3-70B-Instruct 智能體於 GAIA 的名次，可作為評估 Agent 架構與模型搭配的具體參照。
Hugging Face Blog 示範以 Intel Xeon CPU 運行嵌入模型、以 Intel Gaudi 2 運行 LLM，並透過 LangChain、Redis 和 TGI 構建及部署企業級 RAG 應用。
Hugging Face 現可讓組織透過 AWS 帳户，在 AWS Marketplace 訂閲並升級至 Enterprise Hub，費用由 AWS 帳户管理。
Hugging Face 推出專為希伯來語 LLM 設計的開放排行榜，以語言專屬基準評估模型對希伯來語的理解與生成能力。排行榜涵蓋希伯來語問答、情感準確度、Winograd Schema Challenge 及英希互譯四項任務，採用 few-shot 提示詞；提交模型會透過 HuggingFace Inference Endpoints 部署，並由 lighteval 經 API 評估。
Hugging Face 引入 Artificial Analysis LLM Performance Leaderboard，集中比較逾 100 個無伺服器 LLM API 端點的品質、價格與速度。
推薦理由：榜單把逾 100 個無伺服器 LLM API 端點的品質、價格與速度指標集中呈現，並以多種提示長度和並行查詢組合供工程師比較。
Hugging Face 示範透過自訂 inference handler，在 Hugging Face Inference Endpoints 將 ASR、説話人分離與推測解碼整合至單一 API endpoint。
推薦理由：文章展示如何把 ASR、説話人分離與推測解碼組成單一端點，並以長短音訊基準説明推測解碼的效益會隨輸入長度改變。
StarCoder2-15B-Instruct-v0.1 採用全透明、寬鬆授權的自對齊流程訓練，未使用人工標註或大型專有 LLM 的蒸餾數據。流程以 StarCoder2-15B 從 The Stack V1 的種子函數生成指令，並透過沙箱執行測試篩選回答，最終形成包含 50k 組指令與回答的 SFT 數據集。
推薦理由：文章梳理了從 The Stack V1 種子函數生成指令，再以執行測試篩選回答的自對齊流程，説明程式碼模型如何利用自身生成數據進行微調。
Hugging Face 推出 Open CoT Leaderboard，透過比較 LLM 使用與不使用 CoT 提示時的準確率差值，衡量 CoT 帶來的準確率增益。
Open Medical-LLM Leaderboard 為醫療大語言模型提供標準化評測平台，按多種醫療任務與資料集比較表現。平台以準確率為主要指標，涵蓋 MedQA、MedMCQA、PubMedQA 及 MMLU 的醫學與生物學子集。
Meta 發佈開源大語言模型 Llama 3，提供 8B、70B 兩種參數規模，各有 base 與指令微調版本。模型上下文窗口為 8K tokens，另有以 Llama 3 8B 微調的 Llama Guard 2；授權允許再分發、微調和衍生作品，並要求衍生模型名稱以 Llama 3 開頭，衍生作品或服務標示 Built with Meta Llama 3。
推薦理由：文章梳理了 Llama 3 的型號、授權要求，以及 Hugging Face 上的推理部署和微調入口，呈現從模型取得到實際使用的主要路徑。
Zama 團隊示範如何透過 Hugging Face Endpoints 部署 Concrete ML 預編譯模型，讓使用者在加密資料上執行推理。文章以垃圾郵件決策樹為例，説明 Endpoint 部署、客户端設定及自製預編譯模型的流程。文中指出，CPU Endpoint 當時最多提供 8 vCPU 和 16 GB RAM，FHE 評估密鑰存於 Endpoint 的 RAM，重啟後需要重新傳送。
LiveCodeBench Leaderboard 推出，基於 UC Berkeley、MIT 和 Cornell 研究人員開發的 LiveCodeBench 基準評估程式碼大語言模型。
Ryght 藉助 Hugging Face 的專家支援，打造面向醫療及生命科學領域的生成式 AI 平台。平台採用可插拔 LLM 架構，並整合 TGI、TEI 及 Inference Endpoints，支援模型切換與開源嵌入模型服務。Ryght Preview 已向生命科學從業者公開，並以免費、安全平台提供。
Gradio reload mode 可在不重啟 Gradio server 的情況下載入來源檔案的最新變更，文章以此快速構建 AI 文件問答應用。
推薦理由：文章透過文件問答應用示範 Gradio reload mode，並説明如何用 gr.NO_RELOAD 保留客户端，減少開發迭代時重建資源的等待。
Hugging Face 發佈 Idefics2，這款 8B 參數多模態模型可接收文字與圖像序列並生成文字回應。模型權重採 Apache-2.0 授權，並已整合至 Transformers，支援圖像問答、OCR、圖表與文件理解。團隊亦公開 The Cauldron，收錄 50 個人工整理、供多輪對話使用的資料集。
推薦理由：Idefics2 同時公開 8B 權重、Apache-2.0 授權與多項視覺問答基準成績，便於對照小型多模態模型的效能表現和使用條件。
Hugging Face 推出 Deploy on Google Cloud 整合，讓用户可把 Hub 上的開放模型部署至 Vertex AI 或 GKE。所有帶有「text-generation-inference」標籤的模型均獲支援；Vertex Model Garden 提供數百個熱門開放 LLM 的即用測試硬件配置。
推薦理由：這項整合串起 Hugging Face 模型探索與 Google Cloud 部署，並為數百個熱門開放 LLM 提供測試硬件配置，呈現更直接的雲端部署流程。
Google 發佈面向程式碼的大語言模型家族 CodeGemma，推出 2B base、7B base 和 7B instruct 三種版本。模型以 Gemma checkpoint 為基礎，額外訓練 500 billion tokens，三款模型均採用 8K token 上下文窗口。
推薦理由：文章交代 CodeGemma 三種版本的用途，並列出 HumanEval 表現及 Hugging Face 的部署與量化整合，方便比較版本定位、基準表現和使用路徑。
Hugging Face 宣佈與 Wiz 合作，提升其平台及整體 AI/ML 生態的安全性。Wiz 研究團隊利用 pickle 在 Hugging Face 的沙盒計算環境中執行任意程式碼，發現環境缺陷；Hugging Face 表示已修復所有與 exploit 相關問題。
Hugging Face Blog 示範以 DuckDB-NSQL-7B 結合 Hugging Face Dataset Viewer API 和 DuckDB，將自然語言問題轉為 SQL 查詢資料集中的資料。
Hugging Face Blog 示範使用 🤗 Optimum Intel 對 SetFit 模型進行靜態訓練後量化，在 Intel Xeon CPU 上推理時，最高吞吐量較原始 Transformers fp32 模型提升 7.8x。
Lighthouz AI 與 Hugging Face 推出 Chatbot Guardrails Arena，讓社羣以對抗式對話測試聊天機械人防止敏感資料外洩的能力。
Hugging Face 發佈 Cosmopedia，這套合成數據集旨在重現 Phi-1.5 的訓練數據，供大語言模型預訓練使用。
推薦理由：文章拆解 Cosmopedia 從種子資料、提示詞擴展到去污染與訓練的流程，並交代如何藉由受眾和文體變化擴大提示詞規模。
Argilla 與 Hugging Face 發起 Data is Better Together 實驗，透過社羣協作建立提示詞排序偏好資料集，並邀請社羣加入首批共建項目。
BigCode 發佈 StarCoder2 開放程式碼大語言模型系列，提供 3B、7B 和 15B 三種規模。其中，StarCoder2-15B 使用 The Stack v2 的 4+ trillion tokens 訓練，涵蓋 600+ 程式語言。
推薦理由：StarCoder2 同步公開模型、The Stack v2 數據集及訓練程式碼，並按倉庫組織訓練資料，呈現程式碼模型與數據建設的完整鏈路。
Hugging Face 推出 TTS Arena，讓用户輸入文字、盲聽兩個文字轉語音模型合成的語音，並投票選出聽起來較自然的一方。模型名稱會在投票提交後揭示，結果將按類似 Elo 評分系統的算法生成公開排行榜，累積足夠票數後模型才會逐步顯示。啟動時納入 ElevenLabs（專有）、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS。