Hugging Face 的 TGI 推出 Multi-LoRA serving，讓單一基礎模型可按請求動態選用不同 LoRA adapter，以一個部署服務多個微調模型。文中以 mistralai/Mistral-7B-v0.1 示範，載入 30 個 adapter 時 VRAM 增幅為 3%；實際可載入數量取決於 GPU 資源和所部署模型。
推薦理由：文章以 TGI 的部署及調用示例，展示單一基礎模型按請求選用不同 LoRA adapter 的做法，並比較多模型部署的成本與擴展管理。
OpenAI 為 ChatGPT Enterprise 新增合規與管理工具，支援大規模合規計劃、資料安全及使用者存取管理。工具包括 Compliance API 整合、SCIM 及 GPT 控制項。
Hugging Face 發佈 Docmatix 文件視覺問答數據集，包含 2.4 million 張圖片及 9.5 million 組問答，規模較先前數據集增加 240X。
Hugging Face 與 KerasHub 宣佈共用模型保存格式，讓 Hugging Face Hub 上部分 Transformers 模型可直接載入 KerasHub。首批涵蓋 Gemma 1、Gemma 2、Llama 3 和 PaliGemma；KerasHub 可透過 TensorFlow、JAX 或 PyTorch 後端運行這些模型。
推薦理由：共享模型保存格式讓受支援架構的 Transformers 模型可直接載入 KerasHub，並透過 TensorFlow、JAX 或 PyTorch 後端運行，呈現跨框架使用的實際路徑。
Hugging Face 正在 Dataset Hub 試驗 Presidio 報告功能，估算資料集內個人識別資訊（PII）的存在情況。Presidio 是開源 PII 偵測工具，透過偵測模式和機器學習模型識別 PII；報告可供使用者在訓練前評估資料集，也讓擁有者檢查 PII 過濾流程。示例報告在預訓練資料集中偵測到少量電郵地址及敏感 PII。
Hugging Face 宣佈，Google Cloud TPU v5e 現已支援 Inference Endpoints 和 Spaces，可用於部署生成式 AI 模型及運行 AI 示範應用。
Hugging Face 宣佈為 Dataset Search 加入四項功能，支援按資料模態、行數、格式及相容 library 篩選資料集。行數可設定最低和最高值；對於 metadata 未列出行數的超大型資料集，系統會根據前 5GB 內容估算總行數。新篩選條件可與 Language、Tasks、Licenses 及文字搜尋組合使用。
Color Health 正與 OpenAI 合作，探索運用 GPT-4o 加快癌症患者獲得治療的新方式。其 Cancer Copilot 應用程式可識別缺失的診斷項目並制定個人化檢查方案，協助醫療提供者就癌症篩查與治療作出循證決策。
Hugging Face 在 TRL 引入 RLOO Trainer，這是一種較 PPO 更易實作、較省 GPU 記憶體的線上 RLHF 訓練方法。測試顯示，RLOO 約比 PPO 少用 50–70% vRAM，1B 模型快 2 倍、6.9B 模型最高快 3 倍；6.9B checkpoint 的 GPT4 評審偏好率為 78.7%（k=2）。
推薦理由：文章對照 RLOO 與 PPO 的 GPU 記憶體用量、訓練速度及回答勝率，並披露 bf16 下 RLOO 有較多批次資料的梯度被清零。
Hugging Face 計劃重新設計 Transformers 文件，令內容更貼合開發者需要，並改善導覽與內容整合。文件原為機器學習工程師與研究人員而寫，後隨文本、LLM及優化等階段逐步擴充，造成內容分散、結構僵化和導覽困難。重設方向是以程式碼示例和解決方案為先，結合初階機器學習概念，並採用可自然擴展的靈活架構。
Hugging Face 宣佈 Embedding Container for Amazon SageMaker 正式 GA，AWS 客户可在 SageMaker 部署嵌入向量模型，支援包括 RAG 在內的生成式 AI 應用。
Artificial Analysis 推出文生圖模型排行榜與 Image Arena，以超過 45,000 次人類圖像偏好計算模型 ELO 排名。排行榜收錄 Midjourney、DALL·E、Stable Diffusion、Playground 等開源及專有模型，評測為每個模型生成超過 700 張圖像。用户可在 Image Arena 投票，投滿 30 票後查看個人化模型排名。
推薦理由：排行榜以超過 45,000 次人類圖像偏好計算 ELO，並涵蓋開源與專有模型，為比較不同文生圖模型提供同一參照。
Mistral AI 在 la Plateforme 推出模型客製化方案，提供自有基礎設施微調 SDK、無伺服器微調服務和客製訓練三種入口。開源工具 mistral-finetune 採用 LoRA 訓練範式；平台微調服務目前支援 Mistral 7B 和 Mistral Small，並使用 LoRA adapters，以保留基礎模型知識及提升服務效率。
推薦理由：Mistral AI 同時提供開源微調 SDK、la Plateforme 無伺服器微調服務及客製訓練，呈現不同基礎設施與資料需求下的模型調整途徑。
Cubzh 與 Gigax 推出 NPC-Playground，讓玩家在瀏覽器的 3D 場景中與 LLM 驅動的 NPC 互動，並用 Lua 腳本教授新技能。Gigax 已開源推理堆疊；示範所用模型託管於雲端，微調版 Phi-3 和 Mistral-7B 可從 🤗 Hub 下載。
Hugging Face 為 Intel Gaudi 適配並優化輔助生成，並將支援納入 Optimum Habana。該方法先由草稿模型生成 K 個 tokens，再交由目標模型評估；大型 Transformer 模型通常可提速約 2x，並維持與自回歸採樣相同的採樣品質。
OpenAI 推出新計劃，旨在提升非牟利機構使用其工具的可及性，並為 ChatGPT Team 和 Enterprise 提供折扣。
OpenAI 提供面向大學的平價方案，協助校園以負責任的方式引入 AI。
面向 AI 時代的新軟件公司 MavenAGI 推出一款以 GPT-4 的靈活性為基礎打造的 AI 客户服務智能體。Tripadvisor、Clickup 和 Rho 等公司已使用該智能體節省時間，並更好地服務客户。
Hugging Face Inference Endpoints 新增 AWS Inferentia2 執行個體選項，使用者可從 Hugging Face Hub 部署支援的模型。
Hugging Face Spaces 推出 Dev Mode，讓用户可透過 VS Code 或 SSH 直接連接 Space 並編輯程式碼。功能目前處於 beta，供 PRO 訂閲者使用；修改後可在 Space 點擊「Refresh」測試，無需先推送變更或重建容器。確認修改後，可透過 commit and merge 保存。
Hugging Face 宣佈把 AMD Instinct MI300 整合至平台，透過 Transformers、text-generation-inference 等工具部署模型時無需改動程式碼。
推薦理由：文章比較 Azure MI300X 與 MI250 執行 Llama 3 70B 推理和微調的結果，並公開基準程式碼，便於核對性能差異及復現測試。
Hugging Face 宣佈推出 Dell Enterprise Hub，讓企業透過 Dell 平台在本地訓練和部署開源模型。平台提供包括 Llama 3、Mixtral 和 Gemma 在內的精選開源模型，可按授權或模型大小篩選，並查看模型資訊及適用的 Dell 平台。
Hugging Face 與 Microsoft 宣佈加深合作，擴充 Azure AI Studio 中可一鍵部署的 Hugging Face Collection，並推出 Spaces Dev Mode。
OpenAI 改進 ChatGPT 數據分析功能，加入表格和圖表互動能力。用户可直接從 Google Drive 和 Microsoft OneDrive 添加檔案。
推薦理由：更新將表格與圖表互動、直接從 Google Drive 和 Microsoft OneDrive 添加檔案納入 ChatGPT 數據分析，呈現這次功能改進涵蓋的操作範圍。
Hugging Face 將 KV cache 量化功能加入 Transformers，以較低精度儲存快取，減少長文本生成的記憶體佔用。int4 快取約帶來 x2.5 記憶體節省，品質接近 fp16，但較高 batch size 下生成速度會下降。
Hugging Face 發佈 Transformers Agents 2.0，新增 ReactCodeAgent 和 ReactJsonAgent，能根據過往觀察迭代。框架以簡潔、模組化，以及工具和提示詞透明為設計目標。使用 Llama-3-70B-Instruct 的智能體在完整 GAIA 基準中排名第 4，超越多個基於 GPT-4 的智能體。
推薦理由：文中比較 Code 與 JSON 智能體在不同模型上的表現，並展示 Llama-3-70B-Instruct 智能體於 GAIA 的名次，可作為評估 Agent 架構與模型搭配的具體參照。
Hugging Face 現可讓組織透過 AWS 帳户，在 AWS Marketplace 訂閲並升級至 Enterprise Hub，費用由 AWS 帳户管理。
OpenAI 推出新技術，協助研究人員識別由其工具生成的內容。OpenAI 亦加入 Coalition for Content Provenance and Authenticity Steering Committee，以推動業界標準。
OpenAI 説明其對數據與 AI 的方針，並介紹一款面向創作者及內容所有者的全新 Media Manager。ChatGPT 推出一年多後，AI 正改變人們的生活、工作與學習方式，亦引發關於 AI 時代數據的重要討論；OpenAI 並談及未來方向。
Hugging Face 引入 Artificial Analysis LLM Performance Leaderboard，集中比較逾 100 個無伺服器 LLM API 端點的品質、價格與速度。
推薦理由：榜單把逾 100 個無伺服器 LLM API 端點的品質、價格與速度指標集中呈現，並以多種提示長度和並行查詢組合供工程師比較。
OpenAI 推出 ChatGPT API 和 Whisper API。
OpenAI 宣佈 GPT-4 API 正式開放使用，並表示 GPT-3.5 Turbo、DALL·E 和 Whisper APIs 亦已正式開放。OpenAI 同時公佈 Completions API 舊模型的棄用計劃，稱相關舊模型將於 2024 年初退役。
推薦理由：公告並列 GPT-4 API 等服務的正式可用狀態與 Completions API 舊模型退役安排，讀者可據此辨識不同 API 的變更範圍。
OpenAI 為 API 客户增加企業級支援，涵蓋更多安全功能與控制措施、Assistants API 更新，以及更好管理成本的工具。
Hugging Face 推出 Open CoT Leaderboard，透過比較 LLM 使用與不使用 CoT 提示時的準確率差值，衡量 CoT 帶來的準確率增益。
Ryght 藉助 Hugging Face 的專家支援，打造面向醫療及生命科學領域的生成式 AI 平台。平台採用可插拔 LLM 架構，並整合 TGI、TEI 及 Inference Endpoints，支援模型切換與開源嵌入模型服務。Ryght Preview 已向生命科學從業者公開，並以免費、安全平台提供。
Hugging Face 推出 Deploy on Google Cloud 整合，讓用户可把 Hub 上的開放模型部署至 Vertex AI 或 GKE。所有帶有「text-generation-inference」標籤的模型均獲支援；Vertex Model Garden 提供數百個熱門開放 LLM 的即用測試硬件配置。
推薦理由：這項整合串起 Hugging Face 模型探索與 Google Cloud 部署，並為數百個熱門開放 LLM 提供測試硬件配置，呈現更直接的雲端部署流程。
OpenAI 為微調 API 增添新功能，並擴展自訂模型計劃，提供更多建立自訂模型的方式。新功能旨在讓開發者更能掌控微調。
OpenAI 讓用户無須註冊即可開始使用 ChatGPT。此舉旨在讓更多人更容易體驗 AI 帶來的益處。
推薦理由：這項免註冊安排聚焦 ChatGPT 的使用入口，呈現 OpenAI 如何降低初次體驗 AI 的前置門檻，並讓更多人更容易接觸產品。
OpenAI 分享從 Voice Engine 小規模預覽中汲取的經驗。Voice Engine 是一款用於建立自訂語音的模型。
OpenAI 自上月向全球介紹 Sora 後，一直與藝術家合作，瞭解 Sora 如何在創作過程中為他們提供協助。