Hugging Face 將 AMD Instinct MI300 整合至平台並支援模型部署
Hugging Face 宣佈把 AMD Instinct MI300 整合至平台，透過 Transformers、text-generation-inference 等工具部署模型時無需改動程式碼。
推薦理由：文章比較 Azure MI300X 與 MI250 執行 Llama 3 70B 推理和微調的結果，並公開基準程式碼，便於核對性能差異及復現測試。
#部署/工程
#部署/工程
今日 5 條Hugging Face Blog精選AI 評分6666 Hugging Face BlogAI 評分5757 Dell Enterprise Hub 支援企業在本地訓練及部署開源模型
Hugging Face 宣佈推出 Dell Enterprise Hub，讓企業透過 Dell 平台在本地訓練和部署開源模型。平台提供包括 Llama 3、Mixtral 和 Gemma 在內的精選開源模型，可按授權或模型大小篩選，並查看模型資訊及適用的 Dell 平台。
Hugging Face BlogAI 評分5959 Hugging Face 與 Microsoft 加深合作，擴充 Azure 模型部署並推出 Spaces Dev Mode
Hugging Face 與 Microsoft 宣佈加深合作，擴充 Azure AI Studio 中可一鍵部署的 Hugging Face Collection，並推出 Spaces Dev Mode。
Hugging Face BlogAI 評分5656 Hugging Face 在 Transformers 加入 KV cache 量化功能，降低長文本生成的記憶體佔用
Hugging Face 將 KV cache 量化功能加入 Transformers，以較低精度儲存快取，減少長文本生成的記憶體佔用。int4 快取約帶來 x2.5 記憶體節省，品質接近 fp16，但較高 batch size 下生成速度會下降。
Hugging Face BlogAI 評分5353 使用 Intel Gaudi 2 和 Intel Xeon 構建具成本效益的企業級 RAG 應用
Hugging Face Blog 示範以 Intel Xeon CPU 運行嵌入模型、以 Intel Gaudi 2 運行 LLM，並透過 LangChain、Redis 和 TGI 構建及部署企業級 RAG 應用。
Hugging Face BlogAI 評分4141 使用 AWS 帳户訂閲 Hugging Face Enterprise Hub
Hugging Face 現可讓組織透過 AWS 帳户，在 AWS Marketplace 訂閲並升級至 Enterprise Hub，費用由 AWS 帳户管理。
Hugging Face Blog精選AI 評分6262 Hugging Face Inference Endpoints 部署 ASR、説話人分離與推測解碼流程
Hugging Face 示範透過自訂 inference handler，在 Hugging Face Inference Endpoints 將 ASR、説話人分離與推測解碼整合至單一 API endpoint。
推薦理由：文章展示如何把 ASR、説話人分離與推測解碼組成單一端點，並以長短音訊基準説明推測解碼的效益會隨輸入長度改變。
OpenAI NewsAI 評分4444 OpenAI 為 API 客户推出更多企業級功能
OpenAI 為 API 客户增加企業級支援，涵蓋更多安全功能與控制措施、Assistants API 更新，以及更好管理成本的工具。
Hugging Face BlogAI 評分5959 Zama 示範如何透過 Hugging Face Endpoints 對加密資料執行推理
Zama 團隊示範如何透過 Hugging Face Endpoints 部署 Concrete ML 預編譯模型，讓使用者在加密資料上執行推理。文章以垃圾郵件決策樹為例，説明 Endpoint 部署、客户端設定及自製預編譯模型的流程。文中指出，CPU Endpoint 當時最多提供 8 vCPU 和 16 GB RAM，FHE 評估密鑰存於 Endpoint 的 RAM，重啟後需要重新傳送。
Hugging Face Blog精選AI 評分6262 如何用 Gradio reload mode 快速構建 AI 應用
Gradio reload mode 可在不重啟 Gradio server 的情況下載入來源檔案的最新變更，文章以此快速構建 AI 文件問答應用。
推薦理由：文章透過文件問答應用示範 Gradio reload mode，並説明如何用 gr.NO_RELOAD 保留客户端，減少開發迭代時重建資源的等待。
Hugging Face Blog精選AI 評分6464 Hugging Face 推出 Deploy on Google Cloud，讓開放模型可部署至 Vertex AI 和 GKE
Hugging Face 推出 Deploy on Google Cloud 整合，讓用户可把 Hub 上的開放模型部署至 Vertex AI 或 GKE。所有帶有「text-generation-inference」標籤的模型均獲支援；Vertex Model Garden 提供數百個熱門開放 LLM 的即用測試硬件配置。
推薦理由：這項整合串起 Hugging Face 模型探索與 Google Cloud 部署，並為數百個熱門開放 LLM 提供測試硬件配置，呈現更直接的雲端部署流程。
Hugging Face BlogAI 評分5454 🤗 Optimum Intel 加速 SetFit 在 Xeon 上的推理
Hugging Face Blog 示範使用 🤗 Optimum Intel 對 SetFit 模型進行靜態訓練後量化，在 Intel Xeon CPU 上推理時，最高吞吐量較原始 Transformers fp32 模型提升 7.8x。
Hugging Face Blog精選AI 評分6363 Hugging Face 推出 TGI Messages API，兼容 OpenAI Chat Completion API
Hugging Face 宣佈 TGI 自 1.4.0 起提供兼容 OpenAI Chat Completion API 的 Messages API，並將其提供於 Inference Endpoints。
推薦理由：文中以 Python、JavaScript、LangChain 和 LlamaIndex 示範如何沿用 OpenAI 相容介面接入開放模型，並交代 function calling 等限制。
Mistral AI精選AI 評分7272 Mistral AI 開放 La Plateforme 平台服務 Beta，提供生成與嵌入 API 端點
Mistral AI 開放 La Plateforme 首批平台服務的 Beta，提供三個文字生成聊天端點及一個嵌入端點，並支援透過 API 呼叫。
推薦理由：平台把不同成本與效能取捨的生成端點，連同嵌入服務及 API 接入放在同一入口，呈現其面向開發者部署的服務組合。
Hugging Face BlogAI 評分5151 Hugging Face Hub 推出 Storage Regions，支援組織選擇模型與資料集儲存區域
Hugging Face Hub 為 Enterprise Hub 推出 Storage Regions，讓組織選擇模型與資料集的儲存區域。Enterprise Hub 組織可查看現有儲存庫所在區域，並選擇新儲存庫的區域；目前支援 US、EU，亞太區即將推出。
Hugging Face Blog精選AI 評分7070 探索 SDXL 推理速度與記憶體的簡單優化方法
Hugging Face 在 🤗 Diffusers 中測試多種 SDXL 推理優化方法，並於 A100 GPU（40 GB）比較其記憶體佔用和推理延遲。未優化管線為 28.09GB、72,200.5ms；fp16 + SDPA 降至 21.72GB、11,413.0ms，加入 torch.compile 後延遲為 10,296.7ms。
推薦理由：文章以 A100 測試數據對照 SDXL 加速與省記憶體方案的取捨，並説明 Tiny Autoencoder 可能省略部分圖像細節，提供按硬件限制與生成用途選擇配置的參考。
Hugging Face Blog精選AI 評分6161 Hugging Face 推出 Inference for PROs，開放精選模型 API 端點
Hugging Face 推出 Inference for PROs，為 PRO 用户開放精選模型的專屬 API 端點，並提高免費 Inference API 的使用速率限制。服務提供可直接使用的 HTTP 端點，方便試驗及原型開發；文章指出它不適合重型生產應用，並建議此類用途使用 Inference Endpoints。
推薦理由：文中列出 PRO 可用的精選模型、端點呼叫方式及服務不適用於重型生產應用的邊界，便於評估其原型測試用途。
Hugging Face BlogAI 評分5959 AudioLDM 2 推理優化教程：在 Diffusers 中將音頻生成時間縮短至不足 1 秒
Hugging Face Blog 示範在 Diffusers 中優化 AudioLDM 2 推理，將 10.24 秒音頻樣本的生成時間由約 14 秒縮短至不足 1 秒，音質下降幅度輕微。
Hugging Face Blog精選AI 評分7676 Hugging Face 將 AutoGPTQ 整合至 Transformers，支援大語言模型 GPTQ 量化
Hugging Face 將 AutoGPTQ 整合至 Transformers，支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略，小批次推理速度與 fp16 基準相若；整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。
推薦理由：文章列出 4-bit 量化的精度變化與小批次推理速度，並説明 GPU 支援範圍及 TGI 大批次下的速度限制，呈現 GPTQ 的部署取捨。
Hugging Face BlogAI 評分5757 Hugging Face 推出企業程式碼助手方案 SafeCoder
Hugging Face 推出 SafeCoder 企業程式碼助手方案，讓客户在自家基礎設施訓練及部署，程式碼於訓練和推理期間不離開 VPC。SafeCoder 初始版本以 StarCoder 為基礎，可按客户私有程式碼庫微調；程式碼補全建議會對照 The Stack，顯示其是否匹配資料集中的程式碼及相關授權。SafeCoder 與 VMware 合作推出，現向 VMware 企業客户提供。
Hugging Face BlogAI 評分4747 Hugging Face Hub 登陸 AWS Marketplace：可透過 AWS 帳户付款
Hugging Face 將 Hugging Face Hub 上架 AWS Marketplace，組織可透過 AWS 帳户訂閲並支付 Hugging Face 託管服務的用量費用。Inference Endpoints、Spaces Hardware Upgrades 和 AutoTrain 等服務的費用會併入 AWS 帳單，定價與 Hugging Face 公開價格相同。
Hugging Face Blog精選AI 評分6262 如何用 Transformers.js 製作即時機器學習網頁遊戲 Doodle Dash
Hugging Face Blog 作者以 Transformers.js 製作 Doodle Dash，並示範如何構建可在瀏覽器本地運行的即時機器學習遊戲。遊戲模型以 Google Quick, Draw!
推薦理由：文章串連 Quick, Draw! 數據微調、ONNX 轉換與 Transformers.js 瀏覽器推理，呈現把圖像分類模型接入即時網頁遊戲的實作路徑。
Hugging Face BlogAI 評分5858 使用 Hugging Face Inference Endpoints 部署開源 LLM
Hugging Face Blog 示範如何使用 Hugging Face Inference Endpoints 部署開源 LLM，並以 API 提供服務。示範以 Falcon 40B instruct 建立端點、測試生成參數，並透過 Python 和 JavaScript 串流生成結果。
Hugging Face BlogAI 評分1717 運用 Hugging Face 處理複雜生成式 AI 用例
Jeff Boudier 與 Writer 聯合創辦人兼 CTO Waseem Alshikh 對談，探討 Writer 運用 Hugging Face 處理複雜生成式 AI 用例。
Hugging Face BlogAI 評分4545 將 Livebook 筆記本部署為 Hugging Face Spaces 應用程式
Livebook 可將筆記本部署為 Hugging Face Spaces 應用程式；示範以 Elixir 建立由 Whisper 機器學習模型驅動的語音聊天應用。應用只接受音訊訊息，並由 Whisper 自動轉成文字，整個示範流程不到 15 分鐘。Livebook 是開源的 Elixir 互動式程式碼筆記本，也可在 Spaces 免費執行，供使用者編寫及試驗筆記本。
Hugging Face BlogAI 評分4949 Hugging Face 與 AMD 合作，提升 CPU 和 GPU 平台上的最先進模型效能
Hugging Face 與 AMD 宣佈合作，提升 AMD CPU、GPU 平台上 Transformer 模型的訓練與推理效能。AMD 表示，初步測試中 MI250 訓練 BERT-Large 的速度較直接競爭對手快 1.2x，訓練 GPT2-Large 快 1.4x。
Hugging Face BlogAI 評分5757 Hugging Face 推出適用於 Amazon SageMaker 的 LLM Inference Container
Hugging Face 推出適用於 Amazon SageMaker 的 LLM Inference DLC，讓用户在安全、受管理的環境中部署開源 LLM。文章以 Open Assistant 12B 示範使用 ml.g5.12xlarge（4 張 NVIDIA A10G GPU、96GB GPU 記憶體）部署模型、執行推理並建立 Gradio 聊天介面。
Hugging Face BlogAI 評分5757 Hugging Face 與 Microsoft 合作在 Azure Machine Learning 推出 Hugging Face Model Catalog
Hugging Face 與 Microsoft 將 Hugging Face Hub 的開源模型目錄原生整合至 Azure Machine Learning Studio，讓用户可將模型部署到受管端點。
Hugging Face BlogAI 評分5454 Hugging Face Unity API 安裝與使用指南
Hugging Face Blog 示範如何在 Unity 專案安裝及使用 Hugging Face Unity API，透過 Hugging Face Inference API 呼叫模型。
Hugging Face BlogAI 評分3232 Snorkel AI 攜手 Hugging Face，助企業善用基礎模型
Snorkel AI 與 Hugging Face 合作，透過 Hugging Face Inference Endpoints 擴展 Snorkel Flow 可用的基礎模型，協助企業開發 AI 應用。
OpenAI NewsAI 評分4141 Stripe 利用 GPT-4 簡化使用者體驗並打擊欺詐
Stripe 利用 GPT-4 簡化使用者體驗並打擊欺詐。
Hugging Face BlogAI 評分5656 Hugging Face 與 AWS 擴大策略合作，讓 AI 更易普及
Hugging Face 與 Amazon Web Services（AWS）擴大長期策略合作，讓開發者更容易在 AWS 上訓練、微調及部署機器學習模型。用户可在 Amazon SageMaker 和 EC2 上，只需幾下點擊便微調及部署 Hugging Face 模型，並使用 AWS Trainium 和 AWS Inferentia 加速器。
Hugging Face BlogAI 評分5757 Concrete-ML 教程：如何以同態加密進行情感分析
Hugging Face Blog 示範以 Concrete-ML 建立同態加密情感分析流程，讓伺服器可在不解密資料的情況下預測加密文本表徵。流程由客户端以 Transformer 產生文本表徵，再交由 XGBoost 分類；文章報告模型準確率為 85%，高於 Transformer 本身的 80%，FHE 推理在 16 核 CPU 上每例需 4.4 秒。
Hugging Face BlogAI 評分5858 如何使用 Optimum Intel 和 OpenVINO 加速模型推理
Hugging Face 宣佈 Optimum Intel 整合 Intel OpenVINO，可透過 OpenVINO Runtime 在多種 Intel 處理器上推理 Transformers 模型，並使用 NNCF 量化多種 encoder 模型。
Hugging Face BlogAI 評分5656 從 PyTorch DDP 到 Accelerate 再到 Trainer：輕鬆掌握分散式訓練
Hugging Face Blog 以 MNIST 示例講解 PyTorch DDP、Accelerate 與 Transformers Trainer 如何用於多 GPU 或多機分散式訓練。
Hugging Face Blog精選AI 評分6767 Hugging Face Inference Endpoints 入門：從 Hub 部署模型並設定存取方式
Hugging Face 推出 Inference Endpoints，讓用户可從 Hugging Face Hub 將機器學習模型部署至所選雲端的受管基礎設施。
推薦理由：文章逐步展示從 Hugging Face Hub 將模型部署至 AWS，並比較 Protected 與 Private 端點的存取範圍和 VPC 設定。
Hugging Face Blog精選AI 評分6363 BLOOM 推理優化實錄：延遲降低 5x、吞吐量提升 50x
Hugging Face 團隊記錄了為 BLOOM 建置推理伺服器的優化過程，稱數週內將延遲降低 5x、吞吐量提升 50x。改用 Tensor Parallelism 後，延遲由 300ms/token 降至 91ms/token，吞吐量升至 10RPS；其後透過 torch.jit.script 和自訂 kernel 將延遲再降至 71ms/token。
推薦理由：文章以 BLOOM 的實測串連並行策略、算子融合和批次服務的取捨，呈現大型模型推理優化中如何平衡延遲與吞吐量。
Hugging Face BlogAI 評分5757 如何使用 Megatron-LM 訓練語言模型
Megatron-LM 可在 NVIDIA GPU 上用於訓練 GPT2，並可將訓練後的模型轉換為 Transformers 支援的格式。教程以 110M 參數的 CodeParrot 為例，涵蓋資料預處理、8 張 GPU 訓練（約需 12 小時）及權重轉換。文章指出額外的預處理和轉換會增加時間開銷，建議將 Megatron-LM 用於預訓練或較長時間微調，而非中型模型的短期微調。
Hugging Face BlogAI 評分5454 在 Hugging Face Spaces 中可視化蛋白質
這篇教程示範如何在 Hugging Face Spaces 中使用 3Dmol.js 和 Gradio HTML 區塊呈現蛋白質結構。示例應用接受 4 位 PDB code 或上傳的 PDB 檔案，並透過 iframe 顯示結構。2024 年 5 月更新建議使用 Molecule3D Gradio Custom Component，讓用户可即時修改蛋白質可視化，亦更容易設定預設可視化。
Hugging Face BlogAI 評分5656 在 Vertex AI 部署 🤗 ViT
Hugging Face Blog 示範將 🤗 Transformers 中以 TensorFlow 實作的 ViT B/16 部署至 Vertex AI，並透過 Python SDK 建立端點及發送預測請求。文章説明模型版本管理、流量分配、監控與資源設定，並記錄 Locust 本機負載測試約發出 17230 次請求，平均延遲為 646 Milliseconds。