Hugging Face Unity API 安裝與使用指南
Hugging Face Blog 示範如何在 Unity 專案安裝及使用 Hugging Face Unity API，透過 Hugging Face Inference API 呼叫模型。
#部署/工程
#部署/工程
今日 15 條Hugging Face BlogAI 評分5454
Hugging Face BlogAI 評分3232 Snorkel AI 攜手 Hugging Face，助企業善用基礎模型
Snorkel AI 與 Hugging Face 合作，透過 Hugging Face Inference Endpoints 擴展 Snorkel Flow 可用的基礎模型，協助企業開發 AI 應用。
OpenAI NewsAI 評分4141 Stripe 利用 GPT-4 簡化使用者體驗並打擊欺詐
Stripe 利用 GPT-4 簡化使用者體驗並打擊欺詐。
Hugging Face BlogAI 評分5656 Hugging Face 與 AWS 擴大策略合作，讓 AI 更易普及
Hugging Face 與 Amazon Web Services（AWS）擴大長期策略合作，讓開發者更容易在 AWS 上訓練、微調及部署機器學習模型。用户可在 Amazon SageMaker 和 EC2 上，只需幾下點擊便微調及部署 Hugging Face 模型，並使用 AWS Trainium 和 AWS Inferentia 加速器。
Hugging Face BlogAI 評分5757 Concrete-ML 教程：如何以同態加密進行情感分析
Hugging Face Blog 示範以 Concrete-ML 建立同態加密情感分析流程，讓伺服器可在不解密資料的情況下預測加密文本表徵。流程由客户端以 Transformer 產生文本表徵，再交由 XGBoost 分類；文章報告模型準確率為 85%，高於 Transformer 本身的 80%，FHE 推理在 16 核 CPU 上每例需 4.4 秒。
Hugging Face BlogAI 評分5858 如何使用 Optimum Intel 和 OpenVINO 加速模型推理
Hugging Face 宣佈 Optimum Intel 整合 Intel OpenVINO，可透過 OpenVINO Runtime 在多種 Intel 處理器上推理 Transformers 模型，並使用 NNCF 量化多種 encoder 模型。
Hugging Face BlogAI 評分5656 從 PyTorch DDP 到 Accelerate 再到 Trainer：輕鬆掌握分散式訓練
Hugging Face Blog 以 MNIST 示例講解 PyTorch DDP、Accelerate 與 Transformers Trainer 如何用於多 GPU 或多機分散式訓練。
Hugging Face Blog精選AI 評分6767 Hugging Face Inference Endpoints 入門：從 Hub 部署模型並設定存取方式
Hugging Face 推出 Inference Endpoints，讓用户可從 Hugging Face Hub 將機器學習模型部署至所選雲端的受管基礎設施。
推薦理由：文章逐步展示從 Hugging Face Hub 將模型部署至 AWS，並比較 Protected 與 Private 端點的存取範圍和 VPC 設定。
Hugging Face Blog精選AI 評分6363 BLOOM 推理優化實錄：延遲降低 5x、吞吐量提升 50x
Hugging Face 團隊記錄了為 BLOOM 建置推理伺服器的優化過程，稱數週內將延遲降低 5x、吞吐量提升 50x。改用 Tensor Parallelism 後，延遲由 300ms/token 降至 91ms/token，吞吐量升至 10RPS；其後透過 torch.jit.script 和自訂 kernel 將延遲再降至 71ms/token。
推薦理由：文章以 BLOOM 的實測串連並行策略、算子融合和批次服務的取捨，呈現大型模型推理優化中如何平衡延遲與吞吐量。
Hugging Face BlogAI 評分5757 如何使用 Megatron-LM 訓練語言模型
Megatron-LM 可在 NVIDIA GPU 上用於訓練 GPT2，並可將訓練後的模型轉換為 Transformers 支援的格式。教程以 110M 參數的 CodeParrot 為例，涵蓋資料預處理、8 張 GPU 訓練（約需 12 小時）及權重轉換。文章指出額外的預處理和轉換會增加時間開銷，建議將 Megatron-LM 用於預訓練或較長時間微調，而非中型模型的短期微調。
Hugging Face BlogAI 評分5454 在 Hugging Face Spaces 中可視化蛋白質
這篇教程示範如何在 Hugging Face Spaces 中使用 3Dmol.js 和 Gradio HTML 區塊呈現蛋白質結構。示例應用接受 4 位 PDB code 或上傳的 PDB 檔案，並透過 iframe 顯示結構。2024 年 5 月更新建議使用 Molecule3D Gradio Custom Component，讓用户可即時修改蛋白質可視化，亦更容易設定預設可視化。
Hugging Face BlogAI 評分5656 在 Vertex AI 部署 🤗 ViT
Hugging Face Blog 示範將 🤗 Transformers 中以 TensorFlow 實作的 ViT B/16 部署至 Vertex AI，並透過 Python SDK 建立端點及發送預測請求。文章説明模型版本管理、流量分配、監控與資源設定，並記錄 Locust 本機負載測試約發出 17230 次請求，平均延遲為 646 Milliseconds。
Hugging Face Blog精選AI 評分8484 Hugging Face Transformers、Accelerate 與 bitsandbytes 的大規模 8-bit 矩陣乘法入門
Hugging Face 將 LLM.int8() 整合至 Transformers 與 Accelerate，透過混合 INT8/FP16 矩陣乘法降低大型語言模型推理所需的記憶體。
推薦理由：文章串連 LLM.int8() 的離羣特徵處理、效能比較與 Transformers 整合細節，呈現 8-bit 量化降低大型模型記憶體需求的實作脈絡。
Hugging Face BlogAI 評分5555 Hugging Face 推出 Skops，支援託管 scikit-learn 模型及建立模型卡
Hugging Face 推出 Skops，這個程式庫可將 scikit-learn 模型託管至 Hugging Face Hub，並建立模型卡以記錄模型資訊及促進協作。
Hugging Face Blog精選AI 評分6060 Hugging Face 的 TensorFlow 設計理念
Hugging Face 説明 Transformers 的 TensorFlow 設計取向，將模型和層設為 Keras Model 與 Keras Layer，讓使用者可直接調用 fit()、compile() 和 predict()。
推薦理由：文章梳理 Hugging Face Transformers 對 TensorFlow 的六項設計取向，並以 Keras 訓練、資料管線、XLA 與部署示例，呈現這些取捨如何落實到模型訓練和部署流程。
Hugging Face BlogAI 評分5050 使用 TF Serving 在 Kubernetes 上部署 Hugging Face Transformers 的 ViT
Hugging Face Blog 示範如何以 Docker 和 TensorFlow Serving，將 🤗 Transformers 的 Vision Transformer（ViT）部署至 Kubernetes。
Hugging Face BlogAI 評分5656 Hugging Face Transformers 如何用 TF Serving 部署 TensorFlow 視覺模型
Hugging Face Transformers 的 Vision Transformer（ViT）圖像分類模型，可使用 TensorFlow Serving 在本機部署並透過 REST 或 gRPC 提供服務。教程將圖像解碼、縮放至 224×224、正規化及分類後處理整合至 SavedModel，使其接收 base64 編碼圖像並輸出分類標籤和信心度。
Hugging Face BlogAI 評分4242 Twitter 情感分析入門指南
Hugging Face 提供 Twitter 情感分析入門指南，示範適用於程式開發者與非程式開發者的操作流程。程式開發者可用 Tweepy 收集推文，透過 Inference API 分析正面、負面或中性情緒，並將結果視覺化；非程式開發者則可用 Zapier 分析推文，並將結果傳送至 Google Sheets。
Hugging Face BlogAI 評分5858 使用 Hugging Face Optimum 將 Transformers 模型轉換為 ONNX
Hugging Face 示範了將 Transformers 模型匯出為 ONNX 的三種方法，涵蓋低階 `torch.onnx`、中階 `transformers.onnx` 和高階 Optimum。
Hugging Face BlogAI 評分5454 Hugging Face 宣佈與 Intel 合作推進硬件加速，介紹 Optimum Intel 開源庫
Hugging Face 宣佈 Intel 加入其 Hardware Partner Program，雙方將透過 Optimum 加速 Transformers 訓練、微調和推理。示例以 Optimum Intel 對微調後的 DistilBERT 分類模型進行訓練後動態量化，準確率由 0.574 降至 0.546，評估步驟快 1.34x。
OpenAI NewsAI 評分4040 OpenAI、Cohere 與 AI21 Labs 的語言模型部署最佳實踐
Cohere、OpenAI 與 AI21 Labs 制定了一套初步最佳實踐，適用於任何開發或部署大型語言模型的組織。
Hugging Face BlogAI 評分4545 Graphcore 與 Hugging Face 推出新一批適用於 IPU 的 Transformers 模型
Graphcore 與 Hugging Face 擴大 Hugging Face Optimum 的 IPU-ready Transformers 陣容，現提供涵蓋自然語言處理、語音及電腦視覺的 10 款模型。各模型附有 IPU 設定檔，以及可直接使用的預訓練和微調權重。開源函式庫 Hugging Face Optimum 提供針對 Graphcore IPU 最佳化的現成模型，方便開發者使用。
Hugging Face Blog精選AI 評分6161 Hugging Face 示範以機器學習篩選不滿意客户訊息
文章示範以 amazon_reviews_multi 的英文資料微調 microsoft/deberta-v3-base，建立五類情感分類模型以篩選最不滿意的客户訊息。測試中，模型識別出約 95% 的極度不滿意訊息，並把約 12% 的中立或滿意訊息誤判為需要回覆。按每日 10,000 則訊息的假設估算，人工工作量可減少約 83%；文章指出，實際應用需要貼近業務情境的高質素訓練數據。
推薦理由：文章由任務界定、資料集篩選延伸至微調與業務指標設計，展示如何把模型評估對準客服實際處理目標。
Hugging Face BlogAI 評分3535 機器學習專家：Lewis Tunstall
Hugging Face《Machine Learning Experts》專訪 Lewis Tunstall，談其 Transformers 工作及新書《NLP with Transformers》。他介紹 Transformers library 可將 PyTorch 模型匯出為 ONNX 格式，讓工程師進一步降低延遲、提高吞吐量。
Hugging Face BlogAI 評分4343 使用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
Hugging Face 提供端到端教程，示範如何以 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分類推理。
Hugging Face BlogAI 評分3838 Hugging Face 與 Graphcore 合作開發 IPU 最佳化 Transformers
Hugging Face 與 Graphcore 合作，讓開發者可在 Graphcore IPU 上以生產規模部署最佳化 Transformers。開源工具庫 Optimum 將提供經 Hugging Face 認證的硬件最佳化模型，首批 IPU 最佳化模型將於今年稍後登上 Optimum。
Hugging Face Blog精選AI 評分6464 透過 Amazon SageMaker 輕鬆部署 Hugging Face 模型
Hugging Face 推出適用於 Amazon SageMaker 的 Inference DLC 和 Inference Toolkit，支援部署已訓練模型及 Model Hub 上 10,000+ 個公開模型。
推薦理由：文章分別示範訓練完成後、從 Amazon S3 檢查點及從 Model Hub 部署模型，並附上建立 SageMaker 推理端點的程式範例。
Hugging Face BlogAI 評分5858 Hugging Face 解説 BERT 在 CPU 上的推理擴展（第一部分）
Hugging Face 首篇系列文章以 BERT 為例，測試並分析 CPU 核心配置、NUMA 親和性與多模型實例如何影響推理延遲及吞吐量。結果顯示，小型及中型問題使用單一 socket 通常延遲較佳，大型問題則可利用雙 socket；多實例方案的吞吐量接近線性擴展。文中舉例，8 核實例為 0.808$/h，48 核機器則為 4.848$/h，前者成本降低 6x。
Hugging Face Blog精選AI 評分6363 Hugging Face 推出 Accelerate，簡化 PyTorch 分散式訓練與混合精度支援
Hugging Face 推出 Accelerate，PyTorch 訓練腳本加入五行程式碼後，即可支援不同分散式設定及混合精度訓練。Accelerate 提供統一 API，準備模型、最佳化器及 DataLoader，並處理裝置配置和反向傳播。
推薦理由：Accelerate 將 PyTorch 分散式訓練及混合精度所需樣板封裝成少量 API 改動，並提供統一啟動器，呈現減少訓練腳本跨環境改動的實作方式。
Hugging Face Blog精選AI 評分6060 Hugging Face 與 Amazon 宣佈戰略合作，推出 Amazon SageMaker Deep Learning Containers
Hugging Face 與 Amazon 宣佈戰略合作，推出 Hugging Face Deep Learning Containers，讓用户可在 Amazon SageMaker 訓練 Hugging Face Transformer 模型。
推薦理由：文章展示 Hugging Face 模型在 SageMaker 的訓練接入方式，並稱 SDK 擴展可把實驗設定與執行所需時間由數天縮至數分鐘。
Hugging Face Blog精選AI 評分6060 Hugging Face 講解如何用 PyTorch / XLA 在 Cloud TPU 訓練 Transformers 模型
Hugging Face 介紹以 PyTorch / XLA 在 Cloud TPU 訓練 Transformers 的整合方式，並保留 Hugging Face Trainer 原有介面。
推薦理由：文章梳理 PyTorch / XLA 接入 Hugging Face Trainer 的設備選擇、梯度同步與輸入流水線，並説明固定張量形狀對減少編譯成本的作用。
Hugging Face BlogAI 評分5353 Hugging Face Transformers v4.2.0 提升 TensorFlow 模型運算速度
Hugging Face 團隊提升了 Transformers 中 BERT、RoBERTa、ELECTRA 和 MPNet 的 TensorFlow 模型運算速度。
OpenAI NewsAI 評分5050 OpenAI 將 Kubernetes 叢集擴展至 7,500 個節點
OpenAI 將 Kubernetes 叢集擴展至 7,500 個節點，為大型模型及快速小規模迭代研究提供可擴展基礎設施。支援的模型包括 GPT-3、CLIP 和 DALL·E，研究例子則有《Scaling Laws for Neural Language Models》。
OpenAI News精選AI 評分6767 OpenAI 宣佈將深度學習框架統一採用 PyTorch
OpenAI 宣佈將其深度學習框架統一採用 PyTorch。
推薦理由：這項公告提供 OpenAI 深度學習框架選擇的背景，並明確指出其組織方向是統一採用 PyTorch。
OpenAI News精選AI 評分8888 Microsoft 向 OpenAI 投資 $1 billion，並合作建設 AGI 平台
Microsoft 向 OpenAI 投資 $1 billion，並合作在 Microsoft Azure 建設可擴展至 AGI 的硬件與軟件平台。雙方將共同開發新的 Azure AI 超級計算技術，Microsoft 亦會成為 OpenAI 的獨家雲端供應商。雙方還將共同進一步擴展 Microsoft Azure 支援大規模 AI 系統的能力。
推薦理由：這項合作涵蓋投資、Azure AI 超級計算技術開發與獨家雲端供應，呈現 OpenAI 建設 AGI 平台所涉及的資金、技術與雲端合作安排。
OpenAI NewsAI 評分5252 OpenAI 與 Microsoft 合作，開始在 Azure 運行大部分大規模實驗
OpenAI 正與 Microsoft 合作，開始在 Azure 上運行大部分大規模實驗。
OpenAI NewsAI 評分1717 OpenAI 談深度學習基礎設施
OpenAI 指出，深度學習是一門實證科學，團隊基礎設施的質素會放大進展。現有開源生態令任何人都能建立優良的深度學習基礎設施。