Hugging Face Diffusers 探索量化後端，對比 FLUX.1-dev 的記憶體與推理時間
Hugging Face Diffusers 文章比較五種量化後端在 FLUX.1-dev 上的記憶體佔用與推理時間。BF16 載入後約佔 31.447 GB，bitsandbytes 4-bit 為 12.584 GB、推理需 12 秒；torchao int4_weight_only 為 10.635 GB，但推理需 109 秒。
#教學/實踐
#教學/實踐
今日 3 條Hugging Face BlogAI 評分5858
Hugging Face BlogAI 評分4949 Gradio 不只是另一個 UI 函式庫的 17 個理由
Gradio 不只是另一個 UI 函式庫，而是透過介面與 API 連接機器學習模型的框架，並提供效能、安全及回應能力保障。它可從單一實作自動生成 REST API 端點及 API 文件，並提供 API Recorder（4.26 引入）、Gradio 5.0 的伺服器端渲染（SSR）、佇列管理和即時串流等功能。
Hugging Face BlogAI 評分5959 Open R1：如何在本機使用 OlympicCoder 7B 進行編碼
Open R1 的指南示範如何在本機設定 OlympicCoder 7B，並將它接入 VS Code 作為編碼助手。流程使用 LM Studio 載入 LMStudio Community 的 4bit GGUF 版本，再透過 Continue.dev 連接至本機服務 http://localhost:1234/v1。
Hugging Face Blog精選AI 評分6161 用 React Native 在手機上本地執行 LLM 的入門指南
Hugging Face Blog 的教程示範以 React Native 建立手機應用，在裝置本地執行 LLM 聊天。應用從 Hugging Face Hub 下載 GGUF 模型，並以 llama.rn（llama.cpp 的 binding）載入，教程涵蓋 Android 和 iOS。文章亦介紹 GGUF 量化格式、手機選模取捨，以及逐 token 生成與推理速度追蹤等功能。
推薦理由：文章按模型選擇、GGUF 下載與載入、聊天介面逐步拆解 React Native 實作，並説明量化格式與設備能力的取捨，可作為端側 LLM 應用的開發參考。
Mistral AIAI 評分4747 Mistral AI 以智能體工作流程提升產品開發效率
Mistral AI 的 TranscriptToPRDTicket 智能體工作流程可將會議逐字稿自動轉成產品需求文件（PRD）及開發工單。其中 PRDAgent 與 TicketCreationAgent 均由 Mistral Large 2 驅動，並可在 Linear 或 Jira 建立工單。完整實作已提供於 Google Colab notebook，供使用者開始部署及按需自訂。
Hugging Face BlogAI 評分5858 如何為影片生成建立優質資料集
Hugging Face Blog 的 hlky 和 Sayak 介紹一套建立影片生成模型微調資料集的三階段工具流程，讓社羣能自行製作小型資料集。流程以 yt-dlp 下載影片、用 Video to Scenes 切成短片，再以影格或全片指標篩選，並用 Florence-2 生成字幕、辨識物件及進行 OCR；也可用 Qwen2.5 為整段影片加字幕。
OpenAI NewsAI 評分2424 打造由 ChatGPT 驅動的自訂數學導師
以 ChatGPT 打造自訂數學導師，聚焦 ChatGPT 與個人化輔導；正文未提供設計流程、具體功能或其他規格。
OpenAI NewsAI 評分1515 用 ChatGPT 尋找美甲靈感
ChatGPT 可用於尋找美甲靈感。
OpenAI NewsAI 評分2222 用 ChatGPT 捕捉大比目魚
ChatGPT 被用於捕捉大比目魚；原文未提供具體方法或捕捉結果。
Hugging Face Blog精選AI 評分6969 Diffusers 中開源影片生成模型的現況
Hugging Face Diffusers 團隊梳理多款開源影片生成模型的能力與限制，並介紹 Diffusers 對影片生成、推理優化及微調的支援。
推薦理由：文章整理多款開源影片模型的資源需求，並以 HunyuanVideo 不同優化設定的數據，呈現量化、卸載和 VAE tiling 對顯存與推理時間的實際取捨。
Hugging Face BlogAI 評分5353 NVIDIA LogitsProcessorZoo 如何控制語言模型生成
Hugging Face Blog 介紹 NVIDIA 的 LogitsProcessorZoo，示範如何透過 logits 處理器控制語言模型的生成結果。示例涵蓋調整輸出長度、依據提示詞引導內容、強制加入指定結尾短語，以及讓模型在選擇題中只輸出選項。
OpenAI NewsAI 評分2626 動畫師 Lyndon Barrois 用 Sora 創造新世界
動畫師 Lyndon Barrois 以 Sora 創造新世界，並分享如何把 Sora 作為説故事工具；內容聚焦其作為創作工具的使用方式。
OpenAI NewsAI 評分99 OpenAI：讓 AI 為產品團隊效力
OpenAI 呼籲產品團隊把 AI 用於產品工作；現有內容只提出這項建議，未説明具體工具、功能或實施方式。
Hugging Face Blog精選AI 評分6767 Hugging Face 發佈 EU AI Act 開源開發者指南
Hugging Face Blog 發佈 EU AI Act 開源開發者指南，梳理法規對 AI 系統及 GPAI 模型的適用範圍與分級義務。指南聚焦有限風險 AI 系統和非系統性風險開源 GPAI 模型，涵蓋披露 AI 互動、以機器可讀格式標記合成內容、提供訓練內容摘要及尊重版權 opt-out 等要求。
推薦理由：文章區分有限風險 AI 系統與非系統性風險開源 GPAI 模型，梳理透明標示、訓練內容摘要及版權 opt-out 等合規要求。
Hugging Face Blog精選AI 評分6161 如何逐步推導 Transformer 的 RoPE 位置編碼
這篇教程逐步拆解 Transformer 位置編碼的設計，從整數、二進制及正弦方案推導至 RoPE。文章解釋 RoPE 如何對 query 和 key 向量的分量成對旋轉，令注意力點積帶入相對位置資訊，同時不改變向量範數。文中也介紹如何分開處理各維度的位置資訊，以延伸至多維資料。
推薦理由：文章從位置編碼的設計需求出發，逐步比較整數、二進制與正弦方案，並推導 RoPE 如何以旋轉在注意力計算中表達相對位置。
Hugging Face Blog精選AI 評分6060 如何在 Hugging Face Inference Endpoints 部署 Speech-to-Speech
Hugging Face 示範以自訂 Docker 映像，將 Speech-to-Speech（S2S）流程部署至 Hugging Face Inference Endpoints。
推薦理由：文章把多模型語音流程拆解為自訂 Docker 映像、端點設定和 WebSocket 音訊服務等步驟，提供部署複雜推理管線時可參照的實作路徑。
Hugging Face Blog精選AI 評分6060 Hugging Face + Dask 如何擴展 AI 資料處理
Hugging Face Blog 示範以 Dask 和 Coiled 把 FineWeb-Edu 網頁分類流程，從 pandas 本機處理 100 行擴展至雲端多 GPU 處理 211 million 行。
推薦理由：FineWeb-Edu 分類案例呈現了由 pandas 本機小批次測試，擴展至 Dask 與 Coiled 雲端多 GPU 處理 211 million 行資料的完整流程，為大型資料集推理提供可參照的工程做法。
Hugging Face BlogAI 評分5151 Hugging Face Daily Papers 頁面功能指南
Hugging Face 介紹 Daily Papers 頁面的功能，包括認領論文、提交社羣推薦論文、與作者討論，以及查看相關模型、數據集和示範。過去一年，Daily Papers 收錄超過 3,700 篇論文，訂閲者超過 12k；只有已認領論文的用户可提交論文，留言支援多種語言並提供內置翻譯。用户可在評論區輸入 @librarian-bot 獲推薦相關論文，亦可訂閲每日更新（週末除外）。
Hugging Face BlogAI 評分5757 Hugging Face 示範如何使用 Optimum-Intel 和 OpenVINO GenAI 優化及部署 Transformers 模型
Hugging Face Blog 示範如何用 Optimum-Intel 和 OpenVINO GenAI 優化 Transformers 模型，並部署至邊緣或客户端環境。
OpenAI NewsAI 評分1919 利用 GPT-4 改善巴西的教學與學習
GPT-4 用於改善巴西的教學與學習，主題聚焦當地教育中的教學與學習提升。現有內容未交代具體做法或成效。
Hugging Face Blog精選AI 評分6464 Hugging Face Hub 上 5 個常被忽略的工具及實作示例
Hugging Face Blog 介紹 Hugging Face Hub 上 5 項常被忽略的工具，並以 Reddit 資料展示自動更新的視覺化語義搜尋流程。
推薦理由：文章以每日更新的 Reddit 資料為例，拆解 Hugging Face Hub 五項工具如何協作，從資料抓取、嵌入向量處理與事件觸發，直到視覺化語義搜尋。
Hugging Face BlogAI 評分5959 如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face Blog 提供了在 Google Cloud Vertex AI 部署 Meta Llama 3.1 405B Instruct FP8 的操作教程，並示範如何以 Text Generation Inference（TGI）執行線上推理。
Hugging Face BlogAI 評分5252 ggml 入門指南：核心概念、矩陣運算與後端使用
Hugging Face Blog 的 ggml 入門指南介紹這個以 Transformer 推理為重點的 C/C++ 機器學習函式庫，並示範其基本用法。文章解釋 ggml_context、ggml_cgraph、ggml_backend 等概念，透過矩陣乘法展示張量建立、計算圖執行和 backend 記憶體配置流程。
Hugging Face BlogAI 評分5252 Hugging Face 介紹文件圖像增強方法 TextImage Augmentation
Hugging Face Blog 介紹 TextImage Augmentation，這套與 Albumentations AI 合作開發的流程可同步增強文件圖像及其中的文字標註。它可隨機插入、刪除或交換文字，並搭配圖像變換生成多樣化訓練樣本。變更後文字及對應 bounding box 可提取，用於模型訓練。
Hugging Face Blog精選AI 評分6666 使用 Quanto 和 Diffusers 提升 Diffusion Transformer 的記憶體效率
Hugging Face 示範如何在 Diffusers 中使用 Quanto 量化 Transformer-based diffusion pipeline，以降低推理時的 GPU 記憶體佔用。
推薦理由：文章提供在 Diffusers 中以 Quanto 量化擴散 Transformer 與文字編碼器的操作步驟，並用記憶體和延遲數據呈現精度設定的取捨。
Hugging Face Blog精選AI 評分6060 如何利用 distilabel 為 Argilla 2.0 建立聊天機械人
Hugging Face Blog 示範如何用 distilabel 為 Argilla 2.0 技術文件建立 RAG 聊天機械人。流程包括從文件建立切塊與合成查詢三元組、微調領域嵌入模型、建立向量資料庫，並將 Gradio 應用部署至 Hugging Face Spaces。聊天互動會記錄在 Argilla，供持續評估與改進。
推薦理由：文章串起文件切塊、合成查詢三元組、微調領域嵌入模型、向量檢索與對話評估，提供一套可複用的文件問答 RAG 實作流程。
Hugging Face BlogAI 評分4545 Hugging Face 倫理與社會通訊 #6：打造更好的 AI：數據質素的重要性
Hugging Face《倫理與社會通訊》第 6 期闡述高質素數據如何支撐更好的 AI，並強調數據須切合具體用途，而非只看準確度或數量。文章列出相關性、全面性、時效性及偏見緩解等質素要素，並指出優質數據有助提升模型表現、穩健性、效率與包容性。數據整理、去重、內容篩選、人類回饋、參與式收集、治理框架及定期評估，都是改善數據質素的做法。
Hugging Face Blog精選AI 評分6363 Florence-2 微調教程：Microsoft 視覺語言模型的 DocVQA 實作
Hugging Face Blog 示範以 DocVQA 微調 Microsoft 的 Florence-2，使其適配視覺問答任務。訓練 7 個 epochs 後，驗證集 Levenshtein 相似度由 0 升至 57.0。文中提供凍結視覺編碼器、batch size 6 的低資源方案，並記錄以 8 張 H100、batch size 64 微調全模型需時 70 分鐘。
推薦理由：文章以 DocVQA 示範 Florence-2 微調，並列出驗證集表現及不同 GPU 配置，可供評估下游任務適配與訓練資源。
Hugging Face Blog精選AI 評分6666 使用 Sentence Transformers 訓練及微調嵌入模型
Sentence Transformers 指南示範如何微調嵌入模型以配合特定任務，並説明亦可從頭訓練新模型。內容講解資料集、損失函數、訓練參數、評估器與 Trainer，並示範從 Hugging Face Hub 或本機載入資料及多資料集訓練。文中 AllNLI 三元組範例以餘弦相似度計算，開發集及測試集準確率分別為 90.04% 和 91.5%；訓練前基礎模型的開發集準確率為 68.32%。
推薦理由：文章拆解資料集格式、損失函數、訓練參數、評估器與 Trainer 的配合，並展示多資料集搭配不同損失函數的訓練方式，方便轉用於不同嵌入任務。
Hugging Face BlogAI 評分5353 使用 Intel Gaudi 2 和 Intel Xeon 構建具成本效益的企業級 RAG 應用
Hugging Face Blog 示範以 Intel Xeon CPU 運行嵌入模型、以 Intel Gaudi 2 運行 LLM，並透過 LangChain、Redis 和 TGI 構建及部署企業級 RAG 應用。
Hugging Face Blog精選AI 評分6262 Hugging Face Inference Endpoints 部署 ASR、説話人分離與推測解碼流程
Hugging Face 示範透過自訂 inference handler，在 Hugging Face Inference Endpoints 將 ASR、説話人分離與推測解碼整合至單一 API endpoint。
推薦理由：文章展示如何把 ASR、説話人分離與推測解碼組成單一端點，並以長短音訊基準説明推測解碼的效益會隨輸入長度改變。
Hugging Face BlogAI 評分5959 Zama 示範如何透過 Hugging Face Endpoints 對加密資料執行推理
Zama 團隊示範如何透過 Hugging Face Endpoints 部署 Concrete ML 預編譯模型，讓使用者在加密資料上執行推理。文章以垃圾郵件決策樹為例，説明 Endpoint 部署、客户端設定及自製預編譯模型的流程。文中指出，CPU Endpoint 當時最多提供 8 vCPU 和 16 GB RAM，FHE 評估密鑰存於 Endpoint 的 RAM，重啟後需要重新傳送。
Hugging Face Blog精選AI 評分6262 如何用 Gradio reload mode 快速構建 AI 應用
Gradio reload mode 可在不重啟 Gradio server 的情況下載入來源檔案的最新變更，文章以此快速構建 AI 文件問答應用。
推薦理由：文章透過文件問答應用示範 Gradio reload mode，並説明如何用 gr.NO_RELOAD 保留客户端，減少開發迭代時重建資源的等待。
Hugging Face BlogAI 評分5353 使用 Hugging Face Dataset Viewer API 與 MotherDuck DuckDB-NSQL-7B 執行 Text2SQL
Hugging Face Blog 示範以 DuckDB-NSQL-7B 結合 Hugging Face Dataset Viewer API 和 DuckDB，將自然語言問題轉為 SQL 查詢資料集中的資料。
Hugging Face BlogAI 評分5454 🤗 Optimum Intel 加速 SetFit 在 Xeon 上的推理
Hugging Face Blog 示範使用 🤗 Optimum Intel 對 SetFit 模型進行靜態訓練後量化，在 Intel Xeon CPU 上推理時，最高吞吐量較原始 Transformers fp32 模型提升 7.8x。
Hugging Face Blog精選AI 評分7171 Cosmopedia 如何構建用於大語言模型預訓練的大規模合成數據
Hugging Face 發佈 Cosmopedia，這套合成數據集旨在重現 Phi-1.5 的訓練數據，供大語言模型預訓練使用。
推薦理由：文章拆解 Cosmopedia 從種子資料、提示詞擴展到去污染與訓練的流程，並交代如何藉由受眾和文體變化擴大提示詞規模。
Hugging Face BlogAI 評分5353 Argilla 與 Hugging Face 邀請社羣透過 Hugging Face Spaces 共建資料集
Argilla 與 Hugging Face 發起 Data is Better Together 實驗，透過社羣協作建立提示詞排序偏好資料集，並邀請社羣加入首批共建項目。
Hugging Face BlogAI 評分5959 在 Hugging Face 上微調 Gemma 模型
Hugging Face Blog 示範如何使用 Hugging Face Transformers 和 PEFT，透過 LoRA 微調 Gemma 模型，並涵蓋 GPU 與 Cloud TPU 設定。
Hugging Face Blog精選AI 評分6161 Matryoshka Embedding 模型入門：訓練、使用與效能比較
Hugging Face Blog 介紹 Matryoshka Embedding 模型的訓練與使用方法，並比較向量截短後與一般嵌入模型的表現。
推薦理由：文章把 Sentence Transformers 訓練方式與 STSBenchmark 實測相連，量化向量縮至原大小 8.3% 後仍保留 98.37% 表現。
Hugging Face Blog精選AI 評分6565 Hugging Face 示範如何訓練個人化程式碼助手 HugCoder
Hugging Face 示範以其 GitHub 組織內按 stargazers 排名前 10 的公開程式碼庫，微調 StarCoder 製作個人化程式碼助手 HugCoder。
推薦理由：文章示範以 Hugging Face 公開程式碼庫微調個人化程式碼助手，並對照 QLoRA 與全量微調的成本和 HumanEval 結果，呈現訓練資源與表現的取捨。