跳到正文

教學實踐

拿來就能用的實操內容:提示詞技巧、工作流搭建、工具用法與踩坑經驗。

最新精選

第 21–40 條 · 共 70 條
4月9日週四
  1. Hugging Face Blog66

    Sentence Transformers v5.4 多模態嵌入與 Reranker 模型使用指南

    Sentence Transformers v5.4 的同一 API 現可編碼並比較文字、圖像、音訊和影片,文章示範其多模態嵌入與 reranker 用法。嵌入模型將不同模態映射至共享嵌入空間;預訓練多模態 reranker 目前主要處理文字與圖像配對。示例涵蓋跨模態檢索、混合模態文件重排及先檢索再重排流程,並列出輸入格式、支援模型和安裝依賴。

    推薦理由:文章展示 Sentence Transformers v5.4 的跨模態檢索與 reranker 重排流程,並整理支援模型和輸入格式,提供實作參考。

2月13日週五
1月22日週四
  1. Mistral AI60

    Mistral AI 分享 vLLM 記憶體洩漏的排查與修復過程

    Mistral AI 團隊追查 vLLM 分離式服務的記憶體洩漏,定位到 UCX 的 mmap hook 與延後清理的記憶體池。問題只在使用 NIXL 的 Prefill/Decode 分離式設定中重現;設置 UCX_MEM_MMAP_HOOK_MODE=none 可解決洩漏,且在此 vLLM 用例中不影響效能。

    推薦理由:這篇排查記錄示範如何從 RSS 與匿名映射的異常增長開始,逐步利用 BPFtrace 和 GDB 定位 UCX mmap hook,並整理 vLLM 分離式服務可用的修復設定。

10月28日週二
  1. Hugging Face Blog65

    Hugging Face Blog 介紹語音複製「同意閘門」設計,並提供示例 Space 和程式碼

    Hugging Face Blog 提出語音複製「同意閘門」設計並提供示例 Space 和程式碼,系統需先確認説話者已明確同意才會啟動。示例會為每次同意生成一組新句子,分別表達明確同意及補充語音的音素多樣性,並以語音識別確認同意語句。作者指出,仍可能有人用另一個 TTS 系統生成相符語句,並列出音訊來源驗證、説話者嵌入向量相似度及即時錄音 metadata 作為可探索方向。

    推薦理由:把每次生成的同意語句與語音辨識綁定,並以同一段錄音作複製輸入,展示了將知情同意設為工作流程前置條件的實作思路。

10月21日週二
  1. Hugging Face Blog67

    用開放模型提升 OCR 流程

    Hugging Face 更新開放 OCR 模型指南,加入 Chandra、OlmOCR-2 及模型在 OlmOCR Benchmark 的比較分數。指南對照多款模型的輸出格式、語言支援、功能與成本,並介紹 OmniDocBenchmark、OlmOCR-Bench 和 CC-OCR 等評測基準。

    推薦理由:文章對照模型能力、輸出格式、評測基準與部署成本,並建議以代表性樣本檢驗不同文件和語言下的表現。

10月15日週三
9月2日週二
8月5日週二
  1. OpenAI Developers76

    如何用 Ollama 在本地運行 OpenAI gpt-oss

    OpenAI 介紹用 Ollama 在本地運行兩款 gpt-oss 模型,支援離線聊天、API 調用及接入 Agents SDK。gpt-oss-20b 建議至少 16GB VRAM 或 unified memory,gpt-oss-120b 至少 60GB;模型預設採用 MXFP4 量化,VRAM 不足時可用 CPU,但速度較慢。

    推薦理由:指南比較兩個模型所需的硬件配置,並串起本地聊天、Chat Completions API 與 Agents SDK 接入步驟,便於評估本地部署路徑。

7月31日週四
  1. Hugging Face Blog62

    用 Python 實作 MCP 伺服器:以 Gradio 建立 AI 購物助手

    文章示範如何以 Gradio 在 Python 中實作 MCP 伺服器,並建立可瀏覽服裝網站、呼叫 IDM-VTON 虛擬試穿的 AI 購物助手。Gradio 會把應用程式的 API endpoint 自動轉為具名稱、描述及輸入 schema 的 MCP 工具,並支援即時進度通知和自動檔案上傳。

    推薦理由:示例將 Gradio MCP 伺服器、Playwright 網頁瀏覽與 IDM-VTON 虛擬試穿串成工作流程,並列出 VS Code 設定步驟。

7月10日週四
7月9日週三
  1. Hugging Face Blog65

    Hugging Face 示範如何用 Gradio MCP Servers 為 LLM 增添工具能力

    Hugging Face Blog 示範如何透過 Gradio MCP 伺服器為 LLM 接入工具能力,並以 Flux.1 Kontext[dev] 展示按文字指令編輯圖片。

    推薦理由:文章以 Flux.1 Kontext[dev] 示範將 Hugging Face Spaces 的 MCP 服務接入 Cursor,並交代圖片須使用公開 URL,呈現從選擇服務到設定客户端的實作流程。

7月1日週二
  1. Hugging Face Blog64

    使用 Sentence Transformers 訓練及微調稀疏嵌入模型

    Hugging Face Blog 示範如何使用 Sentence Transformers 訓練及微調稀疏嵌入模型,介紹 SPLADE、Inference-free SPLADE、CSR 架構,以及資料、損失函數、評估器和訓練器的配置。

    推薦理由:文章按 SPLADE、Inference-free SPLADE 與 CSR 的適用情境梳理架構選擇,並以實作例子串連資料、損失函數和評估器配置。

3月7日週五
  1. Hugging Face Blog61

    用 React Native 在手機上本地執行 LLM 的入門指南

    Hugging Face Blog 的教程示範以 React Native 建立手機應用,在裝置本地執行 LLM 聊天。應用從 Hugging Face Hub 下載 GGUF 模型,並以 llama.rn(llama.cpp 的 binding)載入,教程涵蓋 Android 和 iOS。文章亦介紹 GGUF 量化格式、手機選模取捨,以及逐 token 生成與推理速度追蹤等功能。

    推薦理由:文章按模型選擇、GGUF 下載與載入、聊天介面逐步拆解 React Native 實作,並説明量化格式與設備能力的取捨,可作為端側 LLM 應用的開發參考。

1月27日週一
  1. Hugging Face Blog69

    Diffusers 中開源影片生成模型的現況

    Hugging Face Diffusers 團隊梳理多款開源影片生成模型的能力與限制,並介紹 Diffusers 對影片生成、推理優化及微調的支援。

    推薦理由:文章整理多款開源影片模型的資源需求,並以 HunyuanVideo 不同優化設定的數據,呈現量化、卸載和 VAE tiling 對顯存與推理時間的實際取捨。

12月2日週一
  1. Hugging Face Blog67

    Hugging Face 發佈 EU AI Act 開源開發者指南

    Hugging Face Blog 發佈 EU AI Act 開源開發者指南,梳理法規對 AI 系統及 GPAI 模型的適用範圍與分級義務。指南聚焦有限風險 AI 系統和非系統性風險開源 GPAI 模型,涵蓋披露 AI 互動、以機器可讀格式標記合成內容、提供訓練內容摘要及尊重版權 opt-out 等要求。

    推薦理由:文章區分有限風險 AI 系統與非系統性風險開源 GPAI 模型,梳理透明標示、訓練內容摘要及版權 opt-out 等合規要求。

11月25日週一
  1. Hugging Face Blog61

    如何逐步推導 Transformer 的 RoPE 位置編碼

    這篇教程逐步拆解 Transformer 位置編碼的設計,從整數、二進制及正弦方案推導至 RoPE。文章解釋 RoPE 如何對 query 和 key 向量的分量成對旋轉,令注意力點積帶入相對位置資訊,同時不改變向量範數。文中也介紹如何分開處理各維度的位置資訊,以延伸至多維資料。

    推薦理由:文章從位置編碼的設計需求出發,逐步比較整數、二進制與正弦方案,並推導 RoPE 如何以旋轉在注意力計算中表達相對位置。

10月22日週二
10月9日週三
  1. Hugging Face Blog60

    Hugging Face + Dask 如何擴展 AI 資料處理

    Hugging Face Blog 示範以 Dask 和 Coiled 把 FineWeb-Edu 網頁分類流程,從 pandas 本機處理 100 行擴展至雲端多 GPU 處理 211 million 行。

    推薦理由:FineWeb-Edu 分類案例呈現了由 pandas 本機小批次測試,擴展至 Dask 與 Coiled 雲端多 GPU 處理 211 million 行資料的完整流程,為大型資料集推理提供可參照的工程做法。

8月22日週四
7月30日週二