跳到正文

全部動態

今日 23 條
4月29日週二
4月16日週三
3月28日週五
3月24日週一
3月20日週四
3月7日週五
  1. Hugging Face Blog61

    用 React Native 在手機上本地執行 LLM 的入門指南

    Hugging Face Blog 的教程示範以 React Native 建立手機應用,在裝置本地執行 LLM 聊天。應用從 Hugging Face Hub 下載 GGUF 模型,並以 llama.rn(llama.cpp 的 binding)載入,教程涵蓋 Android 和 iOS。文章亦介紹 GGUF 量化格式、手機選模取捨,以及逐 token 生成與推理速度追蹤等功能。

    推薦理由:文章按模型選擇、GGUF 下載與載入、聊天介面逐步拆解 React Native 實作,並説明量化格式與設備能力的取捨,可作為端側 LLM 應用的開發參考。

3月4日週二
  1. Mistral AI47

    Mistral AI 以智能體工作流程提升產品開發效率

    Mistral AI 的 TranscriptToPRDTicket 智能體工作流程可將會議逐字稿自動轉成產品需求文件(PRD)及開發工單。其中 PRDAgent 與 TicketCreationAgent 均由 Mistral Large 2 驅動,並可在 Linear 或 Jira 建立工單。完整實作已提供於 Google Colab notebook,供使用者開始部署及按需自訂。

2月13日週四
  1. Hugging Face Blog60

    分類、文本嵌入與視覺嵌入處理 1B 筆輸入的成本與延遲評測

    這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置,估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4($0.8/hr)上,三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51;測試程式碼見 https://github.com/datavistics/encoder-analysis。

    推薦理由:三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響,並提供可替換模型與硬件重跑的流程,供讀者估算自有配置處理 1B 筆輸入的開支。

2月12日週三
  1. Hugging Face Blog58

    如何為影片生成建立優質資料集

    Hugging Face Blog 的 hlky 和 Sayak 介紹一套建立影片生成模型微調資料集的三階段工具流程,讓社羣能自行製作小型資料集。流程以 yt-dlp 下載影片、用 Video to Scenes 切成短片,再以影格或全片指標篩選,並用 Florence-2 生成字幕、辨識物件及進行 OCR;也可用 Qwen2.5 為整段影片加字幕。

2月4日週二
1月27日週一
  1. Hugging Face Blog69

    Diffusers 中開源影片生成模型的現況

    Hugging Face Diffusers 團隊梳理多款開源影片生成模型的能力與限制,並介紹 Diffusers 對影片生成、推理優化及微調的支援。

    推薦理由:文章整理多款開源影片模型的資源需求,並以 HunyuanVideo 不同優化設定的數據,呈現量化、卸載和 VAE tiling 對顯存與推理時間的實際取捨。

1月14日週二
12月23日週一
12月9日週一
12月2日週一
  1. Hugging Face Blog67

    Hugging Face 發佈 EU AI Act 開源開發者指南

    Hugging Face Blog 發佈 EU AI Act 開源開發者指南,梳理法規對 AI 系統及 GPAI 模型的適用範圍與分級義務。指南聚焦有限風險 AI 系統和非系統性風險開源 GPAI 模型,涵蓋披露 AI 互動、以機器可讀格式標記合成內容、提供訓練內容摘要及尊重版權 opt-out 等要求。

    推薦理由:文章區分有限風險 AI 系統與非系統性風險開源 GPAI 模型,梳理透明標示、訓練內容摘要及版權 opt-out 等合規要求。

11月25日週一
  1. Hugging Face Blog61

    如何逐步推導 Transformer 的 RoPE 位置編碼

    這篇教程逐步拆解 Transformer 位置編碼的設計,從整數、二進制及正弦方案推導至 RoPE。文章解釋 RoPE 如何對 query 和 key 向量的分量成對旋轉,令注意力點積帶入相對位置資訊,同時不改變向量範數。文中也介紹如何分開處理各維度的位置資訊,以延伸至多維資料。

    推薦理由:文章從位置編碼的設計需求出發,逐步比較整數、二進制與正弦方案,並推導 RoPE 如何以旋轉在注意力計算中表達相對位置。

10月22日週二
10月9日週三
  1. Hugging Face Blog60

    Hugging Face + Dask 如何擴展 AI 資料處理

    Hugging Face Blog 示範以 Dask 和 Coiled 把 FineWeb-Edu 網頁分類流程,從 pandas 本機處理 100 行擴展至雲端多 GPU 處理 211 million 行。

    推薦理由:FineWeb-Edu 分類案例呈現了由 pandas 本機小批次測試,擴展至 Dask 與 Coiled 雲端多 GPU 處理 211 million 行資料的完整流程,為大型資料集推理提供可參照的工程做法。

9月23日週一
  1. Hugging Face Blog51

    Hugging Face Daily Papers 頁面功能指南

    Hugging Face 介紹 Daily Papers 頁面的功能,包括認領論文、提交社羣推薦論文、與作者討論,以及查看相關模型、數據集和示範。過去一年,Daily Papers 收錄超過 3,700 篇論文,訂閲者超過 12k;只有已認領論文的用户可提交論文,留言支援多種語言並提供內置翻譯。用户可在評論區輸入 @librarian-bot 獲推薦相關論文,亦可訂閲每日更新(週末除外)。

9月20日週五
8月22日週四
8月19日週一
8月13日週二
8月6日週二
7月30日週二
7月16日週二
  1. Hugging Face Blog60

    如何利用 distilabel 為 Argilla 2.0 建立聊天機械人

    Hugging Face Blog 示範如何用 distilabel 為 Argilla 2.0 技術文件建立 RAG 聊天機械人。流程包括從文件建立切塊與合成查詢三元組、微調領域嵌入模型、建立向量資料庫,並將 Gradio 應用部署至 Hugging Face Spaces。聊天互動會記錄在 Argilla,供持續評估與改進。

    推薦理由:文章串起文件切塊、合成查詢三元組、微調領域嵌入模型、向量檢索與對話評估,提供一套可複用的文件問答 RAG 實作流程。

6月24日週一
  1. Hugging Face Blog45

    Hugging Face 倫理與社會通訊 #6:打造更好的 AI:數據質素的重要性

    Hugging Face《倫理與社會通訊》第 6 期闡述高質素數據如何支撐更好的 AI,並強調數據須切合具體用途,而非只看準確度或數量。文章列出相關性、全面性、時效性及偏見緩解等質素要素,並指出優質數據有助提升模型表現、穩健性、效率與包容性。數據整理、去重、內容篩選、人類回饋、參與式收集、治理框架及定期評估,都是改善數據質素的做法。

  2. Hugging Face Blog63

    Florence-2 微調教程:Microsoft 視覺語言模型的 DocVQA 實作

    Hugging Face Blog 示範以 DocVQA 微調 Microsoft 的 Florence-2,使其適配視覺問答任務。訓練 7 個 epochs 後,驗證集 Levenshtein 相似度由 0 升至 57.0。文中提供凍結視覺編碼器、batch size 6 的低資源方案,並記錄以 8 張 H100、batch size 64 微調全模型需時 70 分鐘。

    推薦理由:文章以 DocVQA 示範 Florence-2 微調,並列出驗證集表現及不同 GPU 配置,可供評估下游任務適配與訓練資源。

5月29日週三
5月28日週二
  1. Hugging Face Blog66

    使用 Sentence Transformers 訓練及微調嵌入模型

    Sentence Transformers 指南示範如何微調嵌入模型以配合特定任務,並説明亦可從頭訓練新模型。內容講解資料集、損失函數、訓練參數、評估器與 Trainer,並示範從 Hugging Face Hub 或本機載入資料及多資料集訓練。文中 AllNLI 三元組範例以餘弦相似度計算,開發集及測試集準確率分別為 90.04% 和 91.5%;訓練前基礎模型的開發集準確率為 68.32%。

    推薦理由:文章拆解資料集格式、損失函數、訓練參數、評估器與 Trainer 的配合,並展示多資料集搭配不同損失函數的訓練方式,方便轉用於不同嵌入任務。

5月9日週四
5月1日週三
4月16日週二
  1. Hugging Face Blog59

    Zama 示範如何透過 Hugging Face Endpoints 對加密資料執行推理

    Zama 團隊示範如何透過 Hugging Face Endpoints 部署 Concrete ML 預編譯模型,讓使用者在加密資料上執行推理。文章以垃圾郵件決策樹為例,説明 Endpoint 部署、客户端設定及自製預編譯模型的流程。文中指出,CPU Endpoint 當時最多提供 8 vCPU 和 16 GB RAM,FHE 評估密鑰存於 Endpoint 的 RAM,重啟後需要重新傳送。

4月4日週四