跳到正文

Hugging Face

Hugging Face 開源社區動態:熱門模型與數據集、排行榜變化與開源生態的晴雨表。

最新精選

第 121–140 條 · 共 168 條
10月27日週五
10月24日週二
  1. Hugging Face Blog70

    探索 SDXL 推理速度與記憶體的簡單優化方法

    Hugging Face 在 🤗 Diffusers 中測試多種 SDXL 推理優化方法,並於 A100 GPU(40 GB)比較其記憶體佔用和推理延遲。未優化管線為 28.09GB、72,200.5ms;fp16 + SDPA 降至 21.72GB、11,413.0ms,加入 torch.compile 後延遲為 10,296.7ms。

    推薦理由:文章以 A100 測試數據對照 SDXL 加速與省記憶體方案的取捨,並説明 Tiny Autoencoder 可能省略部分圖像細節,提供按硬件限制與生成用途選擇配置的參考。

9月22日週五
  1. Hugging Face Blog61

    Hugging Face 推出 Inference for PROs,開放精選模型 API 端點

    Hugging Face 推出 Inference for PROs,為 PRO 用户開放精選模型的專屬 API 端點,並提高免費 Inference API 的使用速率限制。服務提供可直接使用的 HTTP 端點,方便試驗及原型開發;文章指出它不適合重型生產應用,並建議此類用途使用 Inference Endpoints。

    推薦理由:文中列出 PRO 可用的精選模型、端點呼叫方式及服務不適用於重型生產應用的邊界,便於評估其原型測試用途。

8月25日週五
  1. Hugging Face Blog80

    Code Llama 推出 7B、13B、34B 參數規模的編碼模型

    Code Llama 推出 7B、13B 和 34B 參數版本,是以 Llama 2 為基礎、專攻編碼任務的模型家族。基礎模型以 500 billion tokens 的程式碼資料訓練,另有 Python 專用版和指令微調版;模型採用與 Llama 2 相同的社羣授權,可商用。

    推薦理由:文章並列 7B、13B、34B 參數規模、Python 與指令微調變體,以及 Hugging Face 接入方式,便於比較模型選擇和部署路徑。

8月23日週三
  1. Hugging Face Blog76

    Hugging Face 將 AutoGPTQ 整合至 Transformers,支援大語言模型 GPTQ 量化

    Hugging Face 將 AutoGPTQ 整合至 Transformers,支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略,小批次推理速度與 fp16 基準相若;整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。

    推薦理由:文章列出 4-bit 量化的精度變化與小批次推理速度,並説明 GPU 支援範圍及 TGI 大批次下的速度限制,呈現 GPTQ 的部署取捨。

8月22日週二
  1. Hugging Face Blog69

    Hugging Face 發佈 IDEFICS,開放復現 Flamingo 視覺語言模型

    Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。

    推薦理由:IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。

7月24日週一
7月18日週二
  1. Hugging Face Blog86

    Meta 發佈 Llama 2,12 個模型上架 Hugging Face Hub

    Meta 發佈 Llama 2 開放存取大語言模型系列,涵蓋 7B、13B 和 70B 參數規模,採用允許商業用途的社羣授權。Hugging Face Hub 上架 12 個模型,並整合 Transformers、Text Generation Inference 和 Inference Endpoints。

    推薦理由:文中把 Llama 2 的商用授權與 Hugging Face 上的推理、部署和 QLoRA 微調方法連在一起,呈現從取得模型到接入開發流程的實用路徑。

7月5日週三
  1. Hugging Face Blog62

    如何用 Transformers.js 製作即時機器學習網頁遊戲 Doodle Dash

    Hugging Face Blog 作者以 Transformers.js 製作 Doodle Dash,並示範如何構建可在瀏覽器本地運行的即時機器學習遊戲。遊戲模型以 Google Quick, Draw!

    推薦理由:文章串連 Quick, Draw! 數據微調、ONNX 轉換與 Transformers.js 瀏覽器推理,呈現把圖像分類模型接入即時網頁遊戲的實作路徑。

6月12日週一
  1. Hugging Face Blog60

    Hugging Face 比較 GPT-4 與人工評審,研究基礎模型能否像人類一樣標註資料

    Hugging Face 用 327 個提示詞,比較 GPT-4 與人工評審對 4 款開源指令微調模型回答的偏好評分,結果顯示 GPT-4 評分存在位置偏差。GPT-4 也傾向偏好以 InstructGPT、GPT-4 或 ChatGPT 生成資料訓練的模型;它與人工評分在非編碼任務上的相關性為 0.5,在編碼任務上較低但仍為正值。

    推薦理由:研究以偏好比較呈現人工與 GPT-4 評分差異,並拆解位置偏差及任務類型的相關性,提供檢視自動評審可靠度的具體依據。

6月7日週三
  1. Hugging Face Blog63

    Hugging Face Hub 新增 DuckDB 整合,可分析逾 50,000 個資料集

    Hugging Face Hub 新增 DuckDB 整合,讓使用者可用 SQL 分析 Hub 上逾 50,000 個資料集。Dataset Viewer 會將 Hub 上所有公開資料集自動轉為 Parquet,檔案 URL 可透過 `/parquet` endpoint 取得。

    推薦理由:這項整合把 Hub 公開資料集自動轉為 Parquet,並讓 DuckDB 對遠端檔案執行 SQL,提供直接探索資料集內容的操作路徑。

5月23日週二
4月5日週三
  1. Hugging Face Blog78

    StackLLaMA:以 RLHF 訓練 LLaMA 的實作指南

    Hugging Face 發佈 StackLLaMA,這是一個以 LLaMA 7B 為基礎、經 RLHF 微調、用於回答 Stack Exchange 問題的模型;完整訓練流程納入 Hugging Face TRL library。文章逐步示範監督式微調、獎勵模型訓練及 PPO 強化學習,並介紹 Stack Exchange 數據的偏好評分與 LoRA 等記憶體效率方法。

    推薦理由:文章串聯 SFT、偏好獎勵模型與 PPO 三階段,並示範以 8-bit 載入和 LoRA 降低 RLHF 微調的記憶體需求,呈現可復用的訓練流程。

3月24日週五
  1. Hugging Face Blog70

    如何使用 diffusers 訓練 ControlNet

    Hugging Face Blog 示範使用 diffusers 為 Stable Diffusion 訓練 ControlNet,並以 FaceSynthetics 的 100K 張合成臉製作人臉姿勢條件資料。

    推薦理由:文章以 FaceSynthetics 示範從人臉關鍵點製作 ControlNet 條件圖、整理訓練資料到配置低顯存參數的流程,可供類似訓練任務參照。

3月9日週四
  1. Hugging Face Blog75

    在 24GB 消費級 GPU 上使用 RLHF 微調 20B 大語言模型

    Hugging Face 發佈 trl 與 peft 整合,介紹以 RLHF 在 24GB 消費級 GPU 上微調 20B 大語言模型的方法。示例以 gpt-neox-20b 為基礎,結合 8-bit 載入與 PEFT 低秩適配器,並透過停用適配器讓同一模型提供參考與當前 logits。

    推薦理由:文章拆解 8-bit 載入、PEFT 低秩適配器與共用參考模型的組合,呈現降低 RLHF 微調大型模型顯存需求的實作思路。

3月6日週一
2月24日週五
  1. Hugging Face Blog61

    Diffusers for Mac 1.1 提升 Stable Diffusion 圖像生成速度

    Hugging Face 的 Diffusers for Mac 1.1 已在 Mac App Store 提供,更新效能與介面,並會按電腦自動選擇加速器。文中稱,視乎電腦配置,文字生成圖像速度最高可達原來的兩倍;測試列出 GPU 與 ANE 在不同 Mac 上的表現。

    推薦理由:文章按多款 Mac 和 Stable Diffusion 型號列出 GPU、ANE 的生成基準,並指出 M1 Max 上 GPU 較快、標準 M1 上 ANE 較快,呈現加速器選擇受硬件配置影響。

2月10日週五
  1. Hugging Face Blog72

    使用 🤗 PEFT 進行參數高效微調

    Hugging Face 推出 🤗 PEFT 函式庫,整合 🤗 Transformers 與 🤗 Accelerate,支援以參數高效微調大型語言模型。該方法凍結預訓練模型的大部分參數,只訓練少量參數並保存增量權重,以降低計算和儲存成本,同時達到與完整微調相若的效能。文中 LoRA 範例為 bigscience/T0_3B 保存的 adapter_model.bin 僅 19MB。

    推薦理由:文章以 LoRA 範例展示 🤗 PEFT 如何接入 🤗 Transformers 的微調流程,並説明只保存增量權重可減少儲存負擔,另交代訓練參數設定與權重載入方式。

12月15日週四
  1. Hugging Face Blog63

    Hugging Face 倫理與社會電子報第 2 期:談談機器學習中的偏見

    Hugging Face 的 Ethics and Society 團隊在第 2 期電子報中,探討機器學習偏見如何隨部署情境轉化為風險,並整理團隊用於不同開發階段的工具與建議。

    推薦理由:文章把機器偏見連結至具體部署情境,並按任務定義、資料整理與模型開發階段整理評估及記錄做法,讓風險辨識不只停留在模型輸出檢查。

12月1日週四