跳到正文
2023年8月23日週三
  1. Hugging Face Blog76

    Hugging Face 將 AutoGPTQ 整合至 Transformers,支援大語言模型 GPTQ 量化

    Hugging Face 將 AutoGPTQ 整合至 Transformers,支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略,小批次推理速度與 fp16 基準相若;整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。

    推薦理由:文章列出 4-bit 量化的精度變化與小批次推理速度,並説明 GPU 支援範圍及 TGI 大批次下的速度限制,呈現 GPTQ 的部署取捨。

2023年8月22日週二
  1. Hugging Face Blog57

    Hugging Face 推出企業程式碼助手方案 SafeCoder

    Hugging Face 推出 SafeCoder 企業程式碼助手方案,讓客户在自家基礎設施訓練及部署,程式碼於訓練和推理期間不離開 VPC。SafeCoder 初始版本以 StarCoder 為基礎,可按客户私有程式碼庫微調;程式碼補全建議會對照 The Stack,顯示其是否匹配資料集中的程式碼及相關授權。SafeCoder 與 VMware 合作推出,現向 VMware 企業客户提供。

  2. Hugging Face Blog69

    Hugging Face 發佈 IDEFICS,開放復現 Flamingo 視覺語言模型

    Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。

    推薦理由:IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。

2023年8月10日週四
2023年8月1日週二
2023年7月24日週一
2023年7月18日週二
  1. Hugging Face Blog86

    Meta 發佈 Llama 2,12 個模型上架 Hugging Face Hub

    Meta 發佈 Llama 2 開放存取大語言模型系列,涵蓋 7B、13B 和 70B 參數規模,採用允許商業用途的社羣授權。Hugging Face Hub 上架 12 個模型,並整合 Transformers、Text Generation Inference 和 Inference Endpoints。

    推薦理由:文中把 Llama 2 的商用授權與 Hugging Face 上的推理、部署和 QLoRA 微調方法連在一起,呈現從取得模型到接入開發流程的實用路徑。

2023年7月5日週三
  1. Hugging Face Blog62

    如何用 Transformers.js 製作即時機器學習網頁遊戲 Doodle Dash

    Hugging Face Blog 作者以 Transformers.js 製作 Doodle Dash,並示範如何構建可在瀏覽器本地運行的即時機器學習遊戲。遊戲模型以 Google Quick, Draw!

    推薦理由:文章串連 Quick, Draw! 數據微調、ONNX 轉換與 Transformers.js 瀏覽器推理,呈現把圖像分類模型接入即時網頁遊戲的實作路徑。

2023年7月4日週二
2023年7月1日週六
2023年6月29日週四
2023年6月15日週四
  1. Hugging Face Blog45

    將 Livebook 筆記本部署為 Hugging Face Spaces 應用程式

    Livebook 可將筆記本部署為 Hugging Face Spaces 應用程式;示範以 Elixir 建立由 Whisper 機器學習模型驅動的語音聊天應用。應用只接受音訊訊息,並由 Whisper 自動轉成文字,整個示範流程不到 15 分鐘。Livebook 是開源的 Elixir 互動式程式碼筆記本,也可在 Spaces 免費執行,供使用者編寫及試驗筆記本。

  2. Hugging Face Blog50

    Hugging Face 宣佈新版內容指引與政策

    Hugging Face 更新平台《內容政策》,以回應機器學習內容審核的挑戰,並説明平台內容規範的目標與依據。政策以尊重個人權利和同意為核心,涵蓋使用者所見內容,以及人物身份與表達方式的呈現。平台不允許針對使用者或 Hugging Face 員工的攻擊或騷擾言論,並鼓勵在 Community Tab 公開討論、協作解決衝突。

2023年6月13日週二
2023年6月12日週一
  1. Hugging Face Blog60

    Hugging Face 比較 GPT-4 與人工評審,研究基礎模型能否像人類一樣標註資料

    Hugging Face 用 327 個提示詞,比較 GPT-4 與人工評審對 4 款開源指令微調模型回答的偏好評分,結果顯示 GPT-4 評分存在位置偏差。GPT-4 也傾向偏好以 InstructGPT、GPT-4 或 ChatGPT 生成資料訓練的模型;它與人工評分在非編碼任務上的相關性為 0.5,在編碼任務上較低但仍為正值。

    推薦理由:研究以偏好比較呈現人工與 GPT-4 評分差異,並拆解位置偏差及任務類型的相關性,提供檢視自動評審可靠度的具體依據。

2023年6月7日週三
  1. Hugging Face Blog63

    Hugging Face Hub 新增 DuckDB 整合,可分析逾 50,000 個資料集

    Hugging Face Hub 新增 DuckDB 整合,讓使用者可用 SQL 分析 Hub 上逾 50,000 個資料集。Dataset Viewer 會將 Hub 上所有公開資料集自動轉為 Parquet,檔案 URL 可透過 `/parquet` endpoint 取得。

    推薦理由:這項整合把 Hub 公開資料集自動轉為 Parquet,並讓 DuckDB 對遠端檔案執行 SQL,提供直接探索資料集內容的操作路徑。

2023年6月6日週二
2023年6月1日週四
2023年5月31日週三
2023年5月24日週三
2023年5月23日週二
  1. Hugging Face Blog62

    safetensors 完成外部安全審計,Hugging Face 等團隊推進其成為預設格式

    Hugging Face、EleutherAI 與 Stability AI 完成 safetensors 外部安全審計,未發現可導致任意程式碼執行的嚴重漏洞。

    推薦理由:審計未發現可導致任意程式碼執行的嚴重漏洞,並修正規格與驗證問題,讓團隊推進 safetensors 成為預設格式有了外部檢查依據。

2023年5月15日週一
2023年5月8日週一
  1. Hugging Face Blog68

    文字生成影片模型深入解析:技術演進、主要挑戰與 Hugging Face 工具

    Hugging Face Blog 梳理文字生成影片模型的發展,對比 GAN、Transformer 與擴散模型路線,並概述生成能力限制。空間與時間一致性、配對資料稀缺及影片描述困難,令模型訓練成本高,長影片生成亦受上下文限制。Hugging Face Diffusers 可下載、執行及微調 Text2Video-Zero 和 ModelScope,Hub 亦提供多個示範及本地運行指引。

    推薦理由:文章梳理文字生成影片模型從 GAN、Transformer 到擴散模型的演進,並交代資料與長影片生成的核心限制。

2023年5月1日週一
2023年4月24日週一
2023年4月14日週五
2023年4月12日週三
  1. Hugging Face Blog51

    Substra 如何用聯邦學習構建保護私隱的 AI

    Hugging Face 與 Substra 合作製作互動空間,介紹聯邦學習如何在數據不離開本地的情況下協同訓練模型。Substra 是面向真實生產環境的開源聯邦學習框架,模型權重在多個伺服器間傳遞,讓研究者利用不同來源的數據訓練模型。空間可調整樣本分佈並觀察簡單模型的反應;文中稱,聯邦學習模型在驗證數據上的表現幾乎總是優於單一來源訓練的模型。

2023年4月6日週四
2023年4月5日週三
  1. Hugging Face Blog78

    StackLLaMA:以 RLHF 訓練 LLaMA 的實作指南

    Hugging Face 發佈 StackLLaMA,這是一個以 LLaMA 7B 為基礎、經 RLHF 微調、用於回答 Stack Exchange 問題的模型;完整訓練流程納入 Hugging Face TRL library。文章逐步示範監督式微調、獎勵模型訓練及 PPO 強化學習,並介紹 Stack Exchange 數據的偏好評分與 LoRA 等記憶體效率方法。

    推薦理由:文章串聯 SFT、偏好獎勵模型與 PPO 三階段,並示範以 8-bit 載入和 LoRA 降低 RLHF 微調的記憶體需求,呈現可復用的訓練流程。

2023年3月27日週一
  1. Hugging Face Blog51

    使用 Hugging Face 與 Flower 進行聯邦學習

    這篇教程示範如何結合 Hugging Face 與 Flower,在多個客户端聯邦微調預訓練的 distilBERT,將 IMDB 評分分類為正面或負面。客户端在本地訓練模型並將參數傳回伺服器,由 FedAvg 聚合參數,無需共享數據。另有使用 Flower 的 simulation 功能在 Google Colab 模擬聯邦環境的 Notebook。

2023年3月24日週五
  1. Hugging Face Blog70

    如何使用 diffusers 訓練 ControlNet

    Hugging Face Blog 示範使用 diffusers 為 Stable Diffusion 訓練 ControlNet,並以 FaceSynthetics 的 100K 張合成臉製作人臉姿勢條件資料。

    推薦理由:文章以 FaceSynthetics 示範從人臉關鍵點製作 ControlNet 條件圖、整理訓練資料到配置低顯存參數的流程,可供類似訓練任務參照。

2023年3月10日週五
2023年3月9日週四
  1. Hugging Face Blog75

    在 24GB 消費級 GPU 上使用 RLHF 微調 20B 大語言模型

    Hugging Face 發佈 trl 與 peft 整合,介紹以 RLHF 在 24GB 消費級 GPU 上微調 20B 大語言模型的方法。示例以 gpt-neox-20b 為基礎,結合 8-bit 載入與 PEFT 低秩適配器,並透過停用適配器讓同一模型提供參考與當前 logits。

    推薦理由:文章拆解 8-bit 載入、PEFT 低秩適配器與共用參考模型的組合,呈現降低 RLHF 微調大型模型顯存需求的實作思路。

2023年3月6日週一
2023年2月24日週五
  1. Hugging Face Blog61

    Diffusers for Mac 1.1 提升 Stable Diffusion 圖像生成速度

    Hugging Face 的 Diffusers for Mac 1.1 已在 Mac App Store 提供,更新效能與介面,並會按電腦自動選擇加速器。文中稱,視乎電腦配置,文字生成圖像速度最高可達原來的兩倍;測試列出 GPU 與 ANE 在不同 Mac 上的表現。

    推薦理由:文章按多款 Mac 和 Stable Diffusion 型號列出 GPU、ANE 的生成基準,並指出 M1 Max 上 GPU 較快、標準 M1 上 ANE 較快,呈現加速器選擇受硬件配置影響。

2023年2月21日週二
2023年2月10日週五
  1. Hugging Face Blog72

    使用 🤗 PEFT 進行參數高效微調

    Hugging Face 推出 🤗 PEFT 函式庫,整合 🤗 Transformers 與 🤗 Accelerate,支援以參數高效微調大型語言模型。該方法凍結預訓練模型的大部分參數,只訓練少量參數並保存增量權重,以降低計算和儲存成本,同時達到與完整微調相若的效能。文中 LoRA 範例為 bigscience/T0_3B 保存的 adapter_model.bin 僅 19MB。

    推薦理由:文章以 LoRA 範例展示 🤗 PEFT 如何接入 🤗 Transformers 的微調流程,並説明只保存增量權重可減少儲存負擔,另交代訓練參數設定與權重載入方式。

2023年2月7日週二
2023年1月30日週一