在 Hugging Face 上微調 Gemma 模型
Hugging Face Blog 示範如何使用 Hugging Face Transformers 和 PEFT,透過 LoRA 微調 Gemma 模型,並涵蓋 GPU 與 Cloud TPU 設定。
Hugging Face Blog 示範如何使用 Hugging Face Transformers 和 PEFT,透過 LoRA 微調 Gemma 模型,並涵蓋 GPU 與 Cloud TPU 設定。
Hugging Face Blog 介紹 Matryoshka Embedding 模型的訓練與使用方法,並比較向量截短後與一般嵌入模型的表現。
推薦理由:文章把 Sentence Transformers 訓練方式與 STSBenchmark 實測相連,量化向量縮至原大小 8.3% 後仍保留 98.37% 表現。
Google 發佈 Gemma 開放大語言模型系列,提供 2B、7B 兩種規模,各有基礎版與指令微調版,所有版本的上下文窗口為 8K tokens。Hugging Face 將模型上架 Hub,整合 Transformers 4.38、Google Cloud 和 Inference Endpoints,並提供以 TRL 微調的示例。
推薦理由:文中將 Gemma 2B、7B 基礎模型與其他開放模型的 LLM Leaderboard 成績並列,呈現其不同參數規模下的相對表現。
Hugging Face 的 PEFT 新增多種面向 LoRA adapter 的合併方法,使用者可透過 `add_weighted_adapter()` 試驗不同組合。
推薦理由:文章逐項比較 cat、linear、SVD、TIES 與 DARE 等 LoRA 合併方法,並整理 rank、density 和 GPU 記憶體需求對實作選擇的影響。
Hugging Face 宣佈 TGI 自 1.4.0 起提供兼容 OpenAI Chat Completion API 的 Messages API,並將其提供於 Inference Endpoints。
推薦理由:文中以 Python、JavaScript、LangChain 和 LlamaIndex 示範如何沿用 OpenAI 相容介面接入開放模型,並交代 function calling 等限制。
Explosion 推出 Prodigy-HF,將 Prodigy 與 Hugging Face 生態系直接整合,支援以標註資料訓練及重用 Hugging Face 模型。插件可透過命令列微調命名實體識別及文本分類模型,並將訓練模型儲存至磁碟後上載至 Hugging Face Hub。使用者亦可把已標註資料集發佈至 Hugging Face Hub,供社羣共享。
Hugging Face Hub 為 Enterprise Hub 推出 Storage Regions,讓組織選擇模型與資料集的儲存區域。Enterprise Hub 組織可查看現有儲存庫所在區域,並選擇新儲存庫的區域;目前支援 US、EU,亞太區即將推出。
Hugging Face 示範以其 GitHub 組織內按 stargazers 排名前 10 的公開程式碼庫,微調 StarCoder 製作個人化程式碼助手 HugCoder。
推薦理由:文章示範以 Hugging Face 公開程式碼庫微調個人化程式碼助手,並對照 QLoRA 與全量微調的成本和 HumanEval 結果,呈現訓練資源與表現的取捨。
Renumics Spotlight 可直接讀取 Hugging Face datasets,讓使用者以一行程式碼建立互動式視覺化,檢視資料樣本與羣集。文章以 speech_commands 和 CIFAR-100 示範加入模型預測與嵌入向量,並利用相似度圖、混淆矩陣等視圖分析資料羣集及模型失敗模式。
Hugging Face 在 🤗 Diffusers 中測試多種 SDXL 推理優化方法,並於 A100 GPU(40 GB)比較其記憶體佔用和推理延遲。未優化管線為 28.09GB、72,200.5ms;fp16 + SDPA 降至 21.72GB、11,413.0ms,加入 torch.compile 後延遲為 10,296.7ms。
推薦理由:文章以 A100 測試數據對照 SDXL 加速與省記憶體方案的取捨,並説明 Tiny Autoencoder 可能省略部分圖像細節,提供按硬件限制與生成用途選擇配置的參考。
Hugging Face 推出 Inference for PROs,為 PRO 用户開放精選模型的專屬 API 端點,並提高免費 Inference API 的使用速率限制。服務提供可直接使用的 HTTP 端點,方便試驗及原型開發;文章指出它不適合重型生產應用,並建議此類用途使用 Inference Endpoints。
推薦理由:文中列出 PRO 可用的精選模型、端點呼叫方式及服務不適用於重型生產應用的邊界,便於評估其原型測試用途。
Hugging Face Blog 示範在 Diffusers 中優化 AudioLDM 2 推理,將 10.24 秒音頻樣本的生成時間由約 14 秒縮短至不足 1 秒,音質下降幅度輕微。
Code Llama 推出 7B、13B 和 34B 參數版本,是以 Llama 2 為基礎、專攻編碼任務的模型家族。基礎模型以 500 billion tokens 的程式碼資料訓練,另有 Python 專用版和指令微調版;模型採用與 Llama 2 相同的社羣授權,可商用。
推薦理由:文章並列 7B、13B、34B 參數規模、Python 與指令微調變體,以及 Hugging Face 接入方式,便於比較模型選擇和部署路徑。
Hugging Face 將 AutoGPTQ 整合至 Transformers,支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略,小批次推理速度與 fp16 基準相若;整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。
推薦理由:文章列出 4-bit 量化的精度變化與小批次推理速度,並説明 GPU 支援範圍及 TGI 大批次下的速度限制,呈現 GPTQ 的部署取捨。
Hugging Face 推出 SafeCoder 企業程式碼助手方案,讓客户在自家基礎設施訓練及部署,程式碼於訓練和推理期間不離開 VPC。SafeCoder 初始版本以 StarCoder 為基礎,可按客户私有程式碼庫微調;程式碼補全建議會對照 The Stack,顯示其是否匹配資料集中的程式碼及相關授權。SafeCoder 與 VMware 合作推出,現向 VMware 企業客户提供。
Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
推薦理由:IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。
Hugging Face 將 Hugging Face Hub 上架 AWS Marketplace,組織可透過 AWS 帳户訂閲並支付 Hugging Face 託管服務的用量費用。Inference Endpoints、Spaces Hardware Upgrades 和 AutoTrain 等服務的費用會併入 AWS 帳單,定價與 Hugging Face 公開價格相同。
教程提供以生成式 AI 製作 PS1 風格 3D 資產的逐步流程,從 Shap-E 依文字生成模型,到在 Unity 中查看成品。流程包括用 Blender 將模型減面、以 Dream Textures 生成貼圖、完成 UV 展開並匯出 FBX;文中説明,PS1 風格較能包容現階段文字生成 3D 模型的低保真表現。
Hugging Face 與 Creative Commons、Eleuther AI、GitHub、LAION 及 Open Future 聯署立場文件,針對 EU AI Act 提出五項開放式 ML 發展建議。
推薦理由:文件把開放式 ML 的模組化協作、透明度與法案要求相連,並將建議落在 AI 元件、研發豁免和基礎模型等條文安排。
Meta 發佈 Llama 2 開放存取大語言模型系列,涵蓋 7B、13B 和 70B 參數規模,採用允許商業用途的社羣授權。Hugging Face Hub 上架 12 個模型,並整合 Transformers、Text Generation Inference 和 Inference Endpoints。
推薦理由:文中把 Llama 2 的商用授權與 Hugging Face 上的推理、部署和 QLoRA 微調方法連在一起,呈現從取得模型到接入開發流程的實用路徑。
Hugging Face Blog 作者以 Transformers.js 製作 Doodle Dash,並示範如何構建可在瀏覽器本地運行的即時機器學習遊戲。遊戲模型以 Google Quick, Draw!
推薦理由:文章串連 Quick, Draw! 數據微調、ONNX 轉換與 Transformers.js 瀏覽器推理,呈現把圖像分類模型接入即時網頁遊戲的實作路徑。
Hugging Face Blog 示範如何使用 Hugging Face Inference Endpoints 部署開源 LLM,並以 API 提供服務。示範以 Falcon 40B instruct 建立端點、測試生成參數,並透過 Python 和 JavaScript 串流生成結果。
Jeff Boudier 與 Writer 聯合創辦人兼 CTO Waseem Alshikh 對談,探討 Writer 運用 Hugging Face 處理複雜生成式 AI 用例。
Livebook 可將筆記本部署為 Hugging Face Spaces 應用程式;示範以 Elixir 建立由 Whisper 機器學習模型驅動的語音聊天應用。應用只接受音訊訊息,並由 Whisper 自動轉成文字,整個示範流程不到 15 分鐘。Livebook 是開源的 Elixir 互動式程式碼筆記本,也可在 Spaces 免費執行,供使用者編寫及試驗筆記本。
Hugging Face 更新平台《內容政策》,以回應機器學習內容審核的挑戰,並説明平台內容規範的目標與依據。政策以尊重個人權利和同意為核心,涵蓋使用者所見內容,以及人物身份與表達方式的呈現。平台不允許針對使用者或 Hugging Face 員工的攻擊或騷擾言論,並鼓勵在 Community Tab 公開討論、協作解決衝突。
Hugging Face 與 AMD 宣佈合作,提升 AMD CPU、GPU 平台上 Transformer 模型的訓練與推理效能。AMD 表示,初步測試中 MI250 訓練 BERT-Large 的速度較直接競爭對手快 1.2x,訓練 GPT2-Large 快 1.4x。
Hugging Face 用 327 個提示詞,比較 GPT-4 與人工評審對 4 款開源指令微調模型回答的偏好評分,結果顯示 GPT-4 評分存在位置偏差。GPT-4 也傾向偏好以 InstructGPT、GPT-4 或 ChatGPT 生成資料訓練的模型;它與人工評分在非編碼任務上的相關性為 0.5,在編碼任務上較低但仍為正值。
推薦理由:研究以偏好比較呈現人工與 GPT-4 評分差異,並拆解位置偏差及任務類型的相關性,提供檢視自動評審可靠度的具體依據。
Hugging Face Hub 面向畫廊、圖書館、檔案館和博物館(GLAM)從業者,供其尋找及分享機器學習模型、資料集和示範應用。平台收錄逾 190,000 個模型、33,000 個資料集及逾 100,000 個機器學習應用和示範,並支援直接上載 CSV 資料集而無須編寫程式碼。
Hugging Face Hub 新增 DuckDB 整合,讓使用者可用 SQL 分析 Hub 上逾 50,000 個資料集。Dataset Viewer 會將 Hub 上所有公開資料集自動轉為 Parquet,檔案 URL 可透過 `/parquet` endpoint 取得。
推薦理由:這項整合把 Hub 公開資料集自動轉為 Parquet,並讓 DuckDB 對遠端檔案執行 SQL,提供直接探索資料集內容的操作路徑。
Hugging Face Hub 現已託管 fastText 的官方鏡像,涵蓋 157 種語言的詞向量及最新語言識別模型。整合支援文字分類與特徵提取 widgets,亦可透過 `huggingface_hub` 下載及使用模型。
Hugging Face 宣佈舉辦首屆 Open Source AI Game Jam,邀請參加者在一個週末內使用 AI 工具製作遊戲。活動定於 7 月 7 至 9 日舉行,作品須可在網頁或 Windows 執行,並至少使用一款開源 AI 工具。參加者會按趣味性、創意及主題為其他遊戲評分,評審則從 Top 10 中選出優勝者。
Hugging Face 推出適用於 Amazon SageMaker 的 LLM Inference DLC,讓用户在安全、受管理的環境中部署開源 LLM。文章以 Open Assistant 12B 示範使用 ml.g5.12xlarge(4 張 NVIDIA A10G GPU、96GB GPU 記憶體)部署模型、執行推理並建立 Gradio 聊天介面。
Hugging Face 與 Microsoft 將 Hugging Face Hub 的開源模型目錄原生整合至 Azure Machine Learning Studio,讓用户可將模型部署到受管端點。
Hugging Face、EleutherAI 與 Stability AI 完成 safetensors 外部安全審計,未發現可導致任意程式碼執行的嚴重漏洞。
推薦理由:審計未發現可導致任意程式碼執行的嚴重漏洞,並修正規格與驗證問題,讓團隊推進 safetensors 成為預設格式有了外部檢查依據。
Hugging Face 獲法國數據保護局 CNIL 選中,參與其加強支援計劃。該計劃從逾 40 間候選公司中選出 3 間具「經濟發展潛力」的企業,協助其理解並履行數據保護責任。Hugging Face 表示,CNIL 的協助將支持其推進 GDPR 合規,並為用户社羣釐清私隱及數據保護問題。
Hugging Face Blog 梳理文字生成影片模型的發展,對比 GAN、Transformer 與擴散模型路線,並概述生成能力限制。空間與時間一致性、配對資料稀缺及影片描述困難,令模型訓練成本高,長影片生成亦受上下文限制。Hugging Face Diffusers 可下載、執行及微調 Text2Video-Zero 和 ModelScope,Hub 亦提供多個示範及本地運行指引。
推薦理由:文章梳理文字生成影片模型從 GAN、Transformer 到擴散模型的演進,並交代資料與長影片生成的核心限制。
Hugging Face Blog 示範如何在 Unity 專案安裝及使用 Hugging Face Unity API,透過 Hugging Face Inference API 呼叫模型。
Hugging Face 推出中文博客 hf.co/blog/zh,面向中文讀者提供文章及學習資源。志願者翻譯的內容包括博客文章,以及關於 Transformers、擴散模型和強化學習的完整課程。Hugging Face 表示會繼續與中國 AI 社羣合作,並在博客分享社羣進展和未來合作消息。
Hugging Face Blog 示範如何使用 Transformers 中的 Graphormer 模型進行圖分類,涵蓋資料載入、預處理及微調訓練。示例採用 OGB/ogbg-molhiv 資料集,載入 clefourrier/pcqm4mv2_graphormer_base,將任務設為二分類後以 Trainer 訓練。
Hugging Face 與 Substra 合作製作互動空間,介紹聯邦學習如何在數據不離開本地的情況下協同訓練模型。Substra 是面向真實生產環境的開源聯邦學習框架,模型權重在多個伺服器間傳遞,讓研究者利用不同來源的數據訓練模型。空間可調整樣本分佈並觀察簡單模型的反應;文中稱,聯邦學習模型在驗證數據上的表現幾乎總是優於單一來源訓練的模型。