生成式 AI 製作 PS1 風格 3D 資產:實用逐步指南
教程提供以生成式 AI 製作 PS1 風格 3D 資產的逐步流程,從 Shap-E 依文字生成模型,到在 Unity 中查看成品。流程包括用 Blender 將模型減面、以 Dream Textures 生成貼圖、完成 UV 展開並匯出 FBX;文中説明,PS1 風格較能包容現階段文字生成 3D 模型的低保真表現。
教程提供以生成式 AI 製作 PS1 風格 3D 資產的逐步流程,從 Shap-E 依文字生成模型,到在 Unity 中查看成品。流程包括用 Blender 將模型減面、以 Dream Textures 生成貼圖、完成 UV 展開並匯出 FBX;文中説明,PS1 風格較能包容現階段文字生成 3D 模型的低保真表現。
Hugging Face 與 Creative Commons、Eleuther AI、GitHub、LAION 及 Open Future 聯署立場文件,針對 EU AI Act 提出五項開放式 ML 發展建議。
推薦理由:文件把開放式 ML 的模組化協作、透明度與法案要求相連,並將建議落在 AI 元件、研發豁免和基礎模型等條文安排。
Meta 發佈 Llama 2 開放存取大語言模型系列,涵蓋 7B、13B 和 70B 參數規模,採用允許商業用途的社羣授權。Hugging Face Hub 上架 12 個模型,並整合 Transformers、Text Generation Inference 和 Inference Endpoints。
推薦理由:文中把 Llama 2 的商用授權與 Hugging Face 上的推理、部署和 QLoRA 微調方法連在一起,呈現從取得模型到接入開發流程的實用路徑。
Hugging Face Blog 作者以 Transformers.js 製作 Doodle Dash,並示範如何構建可在瀏覽器本地運行的即時機器學習遊戲。遊戲模型以 Google Quick, Draw!
推薦理由:文章串連 Quick, Draw! 數據微調、ONNX 轉換與 Transformers.js 瀏覽器推理,呈現把圖像分類模型接入即時網頁遊戲的實作路徑。
Hugging Face Blog 示範如何使用 Hugging Face Inference Endpoints 部署開源 LLM,並以 API 提供服務。示範以 Falcon 40B instruct 建立端點、測試生成參數,並透過 Python 和 JavaScript 串流生成結果。
Jeff Boudier 與 Writer 聯合創辦人兼 CTO Waseem Alshikh 對談,探討 Writer 運用 Hugging Face 處理複雜生成式 AI 用例。
Livebook 可將筆記本部署為 Hugging Face Spaces 應用程式;示範以 Elixir 建立由 Whisper 機器學習模型驅動的語音聊天應用。應用只接受音訊訊息,並由 Whisper 自動轉成文字,整個示範流程不到 15 分鐘。Livebook 是開源的 Elixir 互動式程式碼筆記本,也可在 Spaces 免費執行,供使用者編寫及試驗筆記本。
Hugging Face 更新平台《內容政策》,以回應機器學習內容審核的挑戰,並説明平台內容規範的目標與依據。政策以尊重個人權利和同意為核心,涵蓋使用者所見內容,以及人物身份與表達方式的呈現。平台不允許針對使用者或 Hugging Face 員工的攻擊或騷擾言論,並鼓勵在 Community Tab 公開討論、協作解決衝突。
Hugging Face 與 AMD 宣佈合作,提升 AMD CPU、GPU 平台上 Transformer 模型的訓練與推理效能。AMD 表示,初步測試中 MI250 訓練 BERT-Large 的速度較直接競爭對手快 1.2x,訓練 GPT2-Large 快 1.4x。
Hugging Face 用 327 個提示詞,比較 GPT-4 與人工評審對 4 款開源指令微調模型回答的偏好評分,結果顯示 GPT-4 評分存在位置偏差。GPT-4 也傾向偏好以 InstructGPT、GPT-4 或 ChatGPT 生成資料訓練的模型;它與人工評分在非編碼任務上的相關性為 0.5,在編碼任務上較低但仍為正值。
推薦理由:研究以偏好比較呈現人工與 GPT-4 評分差異,並拆解位置偏差及任務類型的相關性,提供檢視自動評審可靠度的具體依據。
Hugging Face Hub 面向畫廊、圖書館、檔案館和博物館(GLAM)從業者,供其尋找及分享機器學習模型、資料集和示範應用。平台收錄逾 190,000 個模型、33,000 個資料集及逾 100,000 個機器學習應用和示範,並支援直接上載 CSV 資料集而無須編寫程式碼。
Hugging Face Hub 新增 DuckDB 整合,讓使用者可用 SQL 分析 Hub 上逾 50,000 個資料集。Dataset Viewer 會將 Hub 上所有公開資料集自動轉為 Parquet,檔案 URL 可透過 `/parquet` endpoint 取得。
推薦理由:這項整合把 Hub 公開資料集自動轉為 Parquet,並讓 DuckDB 對遠端檔案執行 SQL,提供直接探索資料集內容的操作路徑。
Hugging Face Hub 現已託管 fastText 的官方鏡像,涵蓋 157 種語言的詞向量及最新語言識別模型。整合支援文字分類與特徵提取 widgets,亦可透過 `huggingface_hub` 下載及使用模型。
Hugging Face 宣佈舉辦首屆 Open Source AI Game Jam,邀請參加者在一個週末內使用 AI 工具製作遊戲。活動定於 7 月 7 至 9 日舉行,作品須可在網頁或 Windows 執行,並至少使用一款開源 AI 工具。參加者會按趣味性、創意及主題為其他遊戲評分,評審則從 Top 10 中選出優勝者。
Hugging Face 推出適用於 Amazon SageMaker 的 LLM Inference DLC,讓用户在安全、受管理的環境中部署開源 LLM。文章以 Open Assistant 12B 示範使用 ml.g5.12xlarge(4 張 NVIDIA A10G GPU、96GB GPU 記憶體)部署模型、執行推理並建立 Gradio 聊天介面。
Hugging Face 與 Microsoft 將 Hugging Face Hub 的開源模型目錄原生整合至 Azure Machine Learning Studio,讓用户可將模型部署到受管端點。
Hugging Face、EleutherAI 與 Stability AI 完成 safetensors 外部安全審計,未發現可導致任意程式碼執行的嚴重漏洞。
推薦理由:審計未發現可導致任意程式碼執行的嚴重漏洞,並修正規格與驗證問題,讓團隊推進 safetensors 成為預設格式有了外部檢查依據。
Hugging Face 獲法國數據保護局 CNIL 選中,參與其加強支援計劃。該計劃從逾 40 間候選公司中選出 3 間具「經濟發展潛力」的企業,協助其理解並履行數據保護責任。Hugging Face 表示,CNIL 的協助將支持其推進 GDPR 合規,並為用户社羣釐清私隱及數據保護問題。
Hugging Face Blog 梳理文字生成影片模型的發展,對比 GAN、Transformer 與擴散模型路線,並概述生成能力限制。空間與時間一致性、配對資料稀缺及影片描述困難,令模型訓練成本高,長影片生成亦受上下文限制。Hugging Face Diffusers 可下載、執行及微調 Text2Video-Zero 和 ModelScope,Hub 亦提供多個示範及本地運行指引。
推薦理由:文章梳理文字生成影片模型從 GAN、Transformer 到擴散模型的演進,並交代資料與長影片生成的核心限制。
Hugging Face Blog 示範如何在 Unity 專案安裝及使用 Hugging Face Unity API,透過 Hugging Face Inference API 呼叫模型。
Hugging Face 推出中文博客 hf.co/blog/zh,面向中文讀者提供文章及學習資源。志願者翻譯的內容包括博客文章,以及關於 Transformers、擴散模型和強化學習的完整課程。Hugging Face 表示會繼續與中國 AI 社羣合作,並在博客分享社羣進展和未來合作消息。
Hugging Face Blog 示範如何使用 Transformers 中的 Graphormer 模型進行圖分類,涵蓋資料載入、預處理及微調訓練。示例採用 OGB/ogbg-molhiv 資料集,載入 clefourrier/pcqm4mv2_graphormer_base,將任務設為二分類後以 Trainer 訓練。
Hugging Face 與 Substra 合作製作互動空間,介紹聯邦學習如何在數據不離開本地的情況下協同訓練模型。Substra 是面向真實生產環境的開源聯邦學習框架,模型權重在多個伺服器間傳遞,讓研究者利用不同來源的數據訓練模型。空間可調整樣本分佈並觀察簡單模型的反應;文中稱,聯邦學習模型在驗證數據上的表現幾乎總是優於單一來源訓練的模型。
Snorkel AI 與 Hugging Face 合作,透過 Hugging Face Inference Endpoints 擴展 Snorkel Flow 可用的基礎模型,協助企業開發 AI 應用。
Hugging Face 發佈 StackLLaMA,這是一個以 LLaMA 7B 為基礎、經 RLHF 微調、用於回答 Stack Exchange 問題的模型;完整訓練流程納入 Hugging Face TRL library。文章逐步示範監督式微調、獎勵模型訓練及 PPO 強化學習,並介紹 Stack Exchange 數據的偏好評分與 LoRA 等記憶體效率方法。
推薦理由:文章串聯 SFT、偏好獎勵模型與 PPO 三階段,並示範以 8-bit 載入和 LoRA 降低 RLHF 微調的記憶體需求,呈現可復用的訓練流程。
這篇教程示範如何結合 Hugging Face 與 Flower,在多個客户端聯邦微調預訓練的 distilBERT,將 IMDB 評分分類為正面或負面。客户端在本地訓練模型並將參數傳回伺服器,由 FedAvg 聚合參數,無需共享數據。另有使用 Flower 的 simulation 功能在 Google Colab 模擬聯邦環境的 Notebook。
Hugging Face Blog 示範使用 diffusers 為 Stable Diffusion 訓練 ControlNet,並以 FaceSynthetics 的 100K 張合成臉製作人臉姿勢條件資料。
推薦理由:文章以 FaceSynthetics 示範從人臉關鍵點製作 ControlNet 條件圖、整理訓練資料到配置低顯存參數的流程,可供類似訓練任務參照。
Hugging Face 在 🤗 Transformers 中提供 Informer,並示範如何以該模型進行多變量機率時間序列預測。Informer 以 ProbSparse attention 將注意力運算複雜度降至 O(T log T),並透過 distilling 將記憶體複雜度降至 O(N·T log T),而非 O(N·T²)。
Hugging Face 發佈 trl 與 peft 整合,介紹以 RLHF 在 24GB 消費級 GPU 上微調 20B 大語言模型的方法。示例以 gpt-neox-20b 為基礎,結合 8-bit 載入與 PEFT 低秩適配器,並透過停用適配器讓同一模型提供參考與當前 logits。
推薦理由:文章拆解 8-bit 載入、PEFT 低秩適配器與共用參考模型的組合,呈現降低 RLHF 微調大型模型顯存需求的實作思路。
Kakao Brain 與 Hugging Face 公開 ViT、ALIGN 視覺語言模型,以及由 700 million 對圖文構成的開源 COYO 資料集。
推薦理由:ViT 與 ALIGN 連同 COYO 訓練資料一併開放,並提供與 Google 版本的任務比較,呈現資料可取得性對視覺語言研究復現的價值。
Hugging Face 的 Diffusers for Mac 1.1 已在 Mac App Store 提供,更新效能與介面,並會按電腦自動選擇加速器。文中稱,視乎電腦配置,文字生成圖像速度最高可達原來的兩倍;測試列出 GPU 與 ANE 在不同 Mac 上的表現。
推薦理由:文章按多款 Mac 和 Stable Diffusion 型號列出 GPU、ANE 的生成基準,並指出 M1 Max 上 GPU 較快、標準 M1 上 ANE 較快,呈現加速器選擇受硬件配置影響。
Hugging Face 與 Amazon Web Services(AWS)擴大長期策略合作,讓開發者更容易在 AWS 上訓練、微調及部署機器學習模型。用户可在 Amazon SageMaker 和 EC2 上,只需幾下點擊便微調及部署 Hugging Face 模型,並使用 AWS Trainium 和 AWS Inferentia 加速器。
Hugging Face 推出 🤗 PEFT 函式庫,整合 🤗 Transformers 與 🤗 Accelerate,支援以參數高效微調大型語言模型。該方法凍結預訓練模型的大部分參數,只訓練少量參數並保存增量權重,以降低計算和儲存成本,同時達到與完整微調相若的效能。文中 LoRA 範例為 bigscience/T0_3B 保存的 adapter_model.bin 僅 19MB。
推薦理由:文章以 LoRA 範例展示 🤗 PEFT 如何接入 🤗 Transformers 的微調流程,並説明只保存增量權重可減少儲存負擔,另交代訓練參數設定與權重載入方式。
Hugging Face 推出開源工具 AI vs. AI,透過多智能體對戰和 ELO 排名評估強化學習模型的相對實力。
Hugging Face Hub 已收錄超過 3000 個電腦視覺模型和超過 100 個資料集,並支援 8 項核心電腦視覺任務。
這篇教程示範如何把 Stable Diffusion 的 Image2Image 納入 2D 遊戲素材製作流程,從手繪草圖迭代生成素材。作者以玉米圖示説明先用 denoising strength 0.8 生成,再手動修改並以 0.6 重新生成,不到 10 分鐘便完成可直接用於遊戲的圖示。
Hugging Face 與 PaddlePaddle 宣佈開源合作,PaddlePaddle 將逐步把其程式庫整合至 Hugging Face Hub。Hub 當時已收錄超過 75 個 PaddlePaddle 模型,後續整合範圍預計涵蓋文字、圖像、音訊、影片及多模態預訓練模型。
Hugging Face Blog 示範如何使用 Transformers 和 Datasets 建立影像相似度檢索系統,透過模型產生嵌入向量並按餘弦相似度排序候選影像。
Hugging Face Blog 的系列教程示範以 AI 工具在 5 天內製作完整農場遊戲,第一部分用 Stable Diffusion 1.5 設定美術風格,並以 Unity 搭建場景。
Hugging Face Blog 示範如何透過 Transformers 使用 CLIPSeg,以文字或參考圖像作為提示,為圖像生成零樣本分割遮罩。CLIPSeg 使用 352 x 352 像素圖像,輸出遮罩分辨率較低;文章示範將預測作為 Segments.ai 的粗略預標註,再人工修正以供後續模型訓練。