跳到正文

全部動態

今日 126 條
9月22日週五
  1. Hugging Face Blog61

    Hugging Face 推出 Inference for PROs,開放精選模型 API 端點

    Hugging Face 推出 Inference for PROs,為 PRO 用户開放精選模型的專屬 API 端點,並提高免費 Inference API 的使用速率限制。服務提供可直接使用的 HTTP 端點,方便試驗及原型開發;文章指出它不適合重型生產應用,並建議此類用途使用 Inference Endpoints。

    推薦理由:文中列出 PRO 可用的精選模型、端點呼叫方式及服務不適用於重型生產應用的邊界,便於評估其原型測試用途。

8月28日週一
8月23日週三
  1. Hugging Face Blog76

    Hugging Face 將 AutoGPTQ 整合至 Transformers,支援大語言模型 GPTQ 量化

    Hugging Face 將 AutoGPTQ 整合至 Transformers,支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略,小批次推理速度與 fp16 基準相若;整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。

    推薦理由:文章列出 4-bit 量化的精度變化與小批次推理速度,並説明 GPU 支援範圍及 TGI 大批次下的速度限制,呈現 GPTQ 的部署取捨。

8月22日週二
  1. Hugging Face Blog57

    Hugging Face 推出企業程式碼助手方案 SafeCoder

    Hugging Face 推出 SafeCoder 企業程式碼助手方案,讓客户在自家基礎設施訓練及部署,程式碼於訓練和推理期間不離開 VPC。SafeCoder 初始版本以 StarCoder 為基礎,可按客户私有程式碼庫微調;程式碼補全建議會對照 The Stack,顯示其是否匹配資料集中的程式碼及相關授權。SafeCoder 與 VMware 合作推出,現向 VMware 企業客户提供。

8月10日週四
7月20日週四
6月13日週二
6月7日週三
  1. Hugging Face Blog63

    Hugging Face Hub 新增 DuckDB 整合,可分析逾 50,000 個資料集

    Hugging Face Hub 新增 DuckDB 整合,讓使用者可用 SQL 分析 Hub 上逾 50,000 個資料集。Dataset Viewer 會將 Hub 上所有公開資料集自動轉為 Parquet,檔案 URL 可透過 `/parquet` endpoint 取得。

    推薦理由:這項整合把 Hub 公開資料集自動轉為 Parquet,並讓 DuckDB 對遠端檔案執行 SQL,提供直接探索資料集內容的操作路徑。

6月6日週二
5月31日週三
5月24日週三
5月23日週二
5月18日週四
  1. OpenAI News85

    OpenAI 推出 iOS 版 ChatGPT app

    OpenAI 推出 iOS 版 ChatGPT app,讓用户可在 iOS 裝置使用 ChatGPT。應用支援對話同步和語音輸入,並帶來 OpenAI 最新模型改進。

    推薦理由:公告列出對話同步、語音輸入及最新模型改進,呈現 iOS 版 ChatGPT app 在對話延續與語音使用上的主要變化。

4月25日週二
4月24日週一
3月23日週四
  1. OpenAI News70

    OpenAI 為 ChatGPT 加入初步插件支援

    OpenAI 為 ChatGPT 加入初步插件支援,插件可協助 ChatGPT 存取最新資訊、執行計算或使用第三方服務。插件是專為語言模型設計、以安全為核心原則的工具。

    推薦理由:ChatGPT 初步支援以安全為核心原則的插件,涵蓋最新資訊、計算及第三方服務,呈現模型透過外部工具擴展能力的方式。

3月14日週二
3月9日週四
  1. Hugging Face Blog75

    在 24GB 消費級 GPU 上使用 RLHF 微調 20B 大語言模型

    Hugging Face 發佈 trl 與 peft 整合,介紹以 RLHF 在 24GB 消費級 GPU 上微調 20B 大語言模型的方法。示例以 gpt-neox-20b 為基礎,結合 8-bit 載入與 PEFT 低秩適配器,並透過停用適配器讓同一模型提供參考與當前 logits。

    推薦理由:文章拆解 8-bit 載入、PEFT 低秩適配器與共用參考模型的組合,呈現降低 RLHF 微調大型模型顯存需求的實作思路。

2月24日週五
  1. Hugging Face Blog61

    Diffusers for Mac 1.1 提升 Stable Diffusion 圖像生成速度

    Hugging Face 的 Diffusers for Mac 1.1 已在 Mac App Store 提供,更新效能與介面,並會按電腦自動選擇加速器。文中稱,視乎電腦配置,文字生成圖像速度最高可達原來的兩倍;測試列出 GPU 與 ANE 在不同 Mac 上的表現。

    推薦理由:文章按多款 Mac 和 Stable Diffusion 型號列出 GPU、ANE 的生成基準,並指出 M1 Max 上 GPU 較快、標準 M1 上 ANE 較快,呈現加速器選擇受硬件配置影響。

2月10日週五
  1. Hugging Face Blog72

    使用 🤗 PEFT 進行參數高效微調

    Hugging Face 推出 🤗 PEFT 函式庫,整合 🤗 Transformers 與 🤗 Accelerate,支援以參數高效微調大型語言模型。該方法凍結預訓練模型的大部分參數,只訓練少量參數並保存增量權重,以降低計算和儲存成本,同時達到與完整微調相若的效能。文中 LoRA 範例為 bigscience/T0_3B 保存的 adapter_model.bin 僅 19MB。

    推薦理由:文章以 LoRA 範例展示 🤗 PEFT 如何接入 🤗 Transformers 的微調流程,並説明只保存增量權重可減少儲存負擔,另交代訓練參數設定與權重載入方式。

2月7日週二
2月1日週三
1月31日週二
1月30日週一
1月17日週二
1月4日週三
1月1日週日
12月20日週二
  1. Hugging Face Blog56

    Hugging Face 推出模型卡建立工具、指南及更新範本

    Hugging Face 推出模型卡建立工具及配套指南,並在 huggingface_hub library 發佈更新版模型卡範本。工具以圖形介面支援不同背景與角色的團隊毋須編程或使用 Markdown 協作撰寫,範本加入預設提示文字,特別涵蓋偏差、風險與限制。這項工作亦包括 Hugging Face 的模型卡使用者研究,以及機器學習文檔現況分析和文獻回顧。

11月30日週三
  1. OpenAI News93

    OpenAI 介紹對話模型 ChatGPT

    OpenAI 介紹了名為 ChatGPT 的對話模型,該模型以對話方式與用户互動。對話格式使 ChatGPT 能回答追問、承認錯誤、質疑不正確前提,並拒絕不當請求。

    推薦理由:原文把追問、承認錯誤、質疑錯誤前提及拒絕不當請求列為對話格式支持的行為,具體呈現 ChatGPT 的互動設計。

11月17日週四
11月8日週二
  1. Hugging Face Blog56

    Hugging Face 更新定價與計費安排,Inference API 付費層將取消

    Hugging Face 調整付費服務安排,Inference API 將取消付費層,並繼續免費向所有人開放。Inference Endpoints 是面向快速、企業級推理即服務的新方案;Spaces 亦新增硬件升級,讓機器學習示範可在自選硬件上運行。使用這些服務無須訂閲,只需在帳户加入信用卡,也可為組織綁定付款方式;付費服務及訂閲費用於每月月初收取,並提供合併發票。

11月3日週四
11月2日週三
10月7日週五
10月3日週一
9月28日週三
  1. Hugging Face Blog59

    Hugging Face AutoTrain 新增圖像分類任務

    Hugging Face 為 AutoTrain 新增圖像分類任務,擴展其 Computer Vision 支援,讓用户可透過免配置流程訓練圖像分類模型。AutoTrain 可載入本地資料或 Hugging Face Hub 上的資料集,並嘗試多個模型候選;文中的蝴蝶分類例子中,最佳模型準確率為 84%。使用 5 個候選模型及少於 500 張圖片訓練免費。

9月26日週一