如何使用 Optimum Intel 和 OpenVINO 加速模型推理
Hugging Face 宣佈 Optimum Intel 整合 Intel OpenVINO,可透過 OpenVINO Runtime 在多種 Intel 處理器上推理 Transformers 模型,並使用 NNCF 量化多種 encoder 模型。
Hugging Face 宣佈 Optimum Intel 整合 Intel OpenVINO,可透過 OpenVINO Runtime 在多種 Intel 處理器上推理 Transformers 模型,並使用 NNCF 量化多種 encoder 模型。
Hugging Face 推出 Inference Endpoints,讓用户可從 Hugging Face Hub 將機器學習模型部署至所選雲端的受管基礎設施。
推薦理由:文章逐步展示從 Hugging Face Hub 將模型部署至 AWS,並比較 Protected 與 Private 端點的存取範圍和 VPC 設定。
Hugging Face Hub 現已支援為模型或資料集生成 DOI,任何人都可在資源頁點擊「引用此模型/資料集」來引用。註冊 Hub 用户可在 repo 設定中申請 DOI;Hugging Face 與 DataCite 合作,申請者填妥必要元資料後即可取得。
Hugging Face 的 Evaluation on the Hub 現已支援免寫程式對 Hub 上的因果語言模型進行零樣本分類評估,最高支援 66 billion parameters。
推薦理由:文章説明如何用 Evaluation on the Hub 比較不同規模模型,並以 WinoBias 案例展示零樣本評估如何檢視職業性別偏見。
OpenAI 宣佈 DALL·E 不再設候補名單,新用户可立即開始創作。OpenAI 表示,部署過程累積的經驗及安全系統改進,讓服務得以擴大開放。
推薦理由:DALL·E 取消候補名單後,新用户可立即開始創作;OpenAI 同時交代擴大開放所依據的部署經驗與安全系統改進。
Hugging Face 為 AutoTrain 新增圖像分類任務,擴展其 Computer Vision 支援,讓用户可透過免配置流程訓練圖像分類模型。AutoTrain 可載入本地資料或 Hugging Face Hub 上的資料集,並嘗試多個模型候選;文中的蝴蝶分類例子中,最佳模型準確率為 84%。使用 5 個候選模型及少於 500 張圖片訓練免費。
Hugging Face 與 Intel Labs、UKP Lab 共同介紹 SetFit,這是一套無需提示詞、以少量標註資料微調 Sentence Transformers 的少樣本學習框架。
推薦理由:文章比較 SetFit 與其他少樣本方法在 RAFT 等基準的表現,並列出訓練時間與成本,提供分類效能和訓練效率的直接參照。
Hugging Face 團隊介紹 Diffusers 0.3 的功能更新,涵蓋圖生圖、Textual Inversion、實驗性修補管線及推理優化。Textual Inversion 可用 3-5 張樣本個人化 Stable Diffusion;啟用優化後,Stable Diffusion 僅需 3.2GB VRAM,生成結果相同但速度降低 10%。
推薦理由:Diffusers 0.3 把圖生圖、模型個人化等功能更新,連同小顯存、Mac 與 ONNX 的操作示例一併呈現,便於對照 Stable Diffusion 在不同環境的操作與部署方式。
DALL·E 推出 outpainting 功能,讓圖像可延展至任意尺寸,以擴展創作並講述更大的故事。
Hugging Face 推出 Skops,這個程式庫可將 scikit-learn 模型託管至 Hugging Face Hub,並建立模型卡以記錄模型資訊及促進協作。
OpenAI 推出改進版內容審核工具 Moderation endpoint,該端點改進了 OpenAI 先前的內容過濾器。它免費供 OpenAI API 開發者使用。
香港浸會大學(HKBU)推出 Turing AI Orchestra,作為推進人類與 AI 藝術共創的下一個里程碑。該樂團是全球首個 AI 樂團,旨在促成人類與 AI 系統協同創作及演出。HKBU亦計劃運用區塊鏈技術,建立藝術創作的全球首個去中心化自治組織(DAO)生態系統。
OpenAI 宣佈 DALL·E 開放 Beta,並將在未來數週邀請候補名單中的 1 million 人使用。用户可使用每月補充的免費點數創作,也可按每 115 次生成 $15 的價格購買額外點數。
推薦理由:材料同時列出候補邀請規模、免費點數補充頻率及額外點數價格,能讓讀者瞭解 Beta 開放初期的使用方式與成本。
OpenAI 正在為 DALL·E 推行一項新技術,令其生成的人物圖像更準確反映世界人口多樣性。這項措施旨在減少 DALL·E 2 的偏見並改善安全性。
Hugging Face 推出由 AutoTrain 驅動的 Evaluation on the Hub,讓使用者無需編寫程式,即可用任意資料集與指標評估 Hub 上的模型。評估結果會提交至模型卡的 Hub pull request,平台亦提供排行榜,方便比較模型在不同資料集切分與指標上的表現。
推薦理由:它讓使用者可在 Hub 選擇模型、資料集和指標,免寫程式完成評估;結果回寫模型卡,排行榜便於比較表現及重用評估設定。
Hugging Face 宣佈 Intel 加入其 Hardware Partner Program,雙方將透過 Optimum 加速 Transformers 訓練、微調和推理。示例以 Optimum Intel 對微調後的 DistilBERT 分類模型進行訓練後動態量化,準確率由 0.574 降至 0.546,評估步驟快 1.34x。
Graphcore 與 Hugging Face 擴大 Hugging Face Optimum 的 IPU-ready Transformers 陣容,現提供涵蓋自然語言處理、語音及電腦視覺的 10 款模型。各模型附有 IPU 設定檔,以及可直接使用的預訓練和微調權重。開源函式庫 Hugging Face Optimum 提供針對 Graphcore IPU 最佳化的現成模型,方便開發者使用。
Hugging Face Hub 推出 Pull Request 和 Discussions 協作功能,現已向所有模型、資料集及 Spaces 倉庫開放。社羣成員可在 Community 分頁提問、分享建議,並透過網站開啟、評論、合併或關閉 Pull Request。Pull Request 使用直接儲存在來源倉庫的自訂 refs,無需為模型或資料集的每個新版本建立 fork。
推薦理由:Hugging Face Hub 以來源倉庫內的 refs 處理 Pull Request,免去為模型或資料集每個新版本建立 fork,呈現其針對 ML 倉庫簡化協作流程的做法。
OpenAI Codex 現正透過 OpenAI API,為涵蓋多種使用場景的 70 款不同應用程式提供支援。
OpenAI 將開始每週從候補名單增添最多 1,000 名 DALL·E 2 研究預覽用户。早期用户至今已創作超過 3 million 張圖像,並協助 OpenAI 改進安全流程。
Gradio 3.0 正式推出,全面重設前端,並加入可在 Python 中構建自訂 Web app 的低階 Gradio Blocks API。前端採用 Svelte 等技術,文章稱載荷更小、頁面載入更快;Dataframe 經改良,並新增 Gallery 和 TabbedInterface。
推薦理由:Gradio Blocks 的 Python 範例展示如何組合元件、事件與版面,構建多步驟互動介面,提供可借鑑的實作思路。
Hugging Face Hub 接入 fastai,讓 fastai 使用者可用單行 Python 程式碼上傳 Learner,亦可從 Hub 載入模型。文章介紹 `push_to_hub_fastai` 和 `from_pretrained_fastai`,並示範 fastai 與 Blurr 的模型分享流程。
Hugging Face 將 Decision Transformer 這種離線強化學習方法整合至 🤗 Transformers 函式庫及 Hugging Face Hub。
OpenAI 在 API 新增嵌入向量端點,支援自然語言與程式碼任務。端點可用於語義搜尋、聚類、主題建模和分類。
推薦理由:新端點涵蓋語義搜尋、聚類、主題建模與分類,呈現嵌入向量在自然語言及程式碼任務中的應用範圍。
Hugging Face 將 Stable-Baselines3 整合至 Hugging Face Hub,讓使用者可託管已儲存的模型,並載入社羣模型。Stable-Baselines3 是 PyTorch 深度強化學習程式庫,整合支援透過 `load_from_hub` 載入模型,並以 `push_to_hub` 上傳分享。
Hugging Face 推出開源 Data Measurements Tool,提供 Python 程式庫及免程式碼介面,供使用者探索、測量和比較 NLP 資料集。工具可呈現缺失值、詞彙與標籤分佈、重複項及嵌入聚類,並以詞對 nPMI 協助檢視資料中的刻板印象。alpha 版本(v0)目前以數個常見英文資料集示範功能,包括 SQuAD、imdb 和 C4。
OpenAI 宣佈其 API 現已不設候補名單,服務可用範圍進一步擴大。公告指出,擴大開放是安全方面進展促成的。
推薦理由:OpenAI API 免候補即可使用的變化,連結到安全方面的進展,提供了理解其擴大開放背景的線索。
OpenAI 發佈 Triton 1.0,這是一種用於神經網絡 GPU 程式設計的類 Python 開源語言。它讓沒有 CUDA 經驗的研究人員也能編寫高效 GPU 程式碼;OpenAI 稱,多數情況下這些程式碼可媲美專家所能產出。
推薦理由:Triton 1.0 以類 Python 語言降低神經網絡 GPU 程式設計門檻,讓沒有 CUDA 經驗的研究人員也能編寫高效程式碼,OpenAI 稱多數情況下可媲美專家產出。
Hugging Face Hub 接入 spaCy,讓使用者可分享 spaCy pipelines,並在瀏覽器試用或透過 Inference API 調用模型。
推薦理由:這次整合把 spaCy pipeline 上傳、瀏覽器試用、NER 推理和安裝入口放在 Hub,呈現模型分享後如何被測試與接入應用。
Hugging Face 推出適用於 Amazon SageMaker 的 Inference DLC 和 Inference Toolkit,支援部署已訓練模型及 Model Hub 上 10,000+ 個公開模型。
推薦理由:文章分別示範訓練完成後、從 Amazon S3 檢查點及從 Model Hub 部署模型,並附上建立 SageMaker 推理端點的程式範例。
Hugging Face Hub 為 Sentence Transformers 推出特徵擷取與句子相似度兩款小工具,並提供 Inference API 端點供程式調用模型。Hub 收錄超過 90 個預訓練 Sentence Transformers 模型,涵蓋超過 100 種語言,使用者可直接載入使用。
推薦理由:文章梳理 Sentence Transformers 模型接入 Hugging Face Hub 的分享與使用流程,涵蓋自動生成模型卡、互動小工具及 Inference API,並交代模型在 Hub 上的展示、調用與發現方式。
Gradio 2.0 讓使用者可用一行程式碼透過 GUI 載入並使用幾乎任何 Hugging Face 模型。預設會使用 Hugging Face 託管的 Inference API,可提供自己的 API key 或免 key 使用;亦可執行 `pip install transformers` 在本機運算。它支援多個模型並行或串聯,文中示範以 3 行程式碼翻譯並摘要芬蘭新聞文章。
推薦理由:文章展示 Gradio 2.0 如何以一行程式碼建立模型 GUI,並串聯或並行組合 Hugging Face 模型,提供比較模型及串接多步任務的實作參考。
Hugging Face 推出 Accelerate,PyTorch 訓練腳本加入五行程式碼後,即可支援不同分散式設定及混合精度訓練。Accelerate 提供統一 API,準備模型、最佳化器及 DataLoader,並處理裝置配置和反向傳播。
推薦理由:Accelerate 將 PyTorch 分散式訓練及混合精度所需樣板封裝成少量 API 改動,並提供統一啟動器,呈現減少訓練腳本跨環境改動的實作方式。
Hugging Face 與 Amazon 宣佈戰略合作,推出 Hugging Face Deep Learning Containers,讓用户可在 Amazon SageMaker 訓練 Hugging Face Transformer 模型。
推薦理由:文章展示 Hugging Face 模型在 SageMaker 的訓練接入方式,並稱 SDK 擴展可把實驗設定與執行所需時間由數天縮至數分鐘。
Hugging Face 團隊提升了 Transformers 中 BERT、RoBERTa、ELECTRA 和 MPNet 的 TensorFlow 模型運算速度。
香港浸會大學研究人員為 BU-Trace 加入 AI 技術,強化 COVID-19 風險提示,並協助醫護人員準確評估病毒暴露風險。系統可透過手機偵測用戶離開食堂或餐廳時提醒記錄離場時間,也可在的士自動記錄乘客離開時間;NFC 入場登記只需一至兩秒,QR code 則需五至十秒。BU-Trace 2.0 現可於 Google Play 下載,稍後將於 App Store 上架。
OpenAI 發佈 API,供存取其開發的新 AI 模型。
OpenAI 推出 Microscope,收錄 8 個常用於可解釋性研究的視覺「模型生物」中每個重要層和神經元的可視化。這些可視化讓研究者更容易分析神經網絡內形成的特徵;OpenAI 希望它能協助研究界理解這些複雜系統。
OpenAI 發佈 Procgen Benchmark,提供 16 個易於使用的程序生成環境。該基準用於直接衡量強化學習智能體學習可泛化技能的速度。
OpenAI 發佈 Neural MMO,這是一個供強化學習智能體使用的大規模多智能體遊戲環境。平台支援在持續且開放式任務中容納數量龐大且可變的智能體。眾多智能體與物種的加入可帶來更佳探索、分化的生態位形成,以及更高的整體能力。