Hugging Face 收購 XetHub,計劃將其技術用於 Hub 儲存後端
XetHub is joining Hugging Face!
Hugging Face 宣佈收購 XetHub,並計劃以其技術替換 Hub 現有的 Git LFS 儲存後端。文中舉例,10GB Parquet 檔案新增一行時只需重傳少數區塊;未來修改 GGUF header 的單一 metadata 值,也只需重傳數 KB 的區塊。
XetHub 的分塊與去重技術將用於 Hub 儲存後端,文中的 Parquet 和 GGUF 例子展示小幅修改如何減少大型檔案的重傳量。
我們非常興奮地正式宣佈,Hugging Face 已收購 XetHub 🔥
XetHub 是一間總部位於西雅圖的公司,由 Yucheng Low、Ajit Banerjee 和 Rajat Arya 創立。他們此前任職於 Apple,曾在該公司建立並擴展內部機器學習基礎設施。XetHub 致力為 AI 開發實踐軟件工程最佳做法,並開發出讓 Git 可擴展至 TB 級儲存庫的技術,讓團隊能探索、理解並協作處理持續演進的大型資料集和模型。其後,一支由 12 人組成的優秀團隊加入。歡迎關注他們的新組織頁面:hf.co/xet-team
我們在 HF 的共同目標
XetHub 團隊會協助我們開啟 HF 資料集和模型未來 5 年的增長潛力,方法是把 Hub 儲存庫的儲存後端轉換為我們自行開發、效能更好的 LFS 版本。
– Julien Chaumond,HF 技術總監
2020 年建立 HF Hub 第一個版本時,我們決定以 Git LFS 為基礎,因為它當時相當普及,也是啟動 Hub 使用的合理選擇。
不過,我們當時已知道,日後會希望轉用自家更經最佳化的儲存和版本管理後端。Git LFS 雖然全名是 Large File Storage,但它根本不是為 AI 中處理的那類大型檔案而設;這些檔案不只是大,而是非常非常大 😃
未來應用範例 🔥——這項技術將為 Hub 帶來甚麼
假設你有一個 10GB 的 Parquet 檔案,只新增一列資料。今天,你需要重新上載整個 10GB 檔案。採用 XetHub 的分塊檔案和重複資料消除技術後,你只需重新上載包含新資料列的少數資料區塊。
再以 GGUF 模型檔案為例:假設 @bartowski 想修改 Llama 3.1 405B 儲存庫 GGUF 標頭中的單一 metadata 值。將來,bartowski 只需重新上載一個數 KB 的資料區塊,過程會有效率得多 🔥
未來幾個月,業界將邁向 trillion 參數模型(感謝 Maxime Labonne 推出新的 BigLlama-3.1-1T 🤯);我們希望這項新技術能讓社羣和企業都突破規模限制。
最後,大型資料集和模型也帶來協作挑戰:團隊如何共同處理大型資料、模型和程式碼?用戶又如何理解資料和模型的演變?我們會繼續尋找更好的解決方案。
Hub 儲存庫目前的一些有趣數據 🤯🤯
- 儲存庫數量:1.3m 個模型、450k 個資料集、680k 個 Spaces
- 累計總容量:LFS 儲存 12PB(280M 個檔案)/Git 儲存 7,3 TB(非 LFS)
- Hub 每日請求數:1B
- Cloudfront 每日頻寬:6PB 🤯
來自 @ylow 的個人分享
我在 AI/ML 領域工作超過 15 年,見證深度學習逐步應用於視覺、語音、文字,實際上也愈來愈深入各種資料領域。
我嚴重低估了資料的力量。幾年前看似不可能的任務(例如圖像生成),後來只要增加數個數量級的資料,並配合有足夠容量吸收這些資料的模型,就能實現。回頭看,這是機器學習歷史上不斷重演的一課。
自博士研究以來,我一直從事資料領域工作。最初在 GraphLab/Dato/Turi 新創公司任職,讓結構化資料和機器學習演算法能在單一機器上擴展。公司被 Apple 收購後,我協助把 AI 資料管理擴展至 >100PB,支援 10s 個內部團隊每年推出 100s 項功能。2021 年,我與共同創辦人一起,在 Madrona 和其他天使投資者支持下成立 XetHub,把我們實現大規模協作的經驗帶給全世界。
XetHub 的目標是讓機器學習團隊像軟件團隊一樣運作:將 Git 檔案儲存擴展至 TB 級,無縫支援實驗和可重現性,並提供視覺化功能,讓人瞭解資料集和模型如何演變。
我和整個 XetHub 團隊都非常期待加入 Hugging Face,繼續推動讓 AI 協作和開發更容易的使命:把 XetHub 技術整合到 Hub,並將這些功能交給全球最大的機器學習社羣使用!
最後,我們的基礎設施團隊正在招聘 👯
如果你對這些領域有興趣,並想為開源 AI 運動建構和擴展協作平台,歡迎聯絡我們!
來源:Hugging Face Blog · huggingface.co