GGML 團隊加入 Hugging Face,支持 llama.cpp 及 Local AI 長期發展
GGML and llama.cpp join HF to ensure the long-term progress of Local AI
GGML 團隊加入 Hugging Face,並將持續維護 llama.cpp;Hugging Face 會為項目提供長期資源支持。團隊仍將 100% 時間用於維護,並對技術方向及社羣保有完全自主權與領導權;項目會繼續 100% 開源並由社羣推動。雙方計劃讓 transformers library 的模型定義更順暢地用於 llama.cpp,並改善 ggml 軟件封裝及本地模型部署體驗。
文章交代 GGML 團隊加入後 llama.cpp 的維護自主權與資源支持,也列出連接 transformers library 模型定義及改善本地部署體驗的方向。
我們非常高興宣佈,GGML(Llama.cpp 的創作者)將加入 HF,攜手讓未來的 AI 保持開放。 🔥
Georgi Gerganov 與團隊將加入 HF,目標是在未來數年 Local AI 持續取得指數級進展之際,擴大並支援 ggml 和 llama.cpp 背後的社羣。
我們與 Georgi 及團隊合作已有一段時間(團隊中已有 llama.cpp 的優秀核心貢獻者,例如 Son 和 Alek),所以這次合作水到渠成。
llama.cpp 是本機推論的基礎構件,而 transformers 是模型定義的基礎構件,因此這簡直是天作之合。 ❤️
llama.cpp 這個開源專案及其社羣會有甚麼變化?
不會有太大變化:Georgi 與團隊仍會把 100% 的時間用於維護 llama.cpp,並在技術方向和社羣方面保有完全自主權及領導權。 HF 正為專案提供長期且可持續的資源,提升專案成長和蓬勃發展的機會。專案會一如既往,維持 100% 開源並由社羣主導。
技術重點
llama.cpp 是本機推論的基礎構件,而 transformers 是模型和架構定義的基礎構件,因此我們會確保未來能盡可能無縫地(幾乎「一鍵完成」)從 transformers 程式庫這個模型定義的「唯一真確來源」,將新模型帶到 llama.cpp。
此外,我們會改善以 ggml 為基礎的軟件套件和使用體驗。隨著本機推論逐漸成為雲端推論以外具實際意義且具競爭力的選擇,改善並簡化一般用戶部署和使用本機模型的方式至關重要。我們會致力令 llama.cpp 無處不在,並隨時可供使用。
我們的長遠願景
我們共同的目標,是在未來數年為社羣提供所需的基礎構件,讓開源超級智能普及全球。
我們會與日益壯大的 Local AI 社羣攜手實現這個目標,同時繼續打造終極推論技術堆疊,讓它在我們的裝置上以盡可能高的效率運作。
來源:Hugging Face Blog · huggingface.co