Edge0-145B、Edge0-120B 及推理框架開源,支援個人電腦本地部署
Edge0-145B:在您的电脑上体验前沿人工智能功能
Edge0 開源 Edge0-145B、Edge0-120B,以及統一推理框架和部署工具,供開發者在個人電腦本地執行、評測或微調模型。Edge0-145B 有 145B 參數,文章報告其峯值記憶體為 29GB、解碼速度超過 80 tokens/s,並列出編碼、推理及指令遵循等基準成績。本地推理不產生相應的雲端模型 token 或 API 費用,資料可留在電腦,核心模型能力亦可離線使用。
文章拆解模型架構、訓練、載入與 CPU/GPU 排程如何配合推理框架,呈現大規模模型在個人電腦本地執行的設計方法。
今天,我們將 Edge0-145B 和 Edge0-120B 開源,並一併推出統一推理框架及部署工具。Edge0-145B 是全球首個擁有 145 billion parameters 的開源裝置端 AI 模型。它讓你的電腦具備可媲美頂尖雲端模型的編碼、推理及 Agent 能力。
裝置端 AI 長期面對模型能力與硬件可運行程度之間的取捨。較大的模型需要更多記憶體、頻寬及電力;較小的模型則可能難以應付複雜工作。把工作轉移至雲端,則會帶來模型供應商費用、資料處理限制,以及對網絡連線的依賴。
這次發布從四方面應對這些限制:
| 限制 | Edge0-145B 帶來的可能性 |
|---|---|
| 大型模型難以在個人硬件上運行。 | 一個 145B 模型可在兼容的手提電腦上本機運行,據報峯值記憶體用量為 29GB,解碼速度超過 80 tokens/s。 |
| 小型裝置端模型可能難以勝任要求較高的工作。 | 以下比較顯示,在編碼、推理及遵循指示方面,其表現可媲美特定的頂尖雲端模型。 |
| 實用的助手需要完成工作,而不只是回答問題。 | 對於 3D 場景、遊戲、硬件程式及 PCB 設計等項目,模型會制訂計劃、編寫及執行程式碼、排查錯誤,並以視覺方式檢查結果。 |
| 雲端工作流程會帶來持續費用、敏感資料限制,以及對網絡的依賴。 | 本機推理無須支付相應的雲端模型 Token 或 API 費用;資料可以留在電腦上,核心能力亦可在離線時繼續使用。硬件及電費仍需付費。 |
我們將完整技術堆疊開源,讓開發者可以重現結果、評估或微調模型,並將其整合至自己的產品。
我們如何讓 100B+ 參數 AI 在個人電腦上運行
Edge0-145B 手提電腦效能:記憶體、速度及功耗
Edge0-145B 讓擁有 145 billion parameters 的模型可在個人手提電腦上使用。實用的本機模型必須能載入記憶體、迅速處理提示詞、以足夠快的速度生成內容,並控制功耗;同時亦要能持續處理較長的工作。
| 要求 | Edge0-145B 據報表現 | 帶來的功能 |
|---|---|---|
| 記憶體 | 峯值記憶體用量 29GB | 可在兼容的個人手提電腦上運行,例如 MacBook Pro,無須伺服器。 |
| 提示詞處理 | 預填速度超過 1,100 tokens/s | 在開始生成前,可處理長提示詞,包括數十頁程式碼。 |
| 生成 | 解碼速度超過 80 tokens/s | 生成速度比人閲讀速度快。 |
| 功耗 | 一般功耗約 120W | 在據報的設定下持續運作而不會降頻。 |
| 長時間工作 | 128K–256K 上下文 | 處理長輸入時仍基本維持相同速度,支援長時間工作。 |
我們較早前推出的 Edge0-35B 手機版本,據報峯值記憶體用量低於 2.5GB。在 iPhone 18 Pro Max 上,Edge0-35B 的速度超過 37 tokens/s,記憶體用量約為 2.5GB。Edge0-145B 的參數數量約為其四倍;手提電腦比較結果顯示,其速度超過 80 tokens/s,峯值記憶體用量為 28GB。這些測量數據適用於不同的模型及硬件。

裝置端模型規模的變化。圖表涵蓋來自 14 間實驗室、參數量至少為 1B 的 67 個開放模型,這些模型供手機、手提電腦及 AI PC 使用。同一規模的基礎、指令微調及推理版本只計算一次;每條線追蹤一間實驗室推出的最大模型,包括 2025 年 7 月之前發布的模型。實心點代表創下新高,空心點代表其他發布版本。40B 以下採用對數刻度,以上則採用線性刻度。Apple 不在圖表之列,因為其模型權重並未公開。資料來源:供應商公告及模型卡。
為何裝置端模型一直規模較小
記憶體限制令大多數裝置端模型在 2026 年 9 月之前都低於 10B 參數。Apple Intelligence 的裝置端基礎模型約有 3B 參數,而 Google 的 Gemini Nano 則有 1.8B 及 3.25B 兩個版本。即使是 7B 模型,也可能佔用約 4GB 記憶體。
較大型模型面對記憶體瓶頸。模型權重會佔用儲存空間,並須在生成內容時讀取,與作業系統及其他應用程式爭用有限的記憶體和頻寬。即使經過大幅壓縮,35B 模型仍可能需要約 20GB 記憶體,遠超手機可提供的容量。
運算能力、頻寬及電力帶來互相牽制的限制。較大型模型功能更強,但會對記憶體容量、生成速度及電池續航力造成更大負擔。縮小模型有助它們容納於裝置中,但往往會犧牲部分功能。
單靠私隱保障無法縮小這個差距。Apple Intelligence 保護用戶資料,但 Apple 承認,其裝置端模型並非為需要一般世界知識的智能代理應用而設。當時普遍認為,裝置端智能無法媲美雲端智能。
深入瞭解 Edge0:模型與推理設計的四個層面
我們同步設計 Edge0-145B 及其推理引擎,以減少令大型模型難以在本機執行的記憶體用量及資料搬移。這項設計涵蓋架構、訓練、載入及排程。
架構:讓稀疏專家共用大型矩陣。共用矩陣可大幅減少必須儲存及搬移的權重,同時維持專家數量不變。每組 64 個專家共用兩個大型矩陣,而每個專家則保留一小組參數,以呈現彼此的差異。以往每個專家都會儲存一套完整矩陣。在模型總計 145B 個參數中,每個推理步驟只有約 10B 個參數會參與運算。
訓練:從第一天起便為本機執行而設計。我們從一開始便以模型的裝置端架構進行訓練,並將部署限制納入設計。這樣便無須在雲端模型訓練完成後,再把本機部署視為壓縮或剪枝步驟。
載入:讓 GPU 記憶體、系統記憶體及 SSD 存取形成流水線。讀取與運算在三個儲存層級之間重疊進行,避免依序等待。常用的「熱門專家」會留在 GPU 記憶體中。約 40GB 的專家庫存放於系統記憶體,需要時再載入 GPU 記憶體。約 48GB 的詞彙資料存放於 SSD,並按需要讀取。
排程:讓 CPU 與 GPU 協同運作。GPU 運算已快取的專家,同時由 CPU 平行處理其餘工作。推測解碼會一次驗證多個候選詞元,讓讀取權重的成本分攤至更多輸出詞元。這些做法支援其所報告的 80+ tokens/s 解碼速率。

模型與推理引擎設計相互配合,讓在個人電腦上實際進行 100B+ 參數推理成為可能。來源:內部測試。
這些改動共同令參數量可由數百億增至逾千億,而記憶體用量、耗電量及延遲不會按比例增加。
Edge0 能做甚麼:從聊天到在電腦上處理複雜工作
Edge0-145B 可以完成複雜任務,並交付可用成果。它的程式編寫及推理能力支援本機工作流程,結合規劃、工具使用、執行、除錯及視覺檢查。基準測試展現其能力,示範則顯示它如何運用這些能力。
程式編寫及推理能力媲美前沿雲端模型
Edge0-145B 在程式編寫、推理、知識及遵循指令方面,與特定前沿雲端模型相比具競爭力:
- 程式編寫:它在 DeepSWE 1.1 得分 64.6,高於 Qwen3.8-Flash-Next 的 58.7 及 DeepSeek-V4-Flash-0731 的 54.4。
- 推理及知識:它在 GPQA-Diamond 得分 90.4,接近 DeepSeek-V4-Flash-0731 的 90.8 及 Claude-Opus-4.6 \(Max\) 的 91.3。
- 遵循指令:它在 IFBench 得分 80.6,高於 DeepSeek-V4-Flash-0731 的 79.2 及 Claude-Opus-4.6 \(Max\) 的 62.5。
它在 Terminal-Bench 2.1 得分 86.52,亦高於 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7 及 Claude 的 78.2。在 AA-LCR 上,Edge0-145B 得分 79.3,Claude 則為 78.0。這些比較只適用於列出的模型及評測。
| 模型 | DeepSWE 1.1 | Terminal-Bench 2.1 | HLE | GPQA-Diamond | IFBench | AA-LCR |
|---|---|---|---|---|---|---|
| Edge0-145B | 64.6 | 86.52 | 35.4 | 90.4 | 80.6 | 79.3 |
| Edge0-120B | 53.6 | 81.3 | 31.0 | 87.4 | 79.3 | 81.0 |
| Qwen3.8-Flash-Next | 58.7 | 83.3 | 35.9 | 91.7 | 81.3 | 79.1 |
| Qwen3.8-27B | 42.2 | 73.0 | 30.8 | 89.2 | 79.5 | 82.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 33.8 | 90.8 | 79.2 | 79.7 |
| Flint 40B | — | 54.9 | — | — | 89.2 | — |
| Muse Glimmer | — | 51.7 | 22.0 | 83.5 | 77.0 | 83.3 |
| Gemma 4 | — | 43.4 | 22.7 | 85.7 | 76.0 | 62.0 |
| Claude-Opus-4.6 \(Max\) | — | 78.2 | 40.0 | 91.3 | 62.5 | 78.0 |
分數以百分比表示;分數越高越好。橫線表示沒有公開分數,而非得分為零。
Edge0、Qwen、DeepSeek 及 Claude 的結果來自 Edge0 的內部評測。Claude-Opus-4.6 沒有公開的 DeepSWE 1.1 分數。Flint、Muse Glimmer 及 Gemma 4 的 Terminal-Bench 2.1 和 IFBench 結果來自 Recursive Flint 評測;HLE、GPQA 及 AA-LCR 的結果來自 Artificial Analysis。
相較於主流裝置端模型基準 Qwen3.8-27B,最大提升出現在 Agent 及程式編寫工作:Terminal-Bench 提升 18.5%,DeepSWE 提升 53.1%。HLE、GPQA 及 IFBench 的相對提升分別為 14.9%、1.3% 及 1.4%。
DeepSWE 1.1 和 Terminal-Bench 2.1 評估 Agent 及程式編寫工作。HLE、GPQA-Diamond 和 IFBench 涵蓋推理、知識及遵循指令。完整的評測設定、硬件環境及重現指引將隨技術報告一同發布。

在佔用較少記憶體的情況下保持競爭力
Edge0-145B 在六項基準測試的平均分為 72.8,實測峯值記憶體用量為 29GB。Qwen3.8-Flash-Next 的平均分為 71.7,標準 4 位元部署的估計記憶體用量為 70GB。換言之,Edge0-145B 的記憶體用量約為基準模型估計值的 40%,同時提供相若或更高的能力,讓用戶可在 48GB 手提電腦上本機使用。
| 模型 | 六項基準測試平均分 | 記憶體用量 \(實測或估算\) |
|---|---|---|
| Edge0-145B | 72.8 | 29GB |
| Edge0-120B | 68.9 | 29GB |
| Qwen3.8-27B | 66.1 | 約 18GB* |
| Qwen3.8-Flash-Next | 71.7 | 約 70GB* |
| DeepSeek-V4-Flash-0731 | 70.1 | 約 87GB* |
平均分數涵蓋 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR。Edge0 的記憶體數據是內部實測峯值。標有星號的基準數值按標準 4-bit 部署估算,仍有待實測。未納入 Claude,因為它只提供雲端服務,而且沒有 DeepSWE 分數。

[圖表:品質與峯值記憶體用量的比較,標示 48GB 筆記簿型電腦和 64GB 工作站的容量。記憶體用量越低、分數越高越好;圖表的縱軸並非從零開始。]
能夠規劃、編寫程式碼、執行並檢查成果的本地 Agent
只需一個自然語言請求,即可啟動整個本地工作流程。Edge0-145B 會拆解要求、規劃步驟、編寫程式碼,並呼叫工具執行。遇到問題時,它會除錯並修復程式碼。接着,它會截圖檢查結果,反覆調整,直至完成工作。
這類項目往往需要數十輪規劃、執行和檢查。本地推理意味着額外對話、程式碼修改和視覺分析都不會產生相應的雲端模型 Token 或 API 費用。程式碼和資料可以留在電腦上,而模型的核心功能亦可離線運作。
影片製作:一小時內製作 Tesla Roadster 解説影片
Edge0-145B 製作了一段解説 Roadster 如何飛行的影片,負責技術資料研究、撰寫腳本、生成素材和剪輯。我們要求它以一般觀眾容易理解的方式講解原理。模型在本地運行,沒有呼叫雲端模型或消耗雲端 Token,亦避免了推理時經網絡來回傳輸資料。
影片在一小時內完成。若以人手製作同等作品,導演和編劇、3D 建模師、剪輯師及物理專家需要一個月時間。以往製作 AI 影片的工作流程可能要花費數百美元以上;本地推理則免除了相應的雲端模型 Token 和 API 費用。
3D 建模:在 Blender 中打造曼哈頓城市場景
Edge0-145B 在一小時內建成曼哈頓的 3D 場景。它在 Blender 中以文字和參考圖片為依據,構建場景、調整材質和燈光,並反覆調整渲染結果。
這個工作流程把視覺檢查、程式碼生成和修改整合在 Blender 之中。模型能處理物件、空間關係和創作目標,不只着眼於參考圖片中的像素。它會檢查結果、編寫程式碼並作出修改,無須把這些步驟交由人手處理。整個流程都在本地完成。
人手打造曼哈頓規模的城市場景,通常要花費約 $12,000-18,000,並至少耗時一個月。使用頂尖雲端模型仍會產生超過 $150 的雲端 Token 費用。Edge0-145B 可在本地完成推理,無須支付這些雲端模型 Token 費用。
遊戲開發:可遊玩的遊戲和中世紀城市
Edge0-145B 能在本地製作可遊玩的遊戲。我們亦運用它的 3D 建模能力,為奇幻 RPG 打造原創的中世紀首都,並以遊戲預告片的質素製作 20-second fly-through。
模型獨立規劃城市,並在 Blender 中從零開始建造:城牆、一千多座古城區住宅、廣場噴泉、哥德式雙塔立面、肋架拱頂中殿,以及彩色玻璃窗。
固定的鏡頭路徑令錯誤一目瞭然。幾何裁切、遮擋或比例不正確等問題會沿途顯現,因此模型會檢視渲染結果,並在建構過程中修正作品。整個工作流程完全在本機執行。
領先的雲端模型使用相同的提示詞、參考圖片和鏡頭路徑,完成一次生成就需要數百次工具呼叫和數億個 token。Edge0-145B 可在手提電腦上完成同一項工作,本機推理毋須支付雲端模型的 token 或 API 費用。美術團隊通常要花數星期和數千美元,才能製作出達到這種水準的城市場景。
硬件控制:編寫控制真實無人機飛行的程式
Edge0-145B 只需一項指令,便為真實無人機編寫程式:「編寫一個無人機程式,讓它穿越障礙物並找出紅色背包。」
它在本機生成飛行控制及視覺辨識程式。無人機隨後在室內起飛,穿越一排密集的障礙柱、自主搜尋,並在牆邊找到紅色背包。整項任務毋須人工編寫程式碼,也毋須呼叫雲端服務。
硬件開發人員可以描述所需的行為,讓模型將其轉化為真實裝置的程式,毋須在編輯器、文件和除錯工具之間反覆切換。
PCB 設計:從 KiCad 佈局到組裝動畫
Edge0-145B 將 PCB 設計從元件佈置一路做到組裝視覺化。我們要求它為自己設計一塊電路板。它從零開始在 KiCad 中設計,放置元件、完成雙層電路板佈線,再將設計匯入 Unreal Engine 5。接着,它設定鏡頭和燈光,並渲染出展示 PCB 製作及組裝過程的動畫。
一部電腦便完成了過去需要硬件工程師和 3D 設計師花數天時間來回交接才能完成的工作。原理圖和電路板佈局可以保留在團隊自己的硬件上,既有助保護商業機密,也符合資料處理要求,毋須將設計上載到雲端模型。
為何選擇 Edge0:裝置端 AI 的完整技術堆疊
要讓裝置端 AI 發揮實用價值,模型開發、推理工程和硬件適配必須互相配合。我們的進展建基於三項能力:快速開發互補模型、最佳化整個技術堆疊,以及將每次部署的經驗帶到下一次部署中。
我們在 9 月發布的 Edge0-35B,展示了這種方法在手機上能做到甚麼。發布帖文在首日便獲得超過 120 萬次瀏覽,而且沒有在海外社羣付費推廣。OpenAI、NVIDIA、Qualcomm 等公司的研究人員和技術專家都分享了帖文,該模型亦登上 Hugging Face 整體 Trending 榜單第 1 位。
我們同時發布模型權重和統一推理框架,為企業和研究人員提供一套可複現的標準方法。這次發布有助將裝置端 AI 的討論焦點,從數十億參數推進至 35B 級別。
適用於裝置端 AI 的四個模型系列
過去一年,我們在四個系列中發布了 200 個模型。每個系列負責不同的工作範疇,涵蓋聆聽和説話、快速決策、記憶及複雜的 Agent 任務。
| 模型系列 | 角色 | 模型與功能 |
|---|---|---|
| Edge0 | 複雜的 Agent 任務與 vibe coding | 適用於手提電腦的 145B 和 120B 模型;適用於手機的 35B 和 8B 模型。手提電腦型號支援 vibe coding,手機型號則支援 Agent 任務。 |
| Audio8 | 聆聽與説話 | ASR-Infinite,以及用於語音識別的 3B、0.6B 和 0.1B ASR 模型;用於語音合成的 0.6B 和 0.1B TTS 模型;以及用於端到端語音互動的 0.1B Chat 模型。 |
| Decision0 | 快速決策 | 涵蓋文字、語音和視覺的 0.6B 和 3B 模型,可在約 40 毫秒內作出多模態決策。 |
| Embedding0 | 記憶 | 一款 0.6B 多模態嵌入模型,適用於文字、語音、圖片、影片和檔案,支援本機長期記憶和檢索增強生成 \(RAG\)。 |

整個模型系列的參數量由數千萬至逾千億不等。Edge0 和 Audio8 均曾登上 Hugging Face 的 Trending 排行榜第 1 位。
協同設計的模型與推理系統
我們同步開發模型和推理框架,將硬件限制納入訓練,並針對不同晶片優化引擎。這樣便能把模型能力與在本機使用模型所需的軟件和硬件連接起來。
這項工作需要具備模型開發、推理框架和底層硬件適配方面的專業知識。只專注於模型開發的公司難以複製這種組合。
可延續至每次部署的硬件優化
每次部署都會為下一款晶片、模型或產品帶來可重用的優化。這一點很重要,因為裝置端硬件種類繁多:NPU 架構各不相同,對 INT4、INT8 和 FP4 等數值格式的支援也有差異。通用模型無法自動充分運用每款晶片。
我們會針對個別平台作出調整。目前,我們的產品組合已涵蓋 95% 的主流晶片平台,包括 Qualcomm、BES、Rockchip、Allwinner、D-Robotics 和 NVIDIA,應用於耳機、眼鏡、手機、個人電腦和機械人。這是整個產品組合的覆蓋範圍;不同模型的要求各異,並不代表每部裝置都能運行 Edge0-145B。
相關部署現已涵蓋逾 5 million 部量產裝置。我們的開源模型在三個月內突破 15 million 次下載。截至 2026 年 10 月,我們的客戶機構超過 110,000 個。
產品組合的數據來自公司論文和內部測試,描述的是更廣泛的 Edge0 產品組合;本文中的 145B 效能結果則專指 Edge0-145B。
Edge0-145B 在首日已支援 macOS、Windows 和 Linux,包括 Apple M 系列晶片,以及 RTX Spark、RTX 4090 和 RTX 5090 等 NVIDIA 平台。這次發佈亦包括一鍵部署工具和硬件指南。
裝置端 AI 與雲端的未來
隨着本地模型的能力逐漸接近雲端級別,較複雜的工作也可留在裝置上處理。私隱、成本控制和離線存取一直是本機執行的優勢;剩下的問題是,裝置上的模型能否勝任這些工作。Edge0-145B 擴大了它能處理的任務範圍。
更多 AI 工作為何可留在本機處理
本機執行可解決採用純雲端 AI 的四項實際障礙:
- 控制雲端模型成本。使用量增加時,本機推理不會產生相應的雲端模型 token 或 API 費用。
- 讓敏感資料留在本機。程式碼、文件和商業紀錄可留在硬件上,讓團隊掌控資料處理方式。
- 維持流暢的使用體驗。模型和推理引擎的設計會一併兼顧回應速度、耗電量、系統反應和持續運作能力。
- 讓核心功能在離線時仍可使用。連線中斷時,本機任務仍可繼續執行;依賴網上資訊或服務的功能則仍須連線。
由雲端優先走向更複雜的裝置端工作
我們看到裝置與雲端之間的工作分工正經歷三個階段。
2026年9月前:雲端優先,並支援裝置端運作。Apple Intelligence 反映了這個階段:它保障私隱,但僅在本機處理有限範圍的任務;更高要求的工作則依靠雲端功能。
Edge0-35B 於9月10日發布後:日常任務在本機處理,複雜任務交由雲端處理。本機模型可處理需要即時回應的常見要求。對一家領先的耳機製造商而言,我們的混合方案目前在裝置上處理92%的 AI 使用量,雲端則處理8%。日常對話是消費級穿戴式裝置的大部分使用情境。
有了 Edge0-145B:邁向裝置端優先,並由雲端支援。Vibe coding 及其他複雜任務現在可在個人電腦上執行,讓團隊有更大空間選擇本機執行。這擴大了可留在裝置上處理的工作範圍,同時保留雲端支援需要雲端或相關硬件的任務。

圖表展示 AI 從雲端優先,轉為日常任務在本機處理,再發展至更複雜的工作也在本機處理。圖中的色塊僅作示意,並非實際使用量佔比。
雲端 AI 仍適用於哪些情況
硬件限制仍會決定哪種模型最合適。運算能力、散熱及電池續航力都很重要:Edge0-35B 可在手機上運行,而 Edge0-145B 則可在配備合適硬件的手提電腦上運行。運算能力非常有限的裝置目前無法在本機運行 145B 模型,因此需要使用適合其硬件的較小型模型,或連線至雲端使用同等規模的模型。
跨裝置長期記憶,以及需要高度即時資訊的搜尋,仍須使用雲端服務。本機模型與雲端模型可以協同運作;兩者如何分工,取決於任務、硬件及所需資訊。
我們的目標是讓本機執行成為處理高要求工作的實際選擇,並提供能力強大的模型,讓它能在靠近使用者的地方持續運作。這是邁向我們目標的下一步:讓每個人都能享有零距離智能。
開始使用 Edge0
下載模型,在本機運行、評估或微調,並將模型整合至自己的產品:
- 模型權重:Edge0-145B 及 Edge0-120B,可於 Hugging Face 取得。
- 推理框架及部署指南:GitHub 上的 Edge0。
- 無須設定環境即可試用:下載 Edge0 App。其核心模型功能可離線使用,無須帳戶或使用額度。
- 社羣:到 Discord 加入我們。
如需硬件或產品整合,請透過 GitHub 或 contact@autoark.ai 聯絡 Edge0 團隊。
來源:Hacker News 熱門(buzzing.cc 中文翻譯) · edge0.ai