Anthropic 如何在兩週內讓 claude.ai 快 3 倍
How we made claude.ai 3x faster in two weeks
Anthropic 在 8 月以兩週衝刺,將 claude.ai 和 Claude 桌面應用程式的核心用戶體驗整體加快至原來約 3 倍。
這次衝刺展示了以可重複基準、CI 效能門檻和分階段上線構成優化閉環的方法,並由工程師把關改動風險與用戶體驗。
今年八月,我們在兩星期衝刺中,把 claude.ai 和 Claude 桌面應用程式的核心使用體驗加快約 3 倍。使用者一直反映速度慢,而他們説得沒錯。我們所有工作都在同一個 Slack 頻道進行,每條討論串都有 Claude 參與。
我們集中改善佔使用量 95% 的四個流程。以第 75 百分位數計,新載入 claude.ai 後到頁面可供輸入的時間由 3.1 秒降至 0.55 秒;開始新的 Claude Code 工作階段由 0.8 秒降至 0.3 秒;載入 Claude Cowork 雲端工作階段則由 2.6 秒降至 0.73 秒。整體而言,我們估計每天為使用者節省數以萬計小時的等待時間。
核心使用者流程,第 75 百分位數
真實使用者監察,按平台及產品分類,八月 13 日與八月 27 日比較
我們使用 Claude Tag(測試版),並以一個大致相當於 Opus 5.5 的內部研究模型運作。Claude 找出瓶頸、建立基準測試、推出改進,並監察每次部署。我們負責制定目標、權衡取捨,並批准每項改動。採用這種方式,我們合併了三千多項改動,沒有發生任何面向客戶的事故或回滾。本文會介紹我們推出了甚麼、如何量度成效,以及如何與 Claude 建立安全協作循環。
簡介
衝刺開始前,我們建立了一個 Slack 頻道,並加入以下常設指示:
@Claude你的工作是協助處理所有與 claude.ai 網站及桌面應用程式效能有關的事項。你的職責包括監察部署是否出現效能回退、評估現有遙測數據的準確性和完整性、維護整理完善的可觀測性儀錶板、主動針對已觀察到的問題及容易改善之處實施方案、提出效能專案機會,以及與人類隊友溝通。[…]
這個頻道的最終目標,是讓你盡可能自主,但我們知道目前還未能做到。
我們要求 Claude 透過 Datadog MCP 伺服器分析使用數據。它找出影響最大的四個使用者流程:開啟應用程式、開始對話、載入現有對話,以及傳送訊息。計及網頁版和桌面版,以及不同產品,這些流程共有十三項不同量度。為建立基準,我們持續加設儀器,直到各項量度可直接比較:每項都由使用者互動開始,在結果呈現後結束,並區分用戶端和伺服器端工作。
衝刺開始時,我們列出約二十個精心挑選的專案,每個專案針對一項特定流程。Claude 以毫秒估算每個專案的影響,我們再彙總估算值,訂立衝刺目標。有些專案規模頗大,但我們認為大概能在兩星期內完成大部分。
第三天,我們已達成十三個目標中的十二個。
原定專案很早便完成。為加快啟動,我們把靜態撰寫框直接嵌入 HTML,讓使用者可在 React 初始化期間輸入;也預先編譯 V8 程式碼快取,避免桌面版外殼的主程序每次都由頭重新編譯。為加快頁面導覽,我們讓撰寫框在不同對話間保持掛載,在使用者將滑鼠移到工作階段上時預先擷取資料,並把側邊欄重新渲染次數減少 90%。
我們亦預留空間,讓 Claude 找出機會並提出新的工作方向。這些方向很快便發展成各自完整的專案,成效遠超最初目標。因此,我們訂立新目標,並繼續尋找可量度的項目:
@Claude我們最後幾乎為原有清單中的每個專案和更多項目提供資源。讓我們更新一下 […] 有哪些方向仍未探索?哪些地方可以繼續爬坡優化?目前最大機會在哪裏?[…] 我願意接受古靈精怪的點子。
任何東西都可以逐步優化
從一開始,我們便知道希望迭代速度超越部署週期。Claude 可非同步工作多個小時,甚至通宵工作;我們希望它無須等待實際環境數據,也能驗證原型。為此,我們在實驗室尋找其他量度效能的方法。
Sam 找到第一條線索:
#claude-apps-perf · 討論串
Sam下午 12:34
除了計算實際時間外,還有甚麼方法?例如可以量度 JS 指令數嗎?
ClaudeApp下午 12:42
對純 JavaScript 熱點路徑而言,可直接計算指令數:在 Valgrind 下使用
node --predictable執行基準測試,並與已納入版本控制的基準比較;只需執行一次,無須統計分析。Chromium 的瀏覽器路徑沒有指令計數功能,但有一系列其他確定性計數方式:每次互動觸發的 React 提交次數、透過 V8 精確覆蓋率取得的函數呼叫次數、版面及樣式重新計算次數、DOM 修改次數。你想先看哪一項?
Sam下午 12:49
讓我們在同一條討論串研究 Valgrind +
Ir+--predictable,並在新討論串分別研究各項瀏覽器/React 基準測試。每條討論串都通知我。你知道我們要甚麼,開始吧。
十一分鐘後,五條討論串已開始運作,各自專注於不同量度方式:指令數、V8 呼叫次數、React 提交、樣式重新計算和 DOM 修改。
我們對每項新基準測試都抱持審慎態度。每項測試有兩個用途:第一,讓 Claude 在實驗室中改善某項指標;第二,在 CI 中設下只會逐步收緊數值的護欄。如果基準測試不穩定,或與使用者延遲沒有實際關聯,我們便會捨棄它,以免 Claude 努力優化錯誤方向。
@Claude請證明針對以上每項指標逐步優化,能帶來可量度的實際時間效能提升。任何無法證明這點的候選基準測試,我們都會撤掉。
使用者感受到的是實際時間,但它有雜訊,毫秒數亦太不穩定,不能用作 CI 門檻。指令數很吸引,因為它具確定性,但我們仍需要 Claude 證明其變化能反映實際時間。
於是我們要求 Claude 降低兩條熱點路徑的指令數:一條用來組合對話訊息樹,另一條用來掃描 Claude Code 輸出中的狀態行。Claude 以 Valgrind 分析兩者後發現,第一條路徑約四分之一的指令都用於多態字典查找;它對同一訊息 ID 重複解析了三次。
一小時後,它把兩條路徑的指令數分別削減 48% 和 31%,實際時間亦分別減少 78% 和 44%。我們加入了兩個新的遞減門檻。此後,任何令這些路徑指令數上升的 PR 都會在 CI 失敗;每天亦有工作程序在數值下降時進一步降低各自上限。
計數是否能反映實際時間?
CPU 指令數與實際時間
這引出衝刺的核心教訓。有 Claude 在,量度某件事便能令它變得可處理。
過去,量度是第一步:先加入指標、等待數據累積,然後才開始瞭解問題。有 Claude 後,量度成為優化旅程的起點。只要給 Claude 一個需要超越的數字,它便能開始優化。因此,我們能做的高槓桿工作,就是找出更多可量度的項目。
逐條討論串推進的循環
所有工作都在同一個 Slack 頻道進行,多位工程師和 Claude 在每條討論串中協作。衝刺逐漸形成一個循環:
- 有人會就使用流程中一段緩慢的環節開啟討論串,通常附上截圖或錄影。
- Claude 會追蹤整個流程,然後找出或建立可展示問題的基準測試。
- 實驗室中出現有希望的結果後,Claude 會提交 PR,通常會按風險和審查需要拆分為數個 PR,並把任何使用者可見改動放在功能旗標後。
- 改動推出後,Claude 會監察部署並讀取實際環境數據。
- 如果效能有所改善,Claude 便收緊基準測試門檻,確保成效得以維持;否則就關閉旗標並繼續迭代。
- 然後,它會在同一流程中尋找下一個緩慢環節。
循環中的一條討論串
有人開啟討論串,接着由 Claude 接手處理
例如,有人分享了一段螢幕錄影,顯示頁面載入後側邊欄資料列才陸續出現。Chat 和 Cowork 資料列在不同時間載入,令頁面感覺卡頓。我們現有的監察器都未能偵測到。最接近的指標是累積版面配置轉移(Cumulative Layout Shift),但每次轉移的分數只有約 0.008,遠低於 0.1 的良好門檻。
Issac 想到直接參照底層的版面不穩定性 API。Claude 建立遙測事件,把每筆 sources(對應於每個 layout-shift 項目)映射至命名區域(例如側邊欄、對話內容)和階段(例如首次繪製前、可輸入後)。它加設整合測試,載入有資料的側邊欄,延遲側邊欄數據直至首次繪製後,並在任何命名區域發生轉移時令測試失敗。Claude 以此基準證明修正有效:主分支 20 次測試中 20 次全部失敗,而 PR 分支 20 次測試中 20 次全部通過。
事件部署後,Claude 讀取實際數據,發現有 31% 網頁載入在頁面可用後、且沒有任何使用者互動的情況下,仍會移動頁面元素。Claude 接着逐項追查原因:延遲出現的標題列、載入使用者名稱後橫向滑動的文字遊標,以及捲軸出現時移位的清單。它一次過修正了影響最大的問題;問題消失後,再找出下一批。

這只是其中一條討論串。衝刺期間,我們同時運作的討論串超過一百五十條。
橫向擴展
單一討論串的循環運作順利後,要擴展至更多討論串,只需開啟更多討論串。我們不會在原始要求完成後便結束討論串,Claude 反而會繼續推進。單一討論串會提交五十個,有時甚至一百個優化 PR。愈來愈多時候,是 Claude 而非我們自行開啟新討論串,追查它在獨立調查或夜間工作中發現的機會。頻道中的工程師 Shelley 觀察到:「[這個模型] 根本是個數字狂。」
每項量度都能找出可改善之處。Claude 清點 React hook 後發現,撰寫框輸入路徑有 6,900 個 hook 和 900 個 store 訂閲,每次按鍵都會重新渲染。Claude 計算樣式重新計算次數,發現一個 :root:has() 選擇器令每次 DOM 變動多耗 24 毫秒。Claude 追查首次繪製後的程式碼路徑,發現一個遺留的 location.reload() 每天造成五十萬次隱藏重新載入,任何載入指標都無法觀察到。Claude 讀取閒置分頁的效能分析樣本,發現相同快取快照每分鐘兩次被複製至 IndexedDB,且全都在主執行緒執行。
我們很少預先知道一條討論串會帶來甚麼發現。在一次尋找 CPU 卡頓的掃描中,Claude 留意到為已完成的程式碼區塊加上語法標示,可能令頁面凍結約一秒。它在實驗室深入調查後找到原因:破折號。只要回覆的 Markdown 含有任何非 Latin-1 字元,例如破折號或彎引號,V8 就會把整段字串以 UTF-16 儲存,令每個語法標示正則表達式都走較慢的雙位元組路徑。Claude 只用二十行改動,就在語法標示前把每個程式碼區塊複製為單位元組字串,修正了問題。
標示頁面上的第一個程式碼區塊
修正前後的主執行緒阻塞時間
到第二週時,我們已難以把產出濃縮成每日更新。最忙碌的日子有超過二百項改動推出。Claude 持續提出新基準測試;約三分之一 PR 附有額外遙測或護欄,而每項新量度又會帶來更多討論串和機會。
所有工作都在同一頻道公開進行,大家可以進出彼此的討論串,交流決策並分享成果。消息傳開後,其他團隊亦開始把改動帶到頻道,請大家審查效能。由於新增了各種護欄和 Claude 技能,新專案的實作方式也自然變得更有效率。
護欄
我們事先為這種速度做好準備。由於我們處理的大部分都是熱點路徑(首次繪製、撰寫框、對話內容),因此先建立了安全機制。每個 PR 都會接受自動審查,並至少由一名人類批准;優化前必定先有單元測試,任何可能影響使用者體驗的改動都會透過短期功能旗標推出。
功能旗標開始累積後,我們便開啟討論串協調推出和清理工作。Claude 把每個旗標分類為緊急關閉開關或分階段推出旗標,並在安全後立即移除。兩星期內,我們新增近二百個旗標,其中超過一半在衝刺結束前已清理。
我們亦知道效能提升在快速變動的程式碼庫中會逐漸流失,而Anthropic 的程式碼更新速度很快。專案證實有效後,我們便投入資源保護成效。例如,靜態撰寫框刻意採用脆弱設計:我們幾乎即時向使用者顯示頁面的 HTML 副本,然後讓 React 直接在其上繪製。

只要 React 渲染結果與靜態內容相差一個像素,這種效果便會消失。因此 Claude 建立了數十個護欄:
- 靜態標記由 jsdom 渲染真正的 React 元件生成,並設有測試確保兩者永不偏離。
- 整合測試套件會在十四種視窗大小下比較靜態頁面和 React 渲染結果,並斷言對齊誤差在 1 px 以內。
- 按鍵測試會一路輸入並完成交接流程,如有任何按鍵遺失或次序錯亂就會失敗。
- 在實際環境中,每次交接都會回報精確至十分之一像素的版面轉移。只要有事件出現非零移動,Claude 就會開啟討論串。
實驗室無法捕捉所有問題,因此我們也採用最經典的護欄:漸進式推出。高風險改動先向員工推出,再推送給百分之一的使用者,最後才全面推出。靜態撰寫框在內部發布四小時後,一位隊友分享了螢幕錄影,顯示一個我們的指標無法察覺的版面轉移。當他在新分頁開啟 claude.ai 時,撰寫框會向下移,但問題並非由我們的程式碼造成。
#claude-apps-perf · 討論串
Marius下午 6:15
偶爾我會在新分頁開啟 claude.ai 時看到小幅(大概 15–20px)垂直版面轉移(撰寫框被推下去);重新載入頁面時就較少出現。我還未能確定確切原因,但情況確實存在
螢幕錄影 · 0:02
ClaudeApp下午 7:05
我在你的錄影中找到了原因:是 Chrome 調整頁面大小,不是靜態撰寫框交接至正式版本造成的(你今天 49 次載入的量度結果全部為 0 px)。
- 在新分頁頁面中,Chrome 會在頁面下方自行繪製一個 56 px 高的頁尾(「由 anthropic.com 管理 · 自訂 Chrome」)。分頁導覽至 claude.ai 時,頁尾消失,頁面高度增加 56 px,但要在首次繪製後約 100 ms 才發生。
- /new 會把問候語和撰寫框放在距離頁面頂部 18% 的位置,所以它們會下移 0.18 × 56 ≈ 10 px(你的影片量到 10 px)。重新載入時沒有頁尾需要移除,因此只有新分頁會出現;「偶爾」發生,是因為首次繪製有時會早於尺寸調整。
- 只有在使用者仍停留於新分頁頁面並於網址列輸入時,Chrome 預先渲染頁面,才會偶爾發生:隱藏頁面會按較短高度排版,顯示後才重新調整大小。
- 這個問題一直潛伏,只是頁面從未這麼早繪製。我們的版面測試看不到它,因為無頭 Chrome 沒有可收起的新分頁瀏覽器介面,而且佔位內容和應用程式會一起移動。
Claude 不知怎地把問題追蹤到 Chrome 推測式載入的一個邊界情況。使用者在網址列輸入網址時,Chrome 會在背景按目前分頁的高度預先渲染頁面。在機構管理的瀏覽器中,新分頁頁面會因頁尾而稍短。使用者按 Enter 後,claude.ai 的第一個畫格會顯示略矮的版面;約十分之一秒後,Chrome 才調整尺寸。Claude 令版面在尺寸調整期間固定不移,並加入測試模擬預先渲染流程。
引導方向
這個循環效率很高,但並非自主運作。要保持快速、安全並走在正確方向上,是我們的工作,主要有三個部分。
膽識。Claude 預設會謹慎控制範圍。它會把發現列成工單、對可行性保留意見,並把估算時間拉長。但我們對護欄有信心。我們做的許多事情,尤其在初期,都是鼓勵 Claude 更大膽。
#claude-apps-perf · 討論串
ClaudeApp下午 3:32
好 — 我會提交一個小型 PR,讓 Code 也有 Chat 和 Cowork 一直具備的計時標記。本週會提出;實際上,Code 的數值要等幾天,待合併、部署並完成基準期後才會有。
Raymond下午 3:32
如果你現在就提交,我會立即合併並部署。我們有能力做到任何事,請大膽一點。
ClaudeApp下午 3:33
收到 — 我會在一小時內提交 PR。
當我們開始達成訂立的目標時,留意到討論串推進速度變慢。Sam 逐條討論串發送同一則訊息:「讓我們繼續降低數值,目標不是終點。接下來做甚麼?大膽一點。」
品味。每條討論串都有一位具名人類負責人;任何使用者可感知的改動,Claude 都會附上前後截圖或錄影,交由負責人判斷。表格應逐格填入,還是等每列完整後才顯示?載入骨架應立即出現,還是等待半秒才顯示?串流文字逐字淡入,是否值得耗用五分之一的畫格預算?Claude 尋找縮減毫秒數的方法,我們則權衡取捨。
方向。我們刻意把每條討論串範圍收窄,專注一項基準測試或使用流程,只要求 Claude 在該範圍內尋找改進。我們把討論串想像成一百五十把尋找釘子的鐵鎚。大部分決策都關乎排序和使用者影響:優先改善哪些介面、如何整合彼此衝突的討論串,以及何時應結束已開始收益遞減的討論串。有個 900 行的 PR 收到一句回覆:「我會拍板否決,為了每次傳送快 2 ms 而維護這個建置外掛,不值得。」
8 毫秒預算
其中一個支線專案展示了各項做法如何互相配合。為展示即時語法標示所用正則表達式的優化,Claude 附上一段實驗室錄影,顯示長篇回覆正在串流。畫面角落加上了影格率讀數,按頁面中的動畫影格時間戳計算。
#claude-apps-perf · 討論串
Raymond下午 2:33
這個基準測試其實挺厲害。它被限制在 60 fps 嗎?可否嘗試把捲動和串流流暢度推至 120?據我理解,你的設備可能不支援
ClaudeApp下午 2:34
沒錯,今天的設備因為無頭 Chromium 的預設設定而以 60 Hz 運行。我相信可以把它設定為 120(取消垂直同步上限,或使用 DevTools 畫格控制);我會先確認,再以 8.3 ms 畫格預算重新執行評估。
ClaudeApp下午 2:59
120 Hz 設備更新:成功了。透過 DevTools begin-frame 控制,無頭 Chrome 可確定性地以 120 Hz 逐格推進;240 次 begin-frame 恰好對應 240 個畫格,每格 8.33 ms。因此,「這一格是否符合 120 Hz 預算」可以精確判定,不再受雜訊影響。
Raymond下午 3:05
太棒了
開始吧
確認機制和目標後,Claude 便開始工作。每個繪製畫格的預算是 8.33 毫秒,因此 Claude 逐格檢查長篇回覆,為每一格計時以找出緩慢環節。它透過快取已完成區塊,消除每個區塊都要執行的 O(message length) 工作;把不斷增長的程式碼圍欄 token 化邏輯移至 worker,並逐格顯示表格內容。
單是這條討論串,我們便合併近六十個 PR。長篇回覆阻塞主執行緒的總時間,由約 750 毫秒降至約 200 毫秒;CPU 用量降至約三分之一,並在 120 Hz MacBook 上由頭到尾保持 120 fps。這套 120 Hz 設備本身也成為夜間工作,Claude 會監察效能回退。
ClaudeDevs@ClaudeDevs
Claude 網頁版和桌面版的長篇回覆,現時串流流暢度提升約 4 倍。
我們重建了串流渲染器,只更新仍在變化的內容,因此在較慢的手提電腦上,長篇回覆的卡頓減少 9 倍,最嚴重的凍結時間縮短 4.5 倍;在 120Hz MacBook 上則能由開始到結束保持 120fps。
衝刺開始時,我們未計劃優化串流期間畫格之間的毫秒差異。但結果證明,我們可以計算它們;凡能計算的東西,Claude 都能逐步優化。
接下來的工作
今天,claude.ai 和桌面應用程式比八月初快約 3 倍,而遞減門檻應能維持這種表現。但工作尚未完成:第 95 百分位數、其他使用流程和極長對話仍有改善空間。我們也會另撰文章,介紹衝刺期間延伸至上游的部分支線工作,當中改動已合併至 Electron、Chromium、Node.js 等專案。
在內部分享成果時,Issac 的説法最貼切:「六個月前,就算有人告訴我這有可能,我也不會相信。」我們預期會繼續以這種方式工作,不論規模大小,一次處理一條討論串。這個頻道仍在運作。
本文亦有 Alfred Xing、Anthony Morris、Benjamin Pasero、Chase McCoy、Joshua N.、Luke Deen Taylor、Marius Schulz 和 Shelley Vohr 貢獻。特別鳴謝 Boris Cherny 鼓勵我們更有野心。
來源:Anthropic:Claude.dev 開發者博客 · claude.dev