跳到正文
Anthropic:Claude.dev 開發者博客· Vivek Nair·· 2 天前精選AI 評分77

Claude Docs 如何以「chaos loop」強化上線準備,2 billion 次請求僅出現 60 次伺服器錯誤

Using a "chaos loop" to harden the Claude Docs launch: 60 server errors across billions of requests

AI 導讀

Anthropic 團隊在 Claude Docs 上線前,讓 Claude Code 在 staging 環境持續進行大規模壓測,並依遙測資料反覆修正服務。Claude Docs 於 9 月 16 日上線;截至 9 月 22 日,用戶已建立超過 4.6 million 份文件,服務處理 2 billion 次請求僅出現 60 次伺服器錯誤,且未曾回滾。

推薦理由

文章呈現以持續壓測、遙測診斷和明確技術不變條件組成的智能體迴圈,並説明 Claude 如何在 staging 反覆定位及修正服務問題。

正文 · 繁體中文

Claude Docs 公開推出前三星期,服務仍只是在單一節點上運行的概念驗證版本,Anthropic 內部只有數千人使用。我們正趕着在一個雄心勃勃的日期前推出,而我們自己的估算顯示,推出後首幾天內便會有數百萬份文件。

我們於 9 月 16 日推出。到 9 月 22 日,用戶已建立超過 460 萬份文件。在 20 億次請求中,我們只遇到 60 次伺服器錯誤,而且從未需要回滾。整個 Docs 服務只運行在約 50 個記憶體最佳化 Pod 上。

兩項決定讓我們做到這一點:

  • 按上線規模進行混沌測試循環。我們在預備環境設置了一個測試工具,讓 Claude 連續運行兩星期,嘗試破壞服務。它對基礎設施的每個部分進行負載測試,並修復任何出問題的部分。
  • 讓 Claude 更容易理解系統。只有系統在每次迭代中都產生準確的遙測數據,Claude 才能有效完成修正的閉環。我們很早便決定,避免使用任何會以程式碼難以控制的方式使用記憶體或 CPU 的執行環境(例如採用垃圾回收的執行環境)。遙測訊號一旦顯示問題,Claude 就能輕易追查到錯誤或某項具體的設計決定。

不過坦白説,這一切之所以可行,只是因為我們的前沿模型最近進步了很多。(我使用了一個內部研究模型,能力大致相當於 Claude Fable 5.2。)根據我們的經驗,這些模型現在可以在這類執行過程中連續數星期專注於同一個目標,這幫助我們在緊迫的時程內達到上線規模。

混沌測試循環

數千名內部用戶在一部機器上使用服務,無法告訴我們服務能否承受正式推出;而我們顯然也沒有上線流量可供測試。

我們想取得真實證據,以判斷可以多快擴大推出規模。因此,在 9 月 4 日、即推出前約兩星期,我讓 Claude 操控一個仿照正式環境的預備環境叢集,每天產生超過 100 萬份合成文件,並故意破壞核心元件。然後……我就讓它一直運行下去(本文末尾列出了完整成本)。

我的設定相當簡單。整個循環就是一個我讓它持續運行的 Claude Code 工作階段:選擇情境、執行測試工具、讀取遙測數據、提出修正方案、部署到預備環境,然後重複。該工作階段擔任協調者,並把大部分工作交給子代理。最忙的一週,通常代表同一時間約有 11 個子代理運行,最高峯時則有 30 個。協調者亦透過 Slack MCP 與我們內部的 Claude Tag (beta) 版本溝通,向 Anthropic 其他曾擴展類似服務的基礎設施團隊取經。他們的代理會檢查我們的擴展方案,找出他們早已遇過的問題。

有趣的部分,是挑選一些我認為有點過度小心的情境:

  • 一天內建立 10M 份新文件
  • 22,000 條即時連線同時重新連線
  • 一份有數百名用戶瀏覽的熱門文件、伺服器在仍載入文件時被終止,以及資料庫停滯

每次迭代的流程都一樣。我們的測試工具會選取文件建立等功能,並將建立操作推至飽和狀態。接着,Claude 透過 Datadog MCP 讀取遙測數據,然後提出簡短的選項清單和一項建議。

如果建議容易還原,Claude 就會在預備環境撰寫並部署修改,然後重新執行測試。服務執行的每項操作都有遙測數據。例如,每個資料庫查詢都會回報其名稱,以及掃描的資料列數量和傳回的資料列數量,讓 Claude 找出有問題的查詢並改寫。

A loop of eight steps, with a legend marking the steps Claude does and the ones you do. Top row, left to right: the harness adds load, Claude reads the telemetry, Claude proposes options, and you pick one. Bottom row, right to left: Claude writes the change, Claude reviews it in a separate session, you approve, and Claude deploys to staging, which leads back to the harness. Inside the loop: opens instantly, and check that no confirmed edit was lost.
圖 1循環的一次迭代,其中兩項決定由人作出

在循環開始前,我告訴 Claude 哪些決定需要我批准;基本上,任何難以撤銷的事情都包括在內,例如更改資料庫結構或鍵配置,或更改文件的儲存及物化方式。

Claude 遇到其中一項決定時,便會停下來詢問我,通常會附上建議,而我最後通常會批准該建議。資料庫結構變更就是典型例子;我希望這類決定先徵詢我的意見,因為通常有幾個合理的方案,而改變方向往往很麻煩。

在整個測試過程中,Claude 都必須符合兩項不變條件:

  1. 文件必須幾乎即時開啟(即使歷史記錄很長)
  2. 伺服器確認收到編輯操作後,測試必須顯示該編輯仍然存在

讓 CLAUDE 容易理解這項服務

我的同事 Felix Rieseberg 最近撰寫了一篇教學,介紹如何更積極地運用模型。他的主要想法是提高提示 Claude 時的「高度」:要求它達成你想要的結果,而不是完成個別任務。

因此,與其要求 Claude 修正個別崩潰問題,不如要求它令應用程式不再崩潰。(我們自己的應用程式目前尚未完全做到這一點,但我們正是透過這種方式取得實質進展。)不過,要在這個層次上工作,就必須做好程式碼方面的設定,讓 Claude 能自行取得崩潰報告,並執行測試框架,重現每次崩潰並檢查修正是否有效。

對我們來説,目標是打造一項能夠應付產品推出的服務。為此,我們採取兩項措施,盡可能令 Claude 清楚理解這項服務:

  • 診斷循環。每次迭代時,Claude 都會讀取遙測資料,並補上它認為缺少的內容。
  • 容易理解的技術選擇。我們挑選了執行環境和相依套件,確保 Claude 測量的任何數值都能追溯至我們編寫的程式碼。

診斷循環

每次迭代時,Claude 都會讀取遙測資料,並加入它認為缺少的項目。手動加入遙測記錄很繁瑣,因此實際上,大部分遙測記錄都是在出問題後才加入。現在 Claude 會在工作過程中一併加入遙測記錄。

記憶體是最好的例子。

在測試框架早期的一次執行中,一份大型文件在其 pod 上佔用了約 3 GB 記憶體(這數字可不太好看)。Claude 最初嘗試的修正方法,是縮小其中一個快取,讓伺服器更早將文件逐出快取。下一次測試框架執行時,結果顯示記憶體用量實際上是由其中一個相依套件內的另一個獨立快取造成,因此 Claude 撤回了這項改動。

之後,Claude 透過更精細的記憶體分析,繼續逐步縮小問題範圍。最終,它發現每次按鍵輸入都會把文件複製到數個不同的資料結構中,每次增加數 MB。Claude 將這些資料結構改為寫入時複製,因此它們現在會共用同一個參照,而不是各自保存一份副本。

經過約三天的反覆迭代,該文件佔用的記憶體最高約為 180 MB;我們估計推出時所需的記憶體最佳化 pod 數量,則由超過 500 個降至約 50 個。

Claude adds telemetry as it goes. A loop of six steps: the harness stresses the service, the service reports telemetry, and Claude reads it and traces it to a cause. Then Claude adds what's missing, which is highlighted, Claude fixes it or drops a wrong guess, and Claude deploys and reruns, with hard-to-undo changes going to you first, which leads back to the harness.
圖 2診斷循環

容易理解的技術選擇

我們對服務所用的執行環境和相依套件非常講究。我們希望 Claude 測量的任何數值都能追溯至我們編寫的程式碼。

這是因為我們的模型在訊號清晰時,最能透過爬山式最佳化逐步改進。我們預期垃圾回收器會引入雜訊,因為記憶體用量和延遲會隨垃圾回收器的排程而變動。

兩項選擇最有幫助。

  1. 我們使用 Rust 編寫這項服務。由於沒有垃圾收集器,文件的所有記憶體都存放在我們定義的資料結構中,因此記憶體用量增加時,Claude 可以指出哪個資料結構要負責,修改它,並在下一輪迭代查看記憶體用量是否下降。Anthropic 也有很好的 Go 工具,但我們沒有比較這兩種語言,因此這只是我們使用 Rust 的經驗。我以前曾使用 Go,這次令我欣賞的一點是,程式碼用完記憶體後,我幾乎不必再擔心記憶體仍被佔用。
  2. 我們也盡量減少依賴項。每個程式庫都會帶來一些我們沒有編寫、也難以掌握其用量的資料結構。對於少數確實需要的程式庫,我們把程式碼直接納入專案,以便自行閲讀和量度。

對人來説,Rust 很難寫;幾年前,這會是選擇時的重要考量。Claude 用 Rust 和大多數其他語言寫程式都得心應手,因此這一點現在重要得多的程度降低了。

We wanted every number to trace back to code we wrote, so we used Rust and kept dependencies to a minimum. Two lanes. What we chose: Rust and few dependencies, so memory sits in our own structures, then Claude finds the cause, then fixes are easy to check. What we avoided, a bet and not a test: garbage collection and libraries we didn't write, then memory we can't account for, then a noisier signal that is harder to trace to our code.
圖 3易於理解的技術選擇:我們的程式碼能説明的記憶體,以及不能説明的記憶體

發布週

這項服務承受住了發布時的規模。首 100 萬份文件在約 30 小時內湧入,到 9 月 22 日已超過 460 萬份。9 月我們向正式環境部署了 629 次,從未回滾。

發布週的情況有種奇怪的熟悉感。Claude 很擅長設想服務可能出現故障的方式,在發布前很久已為大部分情況做好準備。我們曾在預備環境演練的十種情況中,有七種確實在正式環境發生。當時,測試框架早已在預備環境中演練了大部分情況,而 Claude 也已透過執行階段旗標部署修正方案。基礎設施部分環節承受壓力時,我們通常只需切換旗標。

為何現在行得通

幾個月前,這種做法大概行不通。較舊的模型能透過 MCP 伺服器讀取遙測數據,但在長時間迴圈中迭代十幾或二十次後,便會開始忘記我們要優化甚麼,最後我得重新説明目標。其他 Anthropic 員工將這種情況稱為目標漂移。

我們較新的前沿模型是為長時間運作的工作而打造。經歷多次上下文壓縮後,Claude 仍能記住我們所有的不變條件,我從未需要重複説明。

這樣做的不只我們。Vercel 透過一個與我們相當相似、有人監督的 Agent 迴圈,令 Turborepo 快了最多 96%。

成本

按 Claude Fable 5.2 的 API 標價計算(截至 2026 年 11 月),從 8 月底到發布當日,我大約用了 $125,000 的推理成本。幾年前,我猜這種規模的工作需要一隊工程師花上約六個月。

這筆費用大多用於讀取遙測數據、撰寫方案、產生修正方案和審查程式碼。

關於成本,有幾點值得一提:

  • 我們這次發布的規模特別大。相當一部分費用用於只有達到這種規模才有意義的基礎設施,而要推理這些基礎設施,也需要更多推理運算。Claude 必須更深入地思考日益增多的服務如何配合運作,以及它們可能出現的各種故障。
  • 我也花了不少 token 摸索流程。我在試驗設定期間,迴圈一直不停運行。以我現在掌握的資訊來看,我認為費用可以減半。

嘗試這種做法

這種做法也適用於規模小得多的服務,成本應該會低得多。

為了估算一個大概數字,我按一套典型的小型團隊技術架構計算成本:幾個規模適中的 Kubernetes 節點,以及一個 Postgres 實例。接着,我檢視了自己從 8 月底到正式推出期間完成的修改,並剔除這套架構不需要的工作:

  • 與其他內部服務整合
  • 與擴展工作交織在一起的用戶端及產品工作
  • 在多個 Pod 上運行
  • 細粒度速率限制

約三分之一的修改保留下來。

按這三分之一的比例縮減開支,再扣除我仍在摸索架構時犯下的錯誤,照同一個定價表計算,像這樣投入兩星期,成本大約是 $3,000 至 $10,000(我實際上未有試過這樣做,所以這只是一個粗略估算)。

以下步驟假設由一名工程師使用 Claude Code、預備環境和可觀測性服務供應商來進行。協調器和子代理有助加快流程,但如果你發現它們每小時消耗太多 token,改用單一代理也應該相當可行。如果你想試試:

  1. 讓 Claude 存取你的遙測資料。大部分可觀測性服務供應商都有 Claude 可用的 MCP 伺服器。
  2. 讓 Claude 編寫負載測試指令碼,向預備環境中的服務副本發送十倍於實際流量的請求,並故意令系統出故障。可以先試試終止一個實例、令資料庫停滯,以及在流量激增期間部署。然後讓 Claude 持續修復每次出故障的部分。
  3. 選擇技術架構時,應傾向選用 Claude 最容易量度的方案。對我們來説,那就是 Rust,並盡可能減少相依套件。
  4. 開始之前,先寫下最重要的技術不變條件,並交給 Claude。
  5. 如果某件事很難復原,讓 Claude 停下來,提供幾個方案並清楚説明建議選項。

非常感謝 Docs 團隊在同樣的三星期內完成數以千計的編輯器修正,也感謝平台和儲存團隊建好這一切所依賴的基礎。

延伸閲讀。 我們如何在兩星期內令 claude.ai 快 3 倍 (claude.dev) · 每項任務的執行框架:Claude Code 中的動態工作流程 (claude.dev),探討目標偏移。

來源:Anthropic:Claude.dev 開發者博客 · claude.dev