OpenAI 分享以 Skills、託管 shell 與服務端 compaction 建構長時間運行智能體的實作技巧
Feb 11 Shell + Skills + Compaction: Tips for long-running agents that do real work Practical patterns for building with skills, hosted shell, and server-side compaction in the Responses API. API
OpenAI 分享以 Skills、託管 shell 和服務端 compaction 構建長時間運行智能體的實作模式,涵蓋技能路由、容器復用與網絡配置。Glean 面向 Salesforce 的 skill 將評測準確率由 73% 提升至 85%,並令 time-to-first-token 縮短 18.1%。
文章將 Skills、shell 與服務端 compaction 的分工整理成長流程建構方法,並涵蓋技能路由、產物交接及網絡隔離等可複用設計。
我們正從單輪助理轉向長時間運行的智能體,讓它們處理真正的知識工作:讀取大型資料集、更新檔案和編寫應用程式。
根據開發者的意見,以及我們開發 Codex 和內部智能體的經驗,我們推出一組全新的智能體基礎功能,讓長時間工作的流程更切實可行:
- Skills(符合 Agent Skills 開放標準):可重複使用及版本化的指引,可掛載到容器中,讓智能體更可靠地執行任務。
- 升級版 shell 工具:由 OpenAI 託管並提供受控網絡存取的容器,智能體可在其中安裝相依套件、執行指令碼及撰寫輸出內容(例如報告和成品)。
- 服務端 compaction:自動壓縮長時間運行智能體工作流程的簡便方式,避免觸及上下文限制。
説明文件和 API 參考資料會逐一介紹上述功能。本文聚焦於一些不太顯而易見的技巧和模式,分享我們至今發現最有效的方法,包括 OpenAI 內部工作,以及早期採用 Skills 的客戶 Glean 在生產環境的實踐。
簡明概念模型
Skills:「程序」可供模型按需載入
Skill 是由多個檔案組成的套件,並附有包含 frontmatter 和指示的 SKILL.md manifest。可以把它想像成一份版本化操作手冊,模型在需要處理實際工作時便可參考。
啟用 Skills 後,平台會向模型提供每個 Skill 的 name、description 和 path。模型會根據這些中繼資料決定是否調用 Skill;若決定使用,就會讀取 SKILL.md 瞭解完整流程。
Shell 工具:供智能體使用的「執行環境」
shell 工具讓模型能在真實終端機環境中工作,環境可以是:
- 由 OpenAI 管理的託管容器。
- 由你自行執行的本機 shell 執行環境(工具語義相同,但由你控制機器)。
託管 shell 透過 Responses API 運作,因此請求會具備狀態持續性工作、工具調用、多輪延續及成品。
Compaction:讓長時間工作持續進行
工作流程越長,就越容易遇到上下文視窗限制。服務端 compaction 會管理上下文視窗並自動壓縮對話記錄,讓長時間工作能繼續進行。
Responses API 提供兩種 compaction 方式:
- 服務端 compaction(新功能):上下文超過門檻時,會在串流過程中自動壓縮,毋須另外調用 compaction。
- 獨立 compact 端點:如要明確控制何時壓縮,可使用
/responses/compact。
兩者結合的好處
- Skills 把穩定的程序和範例移至可重複使用的套件,減少提示詞雜亂。
- Shell 提供完整的執行環境,讓你安裝程式、執行指令碼及撰寫輸出內容。
- Compaction 讓長時間工作能延續上下文,因此同一工作流程可持續執行,不必人手整理上下文。
- 三者結合後,就能建立可重複執行且具備實際執行能力的工作流程,而不用把系統提示詞變成脆弱的大型文件。
技巧與訣竅
1) 將 Skill 描述寫成路由邏輯,而非宣傳文案
Skill 的描述實際上界定了模型的決策邊界,應回答以下問題:
- 甚麼情況下應使用?
- 甚麼情況下不應使用?
- 輸出內容和成功準則是甚麼?
一個實用做法,是直接在描述中加入簡短的「適用情況與不適用情況」區塊,並寫得具體清晰(包括輸入、涉及的工具及預期成品)。
2) 加入反面例子和邊界情況,減少誤觸
一種令人意外的失效模式是:啟用 Skills 後,初期正確觸發率反而可能下降。我們發現一個有效的解決方法,是加入反面例子並涵蓋邊界情況。
實際做法是明確寫出幾種「遇到以下情況時不要調用此 Skill……」的案例,並説明應採取甚麼替代做法。這有助模型更準確地選擇路徑,尤其當你有多個乍看相似的 Skills 時。
Glean 親身觀察到這點:在指定評估中,採用 Skill 路由後的觸發率初期下降約 20%;在描述中加入反面例子及邊界情況後,觸發率便回升。
3) 將範本和範例放進 Skill(未使用時幾乎不會產生成本)
如果你一直把範本塞進系統提示詞,現在就停止。
把範本和實例放進 Skills 有兩個優點:
- 需要時(即調用 Skill 時)才會使用。
- 不會為無關查詢增加 token 用量。
這對以下知識工作輸出尤其有效:
- 結構化報告。
- 升級處理分流摘要。
- 客戶計劃。
- 數據分析報告。
Glean 表示,這種做法為其生產環境帶來一些最顯著的質素和延遲改善,因為只有觸發 Skill 時才會載入這些範例。
4) 及早設計長時間工作流程,善用容器重用和 compaction
長時間運行的智能體很少能靠一次性提示成功。應從一開始便規劃如何延續工作:
- 如要使用穩定的相依套件、快取檔案和中間輸出,請在多個步驟之間重用同一個容器。
- 傳入
previous_response_id,讓模型在同一對話串中繼續工作。 - 把 compaction 當作長時間工作的預設基礎功能,而非緊急備用方案。
這種組合可減少重新啟動工作,並在對話串增長時維持多步驟工作的連貫性。
5) 需要確定性時,明確指示模型使用該 Skill
預設情況下,模型會自行決定何時使用 Skill。很多時候這正是你想要的。
不過,若你正在執行有明確契約的生產工作流程(希望結果確定,而非追求靈活),只需説:
「使用 <skill name> skill。」
這是最簡單、最直接的可靠性提升方法,可將模糊的路由決策轉化為明確契約。
6) 將 Skills 與網絡連線視為高風險組合(設計時要考慮限制風險)
這項安全建議很容易被忽略,但日後要修正會相當困難。
Skills 配合開放網絡存取,會形成高風險的資料外洩途徑。如果要使用網絡,請嚴格限制網絡允許清單、假設工具輸出內容不可信;在面向消費者且用戶期望有嚴格確認控制的流程中,避免同時開放互聯網和強大程序。
建議的預設設定:
- Skills:允許
- Shell:允許
- 網絡:只在每個請求採用最小允許清單時啟用,並只用於範圍狹窄的任務
7) 將 /mnt/data 設為成品交接界線
對託管 shell 工作流程而言,應把 /mnt/data 視為標準輸出位置,存放你之後要取回、檢視或傳至後續步驟的內容,例如報告、清理後的資料集和完成的試算表。
一個實用的概念模型:工具寫入磁碟,模型根據磁碟內容推理,開發者則從磁碟取回成果。
8) 瞭解允許清單是由兩層組成(組織層級和請求層級)
網絡連線由兩處控制:
- 組織層級允許清單(由管理員設定),界定最多允許連線的目的地。
- 請求層級的
network_policy,內容必須是組織允許清單的子集。
兩個在實際操作上重要的含意:
- 組織允許清單應精簡而穩定(即「你信任的核準目的地」集合)。
- 每個請求的允許清單應更精簡(即「這項工作所需的目的地」集合)。
如果請求包含組織允許清單以外的網域,就會報錯。
9) 使用 domain_secrets 執行需驗證的呼叫(避免憑證外洩)
如果允許的網域需要驗證標頭,請使用 domain_secrets,確保模型不會看到原始憑證。
執行時,模型只會看到佔位符(例如 $API_KEY),而 sidecar 只會在已核准目的地注入實際值。只要智能體需要在容器內呼叫受保護的 API,這就是很好的預設做法。
10) 在雲端和本機使用相同 API
你可以使用這兩項基礎功能,而不必承諾將所有內容託管在雲端:
- Skills 同時支援託管 shell 和本機 shell 模式。
- Shell 提供本機執行模式,由你自行執行
shell_call,再把shell_call_output傳回模型。 - 如果你使用 Agents SDK,亦可接入自己的 shell 執行器。
實用的開發循環如下:
- 先在本機開始(快速反覆開發、可存取內部工具,亦容易除錯)。
- 需要可重複、隔離且部署一致的執行環境時,再轉到託管容器。
- 兩種模式都使用相同的 Skills(即使執行環境改變,工作流程仍保持穩定)。
三種建構模式
你可以自由試驗這些全新的智能體基礎功能,以下是三個結合它們來建構實用應用程式的例子。
模式 A:安裝 -> 擷取 -> 撰寫成品
這是善用託管 shell 最簡單的方法:智能體安裝相依套件、擷取外部資料,然後產生具體成果。
例如:
- 安裝幾個函式庫。
- 抓取資料或呼叫 API。
- 將報告寫入
/mnt/data/report.md。
這種模式是實務工作智能體的基礎,因為它建立了清晰的檢視界線:應用程式可向用戶展示成品、記錄成品、比較差異,或將成品交給後續步驟。
模式 B:結合 Skills 和 shell,建立可重複執行的工作流程
成功建立一兩個 shell 工作流程後,你會留意到下一個問題:流程能運作,但提示詞逐漸偏移時,可靠性便會下降。
這正是 Skills 派上用場的地方。以下是一個可長期沿用的架構:
- 在 Skill 中編寫工作流程(步驟、防護措施和範本)。
- 把 Skill 掛載到 shell 環境。
- 讓智能體遵循 Skill,以確定的方式產生成品。
以下工作流程尤其適合採用此做法:
- 試算表分析或編輯。
- 清理資料集並生成摘要。
- 為定期業務流程生成標準化報告。
模式 C(進階):以 Skills 承載企業工作流程
我們早期觀察到一種情況:從單次工具調用轉為多工具協調時,準確度可能下降。Skills 可令工具推理更程序化,避免系統提示詞過度膨脹,從而縮小這個差距。
Glean 的一個具體例子:
- 一個面向 Salesforce 的 Skill 把評估準確率由 73% -> 85% 提高,並把首個 token 所需時間縮短 18.1%。
- 實用方法包括仔細設計路由、加入反面例子,以及把範本和範例放進 Skill。
- Glean 亦使用 Skills 編寫企業工作流程中的常規任務,包括客戶規劃、升級處理分流及符合品牌風格的內容生成。
這展現了未來的強大方向:Skills 會成為持續更新的標準作業程序(SOP),隨組織發展而改進,並由智能體一致地執行。
一次建構,隨處執行
當長時間運行的智能體既能遵循程序,又能在電腦上執行實際工作時,便會大幅提升實用性。Skills、託管 shell 和 compaction 共同奠定了這個基礎。總結如下:
- 使用 Skills 編寫操作方法(程序、範本和防護措施)。
- 使用 shell 執行實際操作(安裝、執行和撰寫成品)。
- 使用 compaction 維持長時間工作的連貫性(毋須手動管理上下文)。
- 快速反覆開發時,先在本機開始。
- 需要可重複且隔離的執行環境時,轉用託管容器。
- 透過組織層級和請求層級允許清單嚴格限制網絡連線,並使用網域密鑰執行需驗證的呼叫。
在自己的應用程式中開始使用。請參閲 Skills 説明文件、shell 説明文件和compaction 説明文件瞭解詳情。
來源:OpenAI Developers:Blog · developers.openai.com