跳到正文
阿里雲開發者社區 AI·· 10 小時前精選AI 評分79

LiteLLM 半年兩度遭投毒,大語言模型的「鑰匙串」應放在哪裏?

LiteLLM 半年两度被投毒,大模型的“钥匙串”该放在哪里?

AI 導讀

LiteLLM 在 2026 年第二次遭供應鏈投毒,1.107.0 的惡意構建產物透過 Python 啟動鈎子竊取雲端、AI 工具及代理憑證。文章對照 Higress 的 Wasm 沙箱與不可變發布流程,説明如何限制擴展程式的檔案、環境變數和網絡權限,並建議受影響用戶輪換所有憑證。

推薦理由

文章把 LiteLLM 投毒的攻擊路徑與 Higress 的 Wasm 沙箱及不可變發布流程逐項對照,呈現權限隔離和版本鎖定如何限制供應鏈事故的影響範圍。

正文 · 繁體中文

2026-11-19 1

版權

版權聲明:

本文內容由阿里雲實名註冊用戶自發貢獻,版權歸原作者所有,阿里雲開發者社區不擁有其著作權,亦不承擔相應法律責任。具體規則請查看《 阿里雲開發者社區用戶服務協議》和 《阿里雲開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容,填寫 侵權投訴表單進行舉報,一經查實,本社區將立刻刪除涉嫌侵權內容。

作者:澄潭

從 1.107.0 事件,看 Higress 的 Wasm 沙箱與不可變發佈。

北京時間 10 月 21 日 19:39,LiteLLM 1.107.0 出現在 PyPI 上。7 分鐘後,Docker Hub 和 GHCR 上的 latest、main-stable 等標籤也被指向了投毒鏡像。

LiteLLM 是一個周下載量約 2300 萬的開源 LLM 代理,這已經是它在 2026 年第二次遭遇供應鏈投毒。上一次是 3 月 24 日的 1.82.7 / 1.82.8,兩次只隔了 7 個月。

兩次事件裏,攻擊者要的東西幾乎一樣:雲憑證、SSH 私鑰、K8s Token,還有 LiteLLM 代理裏集中保管的、整個組織所有大模型廠商的 API Key。安全公司 Wiz 觀察到,惡意版本發佈後不到 5 個小時,攻擊者就開始拿偷來的 AWS 憑證調用 bedrock:ListFoundationModels。

3 月份我們寫過《OpenClaw 依賴的 LiteLLM 被投毒》,介紹了 Higress 如何防範鏡像投毒和 PyPI 包投毒。這一次攻擊手法升級了:源碼是乾淨的,有毒的只是構建產物;發佈審批也沒有被繞過,而是被盜來的賬號“正常”通過了。

所以這篇文章想回答一個更根本的問題:投毒終究會發生,怎樣讓惡意代碼進來之後什麼也拿不到?

事件復盤:一次“走完正規流程”的投毒

圖 1:LiteLLM 1.107.0 攻擊時間線(北京時間)

根據 LiteLLM 官方事件報告,以及 Wiz、Chainguard、Endor Labs、Datadog 等安全團隊的分析,這次攻擊可以拆成四步。

第一步:拿到鑰匙。 攻擊者拿到了三名開發者的 GitHub CLI OAuth Token。LiteLLM 官方認為,這些 Token 很可能是從一個對公網開放的內部 LiteLLM 部署的日誌裏泄露出去的。

第二步:改寫發佈流程。 18:08,攻擊者嘗試修改發佈工作流,被分支保護攔下;5 秒後,他用一個有組織 Owner 權限的 Token 覆蓋了保護,強行推入。改過的工作流不再從官方倉庫 BerriAI`/litellm` 取源码,而是从一个只差一个连字符的仿冒仓库 `Berri-AI/litellm` 構建。接着,第二個賬號的憑證“通過”了生產發佈審批;發佈完成後,第三個賬號的憑證被用來刪除工作流運行記錄。

第三步:只毒製品,不毒源碼。 惡意改動藏在構建配置裏:pyproject.toml 的 maturin 配置多了一行 data = "cook"。就這一行,讓三個文件在安裝時被放進 site-packages 根目錄:

  • cook.pth:只有一行 import cook。Python 解釋器每次啓動都會執行 .`pth 文件里以 import` 開頭的行,你不需要 import litellm ,pip、IDE 後台、任何一個 Python 腳本啓動都會觸發它;
  • cook.py:解壓並運行一個約 61 KB 的竊密程序;
  • sitecustomize.py:fork 出一個脱離終端的守護進程,每小時從 GitHub 上的“死信箱”讀取服務器地址,下載並執行未簽名的 Python 代碼。

官方 Git tag 裏的源碼是乾淨的,惡意構建用的那份源碼和它相差 309 個文件。Chainguard 指出,只審查 tag 源碼的人會完全漏掉這次攻擊。而且這些文件不在 litellm 包目錄裏,單純卸載 litellm 也刪不掉。

第四步:能拿的全拿走。 竊密程序有 16 個模塊,覆蓋:

  • SSH、GPG、TLS 私鑰,Shell 歷史;
  • AWS / Azure / GCP 憑證文件和實例元數據,並調用 GetCallerIdentity 驗證憑證是否可用;
  • K8s 配置和掛載的 ServiceAccount Token、Docker 配置,以及 GitLab Runner、Jenkins、Vault、Terraform 等 CI/CD 機密;
  • 瀏覽器保存的密碼和 Cookie;
  • Claude、Codex、Gemini、Cursor、Copilot 等 15 種以上 AI 開發工具的憑證;
  • Linux 上所有可讀進程的環境變量。

還有一個專門為 LiteLLM 寫的模塊:只要環境裏有 DATABASE_URL,它就直接連上代理數據庫,查詢 LiteLLM_CredentialsTable 和 LiteLLM_ProxyModelTable 兩張表。那裏存着代理為所有下游團隊轉發請求時用的上游模型廠商 API Key。

偷到的數據用 AES-256-CBC 加密、RSA-4096 封裝密鑰,打包後偽裝成健康檢查,POST 到仿冒域名 www.litellm[.]dev/healthcheck。

浮動標籤放大了影響。 Docker Hub 上的 latest、main-latest、main-stable 都被指向了投毒鏡像。這意味着,即使沒有主動升級到 1.107.0,只要在那 2.5 小時里拉取過這些標籤,比如一個用 latest 的 Pod 恰好重啓了,也會中招。Endor Labs 的總結是:浮動標籤和不鎖版本的安裝,讓一個壞版本波及了那些從沒選擇過它的部署。

PyPI 在大約 1.7 小時後隔離了 1.107.0,Docker Hub 的標籤在大約 2.5 小時後全部撤下。但包可以下架,已經外傳的憑證收不回來。LiteLLM 官方的建議很直接:只要 1.107.0 在能訪問外網的主機上運行過,就按“已外傳”處理,輪換所有憑證。

半年兩次:入口不同,結局相同

圖 2:兩次投毒:入口不同,結局相同

3 月那次,入口是 CI 裏用到的安全掃描器 Trivy。TeamPCP 先投毒了 Trivy,再借它從 LiteLLM 的 CI 裏拿走 PyPI 發佈 Token,直接向 PyPI 推送惡意版本。10 月這次,入口換成了開發者的 OAuth Token 和被篡改的發佈工作流。

門不一樣,進門之後做的事卻幾乎一樣:

  1. 裝上就執行。 兩次都用了 .pth 啓動鈎子,不需要 import。
  2. 與代理進程同權限。 惡意代碼就是 LiteLLM 進程的一部分。進程能讀的文件、能看的環境變量、能連的網絡、能起的子進程,它都能用。
  3. 直奔“鑰匙串”。 3 月的載荷會在 K8s 裏給每個節點部署特權 Pod;10 月的載荷專門寫了查 LiteLLM 數據庫的模塊。

我們沒法保證任何開源項目永遠不被投毒,包括 Higress 自己。維護者的賬號會被盜,CI 依賴會被污染,審批也可能被偷來的賬號“通過”。所以比“會不會被投毒”更該問的是:投毒發生之後,爆炸半徑有多大?

攻擊者為什麼盯上 LLM 代理

Chainguard 在分析裏説得很直白:一台被攻破的代理主機,可以一次性暴露許多上游 AI 廠商的 Key。

像 LiteLLM 這樣自建的 LLM 代理,同時具備三個特點:

  • 鑰匙集中。 為了統一接入、統一計量,組織裏所有模型廠商的 Key 都彙總在代理裏。
  • 位置敏感。 代理跑在生產集羣裏,通常帶着雲實例角色和 K8s ServiceAccount,還必須能訪問公網上的模型 API。
  • 擴展即進程。 在 Python 寫的代理裏,無論是第三方依賴還是自定義回調,本質上都是進程內的 Python 代碼,和代理進程同權限。

Wiz 觀察到的攻擊者後續行為也印證了這一點:拿到 AWS 憑證後,第一批調用裏就有 bedrock:ListFoundationModels。攻擊者想要的,就是你的模型調用權限。

Key 集中管理本身是好事:統一接入、統一審計、統一輪換,都要以此為前提。問題出在第三條:所有擴展代碼都拿着進程的全部權限,一個依賴被投毒,整串鑰匙就跟着暴露。真正決定爆炸半徑的,是擴展代碼到底有多大權限。

Higress 的答案:把擴展代碼關進 Wasm 沙箱

圖 3:同樣的惡意代碼,放在哪裏決定了它能拿走什麼

Higress 的數據面基於 Envoy(C++)。路由、負載均衡、TLS 這些網關核心能力由 Envoy 原生實現;AI 代理、鑑權、限流、內容安全、MCP 等擴展能力,以 Wasm 插件的形式運行在 Envoy 內嵌的 Wasm 虛擬機裏。Higress 官方提供的數十個插件,包括 ai-proxy、ai-token-ratelimit、ai-security-guard,都是這樣運行的。

Wasm 插件和 Python 依賴的根本區別在於:Python 依賴默認擁有進程的全部權限, Wasm 插件默認只有宿主明確開放的那幾項能力。 插件能做的每一件事,都要經過宿主(Envoy)提供的 Proxy-Wasm 接口:讀寫請求和響應、讀取自己的配置、讀寫插件間共享的鍵值數據、向已註冊的服務發請求、記日誌和指標。除此之外,什麼都做不了。

這一點可以直接到 Envoy 使用的 proxy-wasm-cpp-host [ 1] 源碼裏核對:

1. 沒有“裝上就執行”。 Wasm 沒有 .pth、sitecustomize 這類啓動鈎子。插件只有在 WasmPlugin 資源裏被顯式引用才會加載,代碼只在請求處理和配置下發的回調裏運行。

2. 沒有文件系統。 宿主實現裏,path_open 永遠返回“不存在”(NOENT),fd_read 的註釋寫着“不支持讀取任何文件”,fd_readdir 的註釋寫着“proxy-wasm 裏沒有真正的文件系統”。~/.aws/credentials、~/.ssh/id_rsa、/var/run/secrets/kubernetes.io/serviceaccount/token,插件一個字節都讀不到。

3. 環境變量默認不可見。 environ_get 只返回這個 VM 被顯式配置的變量。在 Higress 裏,就是 WasmPlugin vmConfig.env 中逐個聲明的那幾個。宿主進程和其他進程的環境變量,對插件來説根本不存在。

4. 沒有任意網絡。 宿主不支持 socket,sock_send、sock_recv 都返回“不支持”(ENOTSUP)。插件要發外部請求,只能讓 Envoy 代為發起,而 Envoy 會先檢查目標 cluster 是否存在,不存在就直接拒絕。想把數據 POST 到 www.litellm[.]dev,或者訪問 169.254.169.254 拏雲實例憑證,只要這些地址沒有在網關裏註冊為服務,就無路可走。

5. 沒有進程。 Wasm 沒有 fork/exec,起不了守護進程,寫不了 systemd 服務,更沒法在集羣裏部署特權 Pod。

6. 內存隔離。 每個插件只能訪問自己的線性內存,讀不到 Envoy 進程裏的 TLS 私鑰,也讀不到其他插件的內存和配置。插件崩潰不會拖垮 Envoy 進程,可以按 FAIL_CLOSE 或 FAIL_OPEN 策略決定請求是拒絕還是放行。

把 1.107.0 的惡意動作逐條放進 Wasm 沙箱推演一遍:

圖 4:把 1.107.0 的惡意動作逐條放進 Wasm 沙箱

▍沙箱不是銀彈

需要説清楚的是:沙箱限制的是插件“越界”,限制不了插件在自己的職責範圍裏作惡。插件仍然能讀寫它經手的請求和響應,也就有機會借響應把數據帶出去;它能讀取自己的配置,也能訪問 Proxy-Wasm 提供給插件之間共享的鍵值數據。比如 ai-proxy 要轉發請求,就必須拿到上游 API Key。

所以沙箱之外,還要靠這幾件事配合:

  • 只裝可信的插件。 插件來源要可追溯、源碼可審計,這是第五節發佈鏈路要解決的問題。
  • 最小授權。 能力拆進不同插件,每個插件只拿到完成自己工作所需的憑證:鑑權插件拿消費者憑證,模型代理拿模型 Key。
  • 版本鎖定。 WasmPlugin 支持 sha256 字段,拉下來的插件校驗和對不上就拒絕加載。生產環境建議用“版本號 + sha256”引用插件,不要用 latest。
  • 憑證託管。 企業版用 KMS 加密託管 Key,網關配置裏只保留加密引用(見第七節)。

發佈鏈路:LiteLLM 失守的每一環,Higress 都上了鎖

沙箱決定“毒進來之後能做什麼”,發佈鏈路決定“毒能不能進來”。

從 v2.2.4(2026 年 8 月發佈)開始,Higress 官方 Go/Rust Wasm 插件採用一套“構建一次、評審快照、按 digest 晉升”的不可變發佈流程。流程設計和工作流都在倉庫裏公開:docs/developers/immutable-plugin-releases.md [2] 。

圖 5:LiteLLM 失守的每一環,Higress 的對應設計

拿這次 LiteLLM 事件的每個環節來對照:

  • 構建來源。 LiteLLM 的工作流被改成從仿冒倉庫構建。Higress 的發佈準備流程會校驗目標必須恰好是 main 分支當前的 commit;每個候選製品都記錄源碼 commit 和輸入哈希,彙總成快照文件,必須通過 PR 評審才能合入。
  • 源碼與製品。 LiteLLM 的 tag 乾淨、wheel 有毒。Higress 的插件鏡像通過 OCI 註解(org.opencontainers.image.revision、io.higress.plugin.input-hash)綁定源碼 commit 和輸入哈希;正式發佈時只按 digest 複製已經評審過的候選製品,從不重新構建。
  • 發佈審批。 LiteLLM 的審批被盜來的賬號通過了。Higress 寫入公共版本標籤的憑證只放在受保護的 plugin-release-production 環境裏;正式版本 tag 需要 release manager 人工審批,而且只有專用的發佈 App 能創建。
  • 版本標籤。 LiteLLM 的 latest、main-stable 被改指向毒鏡像。Higress 的公共版本標籤不可變,發佈時一旦發現同名標籤的 digest 不一致就直接失敗;latest 只在整批插件校驗通過、且版本號只增不減時才前移;已發佈的控制台、網關和 Standalone 默認配置都鎖定具體版本,不依賴 latest。
  • 審計痕跡。 LiteLLM 的工作流記錄被刪了。Higress 的發佈快照和證據文件(含 SHA-256)直接提交在代碼倉庫裏。以 v2.2.4 為例,plugins/release/snapshots/2.2.4.json [ 3] 鎖定了 43 個官方插件,每一個都記錄了版本、鏡像 digest、輸入哈希和源碼 commit,任何人都能核對:
{
  "logicalId": "ai-proxy",
  "version": "2.0.1",
  "ociRef": "higress-registry.cn-hangzhou.cr.aliyuncs.com/plugins/ai-proxy:2.0.1",
  "digest": "sha256:754c4d6c9e8aed2cabc4aa37c21f1e6dbf3b4973f01c18765ab83c17ad4d40db",  
  "inputHash": "sha256:fc42f8a92ee198eacb59689be844cbeb00dab79b359b583cb404f4106fef5cee",
  "sourceCommit": "7774663e4353652f5c3cecd7e98a1a43b05ee15c"
}

此外,Higress 的鏡像託管在阿里雲容器鏡像服務(ACR),推送後會做安全掃描,3 月那篇文章裏有詳細介紹。

説句實話:沒有哪個流程能擋住所有盜號。不可變標籤和 digest 鎖定的意義在於,就算出了事,你已經在跑的版本不會被悄悄換掉,換沒換一查便知。

給正在評估或遷移的團隊

如果你在用 LiteLLM,先按官方指引處置:

  • 不要先在受影響的環境裏啓動 Python 或 pip。每啓動一次解釋器,竊密程序就會再跑一次;
  • 用 find、sha256sum 這類非 Python 工具,檢查 site-packages 下的 cook.pth、cook.py、sitecustomize.py,以及 /tmp/.pc_once_*、/tmp/remote_code_loader.lock,並結束持有該鎖文件的守護進程;
  • 從一台乾淨的機器上輪換所有憑證:代理數據庫裏的模型廠商 Key、master key 和 virtual key、數據庫密碼、雲憑證和實例角色、K8s Token、Git / npm / PyPI Token、SSH 密鑰、AI 工具會話;
  • 固定到 litellm==1.106.2,鏡像按 digest 引用。

如果你在評估 AI 網關,Higress 能覆蓋 LiteLLM 代理的核心場景:用統一的 OpenAI 兼容協議接入國內外主流模型廠商和 vLLM / Ollama 等自建模型(ai-proxy),消費者鑑權(key-auth、jwt-auth 等),Token 級限流(ai-token-ratelimit),多模型負載均衡與 fallback,調用觀測與 Token 統計(ai-statistics),內容安全(ai-security-guard),以及 MCP Server 託管。不想自己部署的話,也可以直接開通 0 元起步的阿里雲 AI 網關 Serverless 標準版(見第七節)。

如果你已經在用 Higress,幾條配置建議:

  1. 插件引用固定版本號,並配上 sha256,不要用 latest;
  2. vmConfig.env 只注入插件真正需要的變量,謹慎使用 HOST 方式透傳宿主環境變量;
  3. 鑑權類插件保持 FAIL_CLOSE,WasmPlugin CRD 的註釋裏也明確不建議對鑑權插件使用 fail open;
  4. 網關裏只註冊業務需要的上游服務,這份服務列表本身就是插件的出網白名單;
  5. 自研插件和官方插件一樣對待:源碼可審計,構建流程獨立,製品按 digest 發佈。

Higress 企業版:把安全變成默認

開源 Higress 給了你一個安全的架構,但自建網關的安全,最後還是要落到運維紀律上:鏡像從哪裏拉、版本鎖沒鎖、憑證多久輪換一次、漏洞多快跟進。

LiteLLM 的官方公告裏有一句容易被忽略的話:使用其私有企業鏡像倉庫的客戶,沒有受到這次事件影響。 託管和企業分發渠道的價值,就在於把這些紀律交給專業團隊來執行。

阿里雲 AI 網關是 Higress 的企業版,與開源 Higress 同源,為大模型、Agent 和 MCP 服務提供統一入口,並提供與 Higress 兼容的遷移路徑。

上手門檻很低:Serverless 標準版 0 元起步,沒有實例費,按實際用量計費,適合先拿來試用、做開發測試,或者承載流量不大的業務;驗證通過、要上正式生產時,再切到 Serverless 企業版。

圖 6:Higress 企業版:在沙箱之外再補三層

▍在沙箱之外,再補三層

  • 憑證不落地。 API Key 等憑證由 KMS 加密託管,網關配置裏只保留加密引用,不以明文出現在配置文件、環境變量或日誌中;背後是完整的 RAM 權限體系,每個消費者有獨立的 Key,泄露的影響範圍有限。
  • 供應鏈託管。 網關引擎由平台構建、發佈和升級,你不需要從公共倉庫拉鏡像,也不用盯着每一次版本更新。自定義插件可以在 WebIDE 裏開發,構建在雲效的 VPC 構建集羣內完成,代碼拉取、依賴下載、製品產出全程不經過公網。
  • 流量與內容防護。 一鍵對接阿里雲 WAF,攔截 SQL 注入、XSS、命令注入、CC 攻擊和惡意 Bot;AI 安全圍欄識別提示詞注入和敏感內容。

自定義插件依然運行在 Wasm 沙箱裏,平台在此基礎上提供輕量隔離、權限嚴控、代碼校驗。

▍性能:外來代碼進沙箱,平台代碼追性能

隔離是有代價的。開源 Higress 的 Wasm 插件要讀取、解析完整請求體時,數據需要複製進插件的線性內存;多個插件分別處理同一份大報文,複製和分配的開銷會隨請求體積和併發一起放大。Wasm 線性內存還有個特點:可以增長,但不能直接收縮,持續高併發下內存可能一直維持在高位。

企業版在安全和性能之間做了明確分工:用戶自定義和第三方擴展繼續跑在 Wasm 沙箱裏;模型協議轉換、大報文解析這類由平台自研、自維護的核心 AI 處理鏈路,則採用 Envoy 原生插件機制,並針對 AI 請求處理和內存使用做了專項優化,減少重複的數據複製和不必要的內存佔用。這部分代碼由平台在受控的研發與發佈體系裏維護和交付。

阿里雲 AI 網關團隊用同一套壓測源碼和合成 JSON 請求,訪問同一個無等待的 Mock 後端,對比了 Serverless 企業版和開源 Higress 自建部署(兩側部署資源與訪問入口不同,結果反映各自部署下的表現):

  • 1 MB 請求:10~100 併發下,企業版平均網關處理時延保持在 13~18 ms,比開源 Higress 低 68.8%~97.1%。降幅最大的是 90 併發,從 446.2 ms 降到 12.7 ms。
  • 10 MB 請求:降低 82.7%~90.2%。降幅最大的是 30 併發,從 1,688.1 ms 降到 166.1 ms;到了 100 併發,企業版是 384.3 ms,開源 Higress 是 2,527.4 ms,每次請求少等約 2.14 秒。

圖 7:1 MB 請求網關處理時延(圖源:阿里雲 AI 網關團隊)

圖 8:10 MB 請求網關處理時延(圖源:阿里雲 AI 網關團隊)

消費者規模是另一個拉開差距的場景。Higress 7 月發佈的 Serverless 企業版測試 [4] 裏,消費者數量增長到 1 萬時,企業版認證 p50 時延為 1.47 ms,開源實現為 50.32 ms,相差約 34 倍;增長到 2 萬時,企業版成功率保持 100%,開源實現降到 77.14%。原因在於企業版把消費者數據和認證配置分離,單次認證開銷不會隨消費者總量等比例增長。

▍成本:按量付費,從 0 元起步

  • Serverless 標準版:試用、開發測試、低流量業務。0 元起步,無實例費,按實際用量計費。
  • Serverless 企業版:正式生產業務;獨立入口、自定義域名、傳輸加密,99.95% SLA。實例費參考價 0.245 元/小時(一天不到 6 元),請求調用、數據處理和公網流量按用量另計。
  • 實例型獨享版:對資源隔離、性能規格和高級治理要求更高的業務。按實例規格計費。(以上為參考價,以阿里雲官網為準。)

“0 元起步”的意思是,標準版不收實例費,網關本身不按時長計費,只按實際用量收費(請求費用和公網流量)。流量小的時候,費用也跟着小,不需要先為一台閒置的網關付錢。等業務量上來、需要獨立入口和 SLA 時,再升級到企業版。

自建開源網關的費用,除了計算、網絡和冗餘副本,還要為流量高峯預留容量;鏡像維護、插件兼容性檢查、升級迴歸和異常排查,也都是長期的人力投入。按 Higress 7 月發佈的測算,中小規模場景下,Serverless 形態相比自建可以把費用降低 70%~90%。

圖 9:自建與託管對比(圖源:阿里雲 AI 網關團隊)

▍免費試用

兩種方式上手:

  • AI 網關新客:領取價值 400 元的 AI 網關免費試用;
  • 直接開通:Serverless 標準版 0 元起步、無實例費,按實際用量付費。

領取入口:阿里雲免費試用中心

https://free.aliyun.com/?searchKey=AI%E7%BD%91%E5%85%B3

瞭解產品:阿里雲 AI 網關

https://www.aliyun.com/product/api-gateway/ai-gateway

結語

供應鏈攻擊不會停。PyPI、npm、Docker Hub、GitHub Actions,每個環節都可能是下一次的入口。

在“裝上就執行”的生態裏,安全靠運氣:你得祈禱依賴的每個包、每個維護者賬號、每條 CI 流水線都不出問題。在“默認無權限”的沙箱裏,安全靠架構:就算毒進來了,它也只能待在籠子裏。

開源 Higress 把擴展代碼關進 Wasm 沙箱,把發佈鏈路鎖成不可變;Higress 企業版再把憑證、供應鏈和防護交給平台託管。選哪一種,取決於你的團隊想把精力花在哪裏。想先試試託管形態的話,Serverless 標準版 0 元起步,不用先付實例費。

文章推薦:

《模型這麼多,請求該交給誰?阿里雲 AI 網關智能路由,正式上線!》

《AI 網關上線 FinOps 會話觀測,助力企業優化 Agent 成本》

《網關處理時延降低 97.1%:開源 Higress 與阿里雲 AI 網關 Serverless 企業版性能對比》

相關鏈接:

[1] proxy-wasm-cpp-host

https://github.com/proxy-wasm/proxy-wasm-cpp-host/blob/main/src/exports.cc

[2] docs/developers/immutable-plugin-releases.md

https://github.com/higress-group/higress/blob/main/docs/developers/immutable-plugin-releases.md

[3] plugins/release/snapshots/2.2.4.json

https://github.com/higress-group/higress/blob/main/plugins/release/snapshots/2.2.4.json

[4] Serverless 企業版測試

https://higress.ai/blog/higress-mmse_awbbpb_fl6gsxg2g9qypfnd/

參考資料:

來源:阿里雲開發者社區 AI · developer.aliyun.com