Anthropic 警告或將接近遞歸自我改進（RSI）門檻

雖然外界大多聚焦於 Anthropic 週一在修訂版 S-1A 中披露的最新財務數據（收入大幅攀升，支出亦然），但這間 AI 實驗室在細則中還透露了另一項小小的震撼消息。

申報文件似乎警告，該公司即將研發出具備遞歸式自我改進（RSI）能力的模型。

遞歸式自我改進是指 AI 在訓練自身方面變得如此出色，以致 AI 能力急劇加速發展。對 AI 末日論者而言，RSI 代表一場無法回頭的災難：AI 將自行發展成足夠強大的存在，脱離人類控制；在實現目標的過程中，它可能對自己造成的破壞漠不關心。

對 AI 愛好者而言，RSI，或某種 AI 能可靠地運用自身提升自身的形式，代表這項技術的前景：它會成為一種帶來難以想像的生產力、科學發現等成果的工具。

Anthropic 似乎認為 RSI 既是機遇，也是危險。它在 S-1 中表示，會在研發中使用 AI，但同時提醒：「使用 AI 協助打造能力更強的 AI，也可能帶來相當大的安全風險，尤其是在這會大幅加快進展速度的情況下。這是我們的 Responsible Scaling Policy 涵蓋的其中一個範疇；該政策列明，隨著我們接近所謂的『遞歸式自我改進』，我們計劃如何監察及減低相關風險。」

當RSI 一詞今年較早時開始流行時，不少人認為它只是流行術語，或者至多是一個太難實現、界定或證明的目標。

但週一，Anthropic 在「風險因素」一節加入新陳述，表示：1）它已使用 AI 開發新模型，當時並未察覺這些模型的能力有重大躍進；2）它可能很快便會符合其內部對 RSI 的定義（以下粗體為我們所加）：

此外，我們愈來愈多使用 AI 系統加快自身研發，可能令模型能力提升的速度快於我們制定、驗證和推行相應安全、對齊及保安措施的能力。因此，過去我們未能察覺發展速度顯著加快的情況，直至加速已經發生；未來亦可能如此。

例如，我們的內部估算及對未來模型（而非目前模型）的預期顯示，我們可能即將符合 Responsible Scaling Policy 對「可歸因於 AI 的進展大幅加速」的定義。我們尚未將任何目前的模型界定為超越這個門檻，並會繼續評估相關數據。 

不過，Anthropic 亦在申報文件中表示，其模型尚未跨越這個 RSI 門檻，並承諾在可預見的將來讓人類繼續參與研發流程。「如果及當這在技術上變得可行，我們預計也無法在缺乏實質的人類監督或理解的情況下，安全地使用 Claude，全自主地設計和打造一代又一代的前沿模型。因此，我們正考慮更新 Responsible Scaling Policy，以確保 Anthropic 的前沿模型開發由人類掌控。」

持懷疑態度的人或會指出，S-1 既是披露文件，也是市場推廣材料；聲稱公司即將研發出一個強大到能自行打造自身的模型，可能屬於後者。

不過，毫無疑問，Claude 的能力今年突飛猛進，尤其是在編碼、數學和網絡安全方面。如果 Anthropic 認為 RSI 的可能性已近在眼前，也許我們應該相信這一點，並相應採取行動——或許進行治理。

透過本文中的連結購物，我們可能會獲得少量佣金。這不會影響我們的編輯自主性。

Julie Bort 是 TechCrunch 初創企業／創投編輯部的編輯。

你可以透過電郵 [email protected] 聯絡 Julie，或在 X 上透過 @Julie188 核實 Julie 發出的聯絡訊息。

查看簡介