GPT-6 Astra、循環式 Transformer 與推理鏈可監控性解析
GPT-6 Astra, Looped Transformers, and Hidden Reasoning
Sebastian Raschka 分析 GPT-6 Astra 的電腦操作表現與循環式 Transformer 傳聞,指出 Astra 表現突出,但採用該架構尚未獲官方確認。
文章比較循環式 Transformer 的權重共享、計算成本與路由設計,並指出現有資料尚不足以將推理鏈可監控性的變化歸因於這種架構。
過去幾星期發生了很多事。我相信 OpenAI 的 GPT-6 Astra 現在是大家最關注的焦點。尤其是它的表現、循環式 Transformer/循環深度方面,以及 Astra 正在「隱藏」其推理軌跡(即思維鏈)的傳聞。
因此,本文會先簡述我對 Astra 的一些觀察,以及我對事情走向的想法。然後,我會詳細討論甚麼是「循環式 Transformer」,以及它是否(或者説,究竟有沒有)與隱藏思維鏈有關。
最後,在介紹循環式 Transformer 的基本概念後,我想分享近期相關研究論文帶來的一些新見解。
附註:我也在此錄製了較短的影片版本,並且是在撰寫這篇較長文章之前完成的:
1. GPT-6 Astra 初探
首先,在談架構傳聞和相關研究文獻之前,讓我簡要整理一下對 GPT-6 Astra 的觀察和一些零碎資訊。
上星期,OpenAI 隆重推出了全新的 GPT-6 Astra。我在過去幾天一直使用它;以本文撰寫時為準,它是一款極出色的模型,很可能是我用過最好的。可是,它具體改善了甚麼,又是如何做到的?
1.1 Astra 基準測試
Astra 是我目前用過最好的模型;相較其他模型,它在 3D 渲染和動畫任務上的表現尤其突出。也就是説,雖然它在幾乎所有範疇(寫作、數學、編碼等)都大幅超越 GPT-5.6 前代,但在圖像示範方面的進步特別顯著。
基準測試也反映出這一點。例如,GPT-6 Astra 在數學和編碼方面表現非常出色,如下所示。
其中一個亮點(圖中未有顯示)是 Astra 在 ARC-AGI-3 基準測試取得 99.9%(GPT-5.6 Sol 只有 7.8%);這項測試涵蓋解決邏輯謎題和泛化能力。不過,數學、編碼和電腦操作基準測試更值得留意,因為它們更貼近實際應用。(不過,OpenAI 之後也發表了一篇文章,説明對測試框架作出另外兩項調整後,GPT 5.6 Sol 的成績亦由 13.3% 提升三倍至 38.3%。)
回到 Artificial Analysis Coding Agent Index v1.4(上一幅圖右下角);該指數綜合多項代理式編碼任務。GPT-6 Astra 顯然處於領先水平,但並沒有大幅拋離其他模型。以下所示的綜合 Artificial Analysis Intelligence Index 也呈現相同情況;它涵蓋不同類型的任務,而不只限於編碼。
Artificial Analysis 基準測試的一大優勢,是它們由獨立機構進行,因此可能比模型開發者自行評估的基準測試更可信。
測試框架的設定視乎基準測試而定。例如,GDPval-AA 和 AA-Briefcase 會在比較不同 LLM 時,採用其開源而精簡的 Stirrup 測試框架。在上圖所示的 Intelligence Index v4.2 中,Terminal-Bench v2.1 使用 Terminus 2,而 τ³-Banking 使用 τ-Bench 測試框架。獨立的 Coding Agent Index 也會比較不同的編碼代理測試框架。
對於採用共用測試框架的評估,這樣的比較會更公平,能做到「蘋果對蘋果」。與此同時,模型訓練時通常會以一個主要測試框架為目標(較少針對其他框架微調)。此外,主要測試框架往往是為配合並突顯模型的優勢而設計。
因此,部分代理式評估可能低估 Astra 在其主要測試框架下的表現。要知道這對它在 Intelligence Index 的分數有多大影響,便需要在相同任務上比較 Astra 在不同測試框架下的表現。
順帶一提,最近有同事向我建議(Claude Code 負責人也有類似建議),可以考慮刪除(/封存)部分現有的 AGENTS.md 內容和 SKILL.md 檔案,因為新一代 LLM 理解提示和解決手上問題的效率更高。過多的引導可能會不必要地限制新模型,令結果變差。
當然,我不是建議從此不再使用 SKILL.md 檔案;對某些工作流程而言,重用這些檔案可以提升效率,因為模型毋須重新摸索。不過,我想指出,有些工作流程根本不需要額外描述;「舊有」説明也未必再合適,而且 LLM 可能自行找到更好的做法。因此,或許是時候更新或重新生成這些指示檔了。
1.2 電腦操作能力
GPT-6 Astra 似乎特別擅長圖像和渲染任務。當這些任務涉及操作圖形介面時,也能展現電腦操作能力,即模型透過 Codex/ChatGPT app 操作你本機電腦上的軟件。
與其他模型相比,電腦操作正是這款模型大放異彩之處;任何與圖像相關的內容,在社交平台上也很適合做成有趣直觀的示範。網上有大量令人印象深刻的示範,例如用 Blender 渲染紐約市,以及虛擬看樓導覽。
舉一個例子:以下是 GPT-6 Astra Medium 和 High 的比較。我讓它們用我電腦上的滑鼠,在 MS Paint 瀏覽器版本重新繪畫一張我的照片(沒有試 Extra High 和 Max,因為不想把 token 全部用光 :))。
這不只展現了模型的藝術能力,更重要的是它能在電腦上操作工具(在這個例子中是 Paint;你可以看到模型透過滑鼠遊標操作介面)。
這並不是首個能在測試框架內操作一般電腦的模型。例如,今年較早時我已成功用 GPT 模型處理一些 UI 任務(例如在 Excel 處理開支相關工作)。不過,電腦操作是相對新近的能力,由測試框架啟用,而且通常仍未算成熟。這也合理:LLM 是文字模型,因此較容易先掌握寫作、編碼,以及使用 API 和 CLI。
與此同時,許多工具和軟件(目前)並沒有提供 CLI。與其等別人設計這種介面,何不改進模型,讓它們操作圖形介面呢?(如前所述,這樣也很容易製作漂亮而吸引人的示範。)這有點像正在興起的人形機械人發展。當然,在例如裝配線這類已有專用機器的地方,人形機械人未必是最高效的選擇,但它們用途廣泛。
因此,我預期未來幾個月(甚至幾年)也會是 LLM 和代理測試框架層面持續改進電腦操作能力的時期。換言之,除了現有能力和持續擴展數學、編碼能力外,模型訓練也會愈來愈着重電腦操作。這亦會令科技界以外的日常電腦工作更容易使用 LLM(「嘿 ChatGPT,請替我報税」:))。
1.3 電腦操作訓練
電腦使用這股趨勢,也與近期報道相符:OpenAI 為強化學習購買了數以萬計的 Mac Mini 和 Mac Studio。因此,這些 Mac 並不是直接用來訓練模型(用 GPU 會更合適),而是在模型訓練期間提供 macOS 環境,讓模型學習使用該作業系統及其工具。
那麼,如何在這些 Mac 上進行電腦操作訓練?簡單來説,Mac(更準確地説,是其 macOS 作業系統)會充當模型在訓練期間可以互動的環境。
基本流程如下:
向模型提供任務提示,例如「開啟某個 app xyz 並完成 abc」。
向模型提供 macOS 介面的螢幕截圖(通常由測試框架負責)。
LLM 接着預測滑鼠/鍵盤操作(點擊、按鍵、捲動等)。
在 Mac 上執行這些操作(同樣由測試框架負責)。
完成上述操作後,提供更新環境的新螢幕截圖。
重複步驟 2 至 5,直至任務成功或失敗。
使用成功/失敗訊號和驗證器(或評分器)作為訓練回饋,包括後訓練階段的強化學習;這與一般的可驗證獎勵強化學習(RLVR)類似。
再説一次,Mac 在這裏主要充當環境,而不是訓練期間執行或更新模型的機器。模型很可能在 NVIDIA GPU 上運行,再透過 API 將結果傳送至該 Mac。順帶一提,NVIDIA 行政總裁曾提到,GPT-6 Astra 是以約 100,000 部 Grace Blackwell GPU 訓練。
1.4 GPT-6 Astra 仍然是推理模型
上一節討論的電腦操作訓練,並不是訓練流程上的根本範式轉變。GPT-6 Astra(以及可預見未來中的 LLM)仍然是推理模型。這表示 LLM 透過可驗證獎勵強化學習(RLVR)訓練,並產生中間推理軌跡(思維鏈)
稍後在本文中,我會再討論 GPT-6 Astra 作為推理模型的特點(尤其是隱藏思維鏈的問題)。
2. 循環式 Transformer
不過,在正式模型發佈前大約兩天,新聞雜誌 The Information 發表了一篇文章,報道引述內部消息,指 Astra 使用一種稱為「循環深度」或「循環式 Transformer」的概念。
LLM 架構是我的專業範疇,也是我的興趣所在,因此我製作了一段短講影片,解釋循環式 Transformer 的一般運作機制,並回應有關隱藏推理鏈的説法;影片如下。
在以下小節,我會先解釋循環式 Transformer 是甚麼,稍後再回頭討論隱藏思維鏈的説法。
(循環式 Transformer 的解釋可能稍長,但我認為先建立對這項技術的基本理解很有幫助,之後才能評估它會否遮蔽推理軌跡或思維鏈。)
2.1 重用 Transformer 區塊
那麼,甚麼是循環式 Transformer?
循環式 Transformer 本質上是對架構作出的一項調整,核心概念是讓中間表示多次經過相同的 Transformer 區塊(而非只經過一次)。與單純增加更多區塊相比,這裏的「技巧」是各次傳遞都沿用相同權重。
定義與術語
本文會使用以下術語:
Transformer 區塊是由注意力、前饋模組、正規化和捷徑連接組成的單位。論文通常稱這些區塊為「Transformer 層」。
堆疊是由一連串 Transformer 區塊組成的序列。
區塊應用是指讓輸入經過一次 Transformer 區塊。
循環式 Transformer 並非新事物;其基本概念早在 2018 年的 Universal Transformers 論文中已經出現。不過,在討論 Universal Transformer 之前,先看看較簡單的例子:Nanbeige4.2-3B。這是一款近期推出的開放權重 LLM,於七月發佈;今年夏天較早時,我曾在 Substack Notes 和我的 LLM 架構圖鑑中介紹它。
下圖所示的 Nanbeige 架構基本上看起來像一般 Transformer。不過,請留意多了一條(橙色)箭頭,從 Transformer 堆疊末端繞回開端。
由下而上逐步説明:首先,和其他 Transformer 架構的 LLM 一樣,輸入文字會被切分成 token,並轉換為嵌入向量。接着,這些向量會經過 22 個 Transformer 區塊,而這 22 個區塊各自擁有獨立權重。
不過,這裏的循環式 Transformer 特點在於,第一次傳遞後,隱藏狀態會重新送回同一組 22 個區塊。因此,區塊 1 會再次應用,接着是區塊 2,如此類推,直至區塊 22。
如果把這項運算展開,就會有 44 次 Transformer 區塊應用。不過,與由 44 個不同區塊組成的傳統 Transformer 相比,第二組 22 次區塊應用會重用第一組的權重。例如,第 23 次區塊應用使用區塊 1 的權重,第 24 次區塊應用則使用區塊 2 的權重,如此類推。
因此,整個概念就是:不增加另一組 Transformer 權重,也能把有效深度由 22 次提升至 44 次區塊應用。
順帶一問,為甚麼循環 2 輪,而不是 3、4 輪或更多?Nanbeige 論文沒有提供太多細節,但表示這基本上是效率最高的設定。循環次數由 2 增至 3 可以提升模型表現,但額外計算成本並不值得。
2.2 循環的成本
那麼,為甚麼要循環?這基本上是另一種擴大模型的方法,取代直接增加更多 Transformer 區塊。
例如,使用 22 個 Transformer 區塊兩次的模型,其(Transformer 區塊)參數量大約只有採用 44 個傳統區塊的模型的一半。
這樣可以減少儲存權重所需的記憶體。補充一點:嵌入層和輸出層通常也很大,佔總參數量相當大的一部分,而上述比較不包括它們。(以 Nanbeige 4.2 3B 為例,嵌入層和輸出層約佔總共 3B 參數的 25%;如果這兩層共用權重,便可把比例降至 12.5%。)
當然,循環重用相同區塊仍然需要計算。更準確地説,前向傳遞時,中間輸入要經過 44 次區塊應用。訓練期間,梯度也會沿着共用堆疊的兩次重複向後傳播。因此,與只使用 22 個區塊一次相比,這會增加大量運算。實際上,其成本與使用 44 個不同區塊相若(只是最佳化器要更新的獨立參數較少;反向傳播仍要經過全部 44 次區塊應用)。
此外還有 KV 快取:在傳統和循環式 Transformer 中,它都會儲存先前 token 的注意力鍵和值,以便生成下一個 token 時重用。順帶一提,我另有一篇專門介紹 KV 快取的文章:
回到正題。循環式 Transformer 雖然共用權重,但第二次傳遞進入區塊的中間狀態並不相同。因此,在 KV 快取中,這兩組 Transformer 堆疊所產生的鍵和值也不同(就像沒有循環的情況一樣)。因此,KV 快取方面也沒有節省。
具體來説,假設循環式 Transformer 的區塊應用 1 和 23 都使用區塊 1;但每次應用仍各自需要 KV 快取項目。因此,由於兩次傳遞必須保留獨立快取,重複使用 22 個區塊的堆疊,KV 快取需求與由 44 個不同區塊組成的傳統 Transformer 相同。
有趣的是,Nanbeige 研究人員在論文中表示,他們曾嘗試讓兩次傳遞共用 KV 快取。這當然令 KV 快取大小減半,但模型表現比使用獨立快取的版本差(他們發佈的就是使用獨立快取的版本)。
在轉看其他循環式 Transformer 設計之前,先補充 Nanbeige 的討論:其技術報告還談到另外兩項選擇或取捨。
從零開始訓練循環式架構,比透過 upcycling 把已預訓練的 Transformer 轉換成循環式架構,效果更好。
正如上一節提到,兩次傳遞是他們偏好的取捨。增加傳遞次數只能帶來小幅額外收益,卻會拖慢訓練並令最佳化穩定性下降。
因此,傳遞次數也是我們要作出的架構選擇之一。如前所述,Nanbeige 固定使用兩次;但我們也可以按 token 決定次數,下一節會談到這種做法。
2.3 Universal Transformers 與彈性循環次數
現在回到 Universal Transformers。Nanbeige 會將由 22 個 Transformer 區塊組成的堆疊應用兩次;2018 年的 Universal Transformer 論文則是反覆應用同一個 Transformer 區塊,而不是重複一整組區塊。整體概念仍然相似。
循環步數可以固定,但論文也研究了自適應停止。舉例來説,某個位置的 token 可能只經過一或兩輪循環,另一個 token 則可能經過三或四輪,等等。這讓模型可把運算資源分配給能從額外計算中受益的 token。
循環次數如何決定?模型會使用一個經訓練的小型函數,為每個位置在每一步輸出所謂的停止機率。它會把連續循環中的這些機率累加;一旦總和超過門檻值,該位置便停止循環。此外,最大循環次數也會限制計算量,以防萬一。
ByteDance 的 Ouro 也是另一個循環式 Transformer 例子,我也在自己的 LLM 架構圖鑑中介紹過。以 Ouro-Thinking 2.6B 為例,它會把同一組由 48 個 Transformer 區塊組成的堆疊應用四次。也就是 192 次區塊應用,但只需儲存 48 個不同區塊的權重,基本上比 Nanbeige 更極端。此外,經學習的退出閘會為不同出口分配機率,再按累積機率的門檻決定由哪一輪提供輸出。因此,它也借用了 Universal Transformer 的自適應停止概念,而 Nanbeige 沒有採用。(不過要留意一項實際限制:已發佈的 Hugging Face 實作會先計算所有已設定的傳遞,再選擇輸出;看來循環次數實際上固定為 4。)
2.4 為彈性循環次數進行路由
另一種方法是 2025 年的論文 Mixture-of-Recursions,基本上是較精密的 Universal Transformer 版本。與 Universal Transformer 類似,個別 token 會如圖所示,經過 Transformer 區塊一次或多次。不過,它的創新之處在於如何按 token 決定循環次數。
在以下論文圖中,循環(重複)的堆疊稱為 recursion block。它包含多個 Transformer 區塊,位置則在獨立的首層和末層 Transformer 區塊(分別標示為 Layer 0 和 Layer L-1)之間。
模型如何決定 token 要經過 recursion block 多少次?前文提到的 Universal Transformer 會根據每一步學得的停止機率作決定;這裏的 Mixture-of-Recursions 方法則使用一個小型、經學習的路由器。這與混合專家模型的路由概念相似,不同之處是此處的路由決定共用堆疊要應用多少次。
路由器會根據 token 的隱藏表示運作,而該表示也包含其上下文資訊。因此,不應以為某個 token 每次出現都會經過相同次數(例如上圖中的「People」不會每次都循環 3 次)。它會按該詞出現的位置和前文而改變。
那麼,路由究竟如何運作?論文探討了兩種作出路由決策的方法,如下圖所示。
圖中左側子圖所示的 expert-choice routing(專家選擇路由)會在每個遞歸步驟選擇要處理哪些 token。退出的 token 不會進入後續步驟。右側所示的 token-choice routing(token 選擇路由)則由路由器一開始便作出決定,把每個 token 分配到經過一、兩或三次傳遞的路徑。
兩種方法都會像 Nanbeige 等架構一樣,在多次傳遞中重用 Transformer 權重。額外的彈性來自按每個 token 選擇其獲分配的計算量。模型和路由器會一同訓練,讓模型在訓練期間學習適應不同路徑。
2.5 效果如何?
以下 Mixture-of-Recursions 論文的圖表,按不同模型規模和計算預算(橫軸),比較一般 Transformer(Vanilla)、固定遞歸的 Transformer(Recursive),以及 Mixture-of-Recursions(MoR)。
在最小的模型規模下,一般 Transformer 表現最好;模型規模較大時,Mixture-of-Recursions 追上並往往表現更佳,尤其在較小訓練預算下更是如此。在最大預算下,有幾條曲線非常接近。因此,優勢取決於模型規模和訓練時投入的計算量。
另一個細節是,相同訓練計算量不一定代表訓練 token 數量相同。透過略過部分計算,Mixture-of-Recursions 可以在相同預算內處理更多 token。
我認為這是個有趣的例子,因為它顯示循環式 Transformer 概念中有多種選擇:每個位置要循環多少次,以及如何決定循環次數。
簡而言之,如果模型規模足夠大,循環式 Transformer 可以在固定計算預算下提升模型質素。(這也説明在大規模上進行實驗的重要性;例如,只看規模較小、只有 135M 參數的模型,我們便會得出相反結論。)
3. 題外話:循環神經網絡(RNN)
順帶一提,如果你有深度學習背景(甚至在 1990 年代接觸過人工神經網絡),循環或「循環深度」的概念應該不會陌生。還記得循環神經網絡(RNN)嗎?RNN 的核心概念就是重用前一次迭代的層(權重)。
主要分別在於,RNN 會在不同時間步驟重用權重;也就是説,隱藏狀態會由一個 token 傳遞至下一個。在循環式 Transformer 中,token 則是在架構深度方向循環。
換言之,在傳統 RNN 中,每一步會接收輸入序列的下一個元素,以及上一個步驟的隱藏狀態。因此,RNN 處理一段文字時會一次讀取一個詞或 token,並透過隱藏狀態把前面詞語的資訊一路傳遞下去。
在循環式 Transformer 中,某個 token 的中間表示會多次經過 Transformer 堆疊。模型仍會使用注意力機制,在 token 之間傳遞資訊。
如果這個類比有點令人困惑,不用太在意。或許更簡單的理解方式是:循環式 Transformer 會重用 Transformer 區塊,類似擴大模型,但同時共用權重。
4. Astra 究竟有沒有使用循環式 Transformer?
在討論循環式 Transformer 是否如前文 The Information 的引述傳聞般遮蔽推理軌跡之前,GPT-6 Astra 究竟有沒有採用循環式 Transformer 概念?
要記住,這仍然只是傳聞或獨家消息,並沒有官方確認。當然,如果模型採用開放權重,我們便可以自行核實;但目前只能依賴未經證實的報道。
不過,我認為 GPT-6 Astra 很可能採用了循環式 Transformer 的某些元素。第一,上文提到的報道有相關説法。第二,過往研究已顯示這項技術有潛力(前文亦已討論),何樂而不為?第三,OpenAI 首席科學家曾説:
[...] 包括 Astra 在內,我們目前前沿模型的計算圖深度,是 GPT-4 的兩倍以內。 [...]
不過,這並沒有明確證實循環式 Transformer 架構;也可能只是表示他們使用了兩倍數量的一般 Transformer 區塊。
我認為 Astra 成功(即模型表現出色)的主要原因,很可能是其他因素,尤其是改良的訓練方法和訓練資料。
循環式 Transformer 的調整或許有些幫助,但我認為 The Information 高估了它的貢獻。
5. 隱藏思維鏈
接下來,終於來談核心問題:循環式 Transformer 會否遮蔽推理軌跡?
首先,OpenAI 從最初的 OpenAI o1 開始,便一直向用戶隱藏大部分推理軌跡。因此,對終端用戶而言,兩者應該沒有太大分別。
無論如何,對推理過程可解讀性的憂慮,主要是針對模型開發者。
總括而言,我不認為循環式 Transformer 是隱藏或遮蔽思維鏈的重要原因。為瞭解釋我的想法(並非雙關),讓我們退一步,先説明推理模型如何運作。
5.1 簡介推理
推理模型通常會先生成中間步驟,再給出最終答案。這些步驟使用一般文字 token(部分介面會選擇向用戶隱藏),並稱為推理軌跡或思維鏈。
例如,假設我們要求找出兩個數字,其和為 10,乘積為 21。下圖中,模型起初嘗試 5 和 5。雖然總和正確,但乘積是 25,而非 21。接着,它再嘗試 3 和 7,並重新檢查兩個條件。
這幅圖展示推理模型如何「推理」,包括回溯:模型發現錯誤後,重新檢視先前的選擇,再改用另一種方法繼續。
請注意,模型仍然是每次生成一個 token,並以提示和之前的 token 作為上下文。因此,這些中間步驟就像草稿紙,在得出最終答案前增加計算量。
正如上例所示,最終答案可以遠比之前的推理軌跡短。(OpenAI 通常會向用戶隱藏大部分推理軌跡。)
如想進一步瞭解和開發推理模型,我推薦閲讀我的書 Build a Reasoning Model From Scratch。
5.2 Token 用量與較短的思維鏈
推理軌跡中的額外 token 會增加計算量。循環式 Transformer 也會增加計算,因為 token 會經過更多 Transformer 區塊。有人或會認為,採用循環的模型在內部使用更多計算,因此不需要那麼多外部思考 token。
以下選取了部分 GPT-6 基準測試,橫軸為輸出 token 數量。
我們可以看到,整體而言,GPT-6 Astra 在不同推理強度下,未必都比前代 GPT 5.6 Sol 使用較少 token。不過,在準確度相同的情況下,GPT-6 Astra 的確使用較少 token。
這會引起可解讀性方面的憂慮嗎?未必。使用較少 token 可能只是代表模型能力更強、犯錯更少、回溯更少等等。換言之,它可能只是首次嘗試便答對更多問題。對我來説,這不會立即引起可解讀性方面的疑慮。
我的意思是,過去的模型也有同樣情況。我不認為有人會強烈擔心 GPT 5.6 Sol 比體型較小、完成相同任務時使用更多 token 的 GPT 5.6 Luna 難以解讀得多,如下圖所示。
事實上,如圖所示,在模型表現相近時,Luna 使用的 token 比 Sol 多 80%。這是否代表 Sol 的可解讀性差得多?
更合理的解釋是,能力較強(規模較大、訓練得更好並使用更多計算)的模型能更有效率地解決問題;這裏的「效率」是指使用較少 token。
也值得記住,推理軌跡不保證忠實描述模型內部發生的一切。在我看來,唯一合理的憂慮是:循環式 Transformer 是否會比傳統 Transformer 更常刻意以「虛假」推理軌跡誤導用戶。但我認為目前沒有有力證據顯示這種情況正在發生。
Astra 的系統卡確實指出,其推理軌跡的可監控性有所降低,表現也比 Sol 略有退步。這主要與軌跡較短、資訊較少有關。但這並不能證明循環機制是根本原因;也可能只是整體軌跡較短,情況與上文 Luna 和 Sol 的例子類似。
我分享自己對循環式 Transformer 如何隱藏思維鏈的看法幾小時後,OpenAI 首席科學家 Jakub Pachocki 也作出以下澄清:
我希望避免混亂報道引發一場監控能力流失的競賽。包括 Astra 在內,我們目前前沿模型的計算圖深度,是 GPT-4 的兩倍以內。自第一代推理模型起,OpenAI 一直努力保留並運用思維鏈監控。這項技術讓我們得以觀察模型對齊如何從訓練分佈泛化,因此我們非常重視。我認為它很脆弱,而且不幸地正走向負面,原因並非架構變更所致;我稍後會撰文詳談。不過,我們有方法加強這項能力,而這也是目前研究計劃的核心目標。
所謂「混亂報道」,很可能是指 The Information 上文引用的段落;該段暗示循環機制與思維鏈的改變無關。
6. 循環式 Transformer 研究
最後,我想分享幾篇有關循環式 Transformer 架構的有趣論文,當中包括之前已討論的研究。
6.1 潛在推理
與 Universal Transformer 相關,2025 年的論文 Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach 研究模型如何在推論時增加循環次數。為此,研究人員以 800B 個 token 訓練了一個規模相對適中、但也不算太小的 3.5B 參數模型。
它不像 Universal Transformer 那樣一再重用同一區塊,而是像 Nanbeige 一樣重複一組堆疊;不過與 Nanbeige 不同,它把由四個區塊組成的共用堆疊,放在 2 個初始區塊和 2 個最終區塊之間。
此外,與 Nanbeige 不同的是,共用堆疊在每輪開始時,除了接收上一輪的隱藏狀態,也會收到初始區塊的輸出。兩者會先串接,再經過一個經學習的線性投影,然後才進入四個共用區塊。可以把它理解為:每次傳遞時,堆疊都能取得相同的初始輸入表示。下圖概括了整個架構。
簡而言之,這是循環式 Transformer 的另一種有趣變體。
一個有趣細節是,研究人員在訓練期間會改變循環次數,讓模型能在推論時使用不同的計算量。
訓練期間會隨機抽取循環次數;推論時則由模型使用者選擇固定預算,例如 8、32 或 64 輪。此外,每個 token 都有一個根據下一 token 機率分佈決定的自適應停止機制。如果連續 2 輪之間的 KL 散度低於某個門檻,也就是兩個分佈太相似,便會停止循環。
整體效益視乎任務而定。在他們的評估中,HellaSwag 的表現大約在循環 8 輪後便趨於平穩,GSM8K 和 HumanEval 則會受惠於更多循環。
不過,儘管論文標題提到「潛在推理」,模型仍然可以生成文字形式的思維鏈。循環只是在每次輸出 token 之前增加額外計算。
6.2 知識檢索與推理
儲存資訊和運用資訊解決問題是兩回事。例如,2025 年 6 月發表的論文 Beyond Parameters: Exploring Virtual Logic Depth for Scaling Laws 透過分別量度 LLM 的記憶和推理能力,探討這個區分。
首先,在記憶實驗中,當參數數量固定時,循環對儲存資訊的容量幾乎沒有影響;增加不同參數的數量則會提升容量。由此可見,循環不會增加模型可儲存或檢索的知識。這很合理:資訊一旦儲存,檢索相對簡單;而循環本身是一種計算方式,並非「儲存」機制。
其次,在獨立的推理實驗中,重用區塊可以在不增加參數的情況下,改善多步驟數學問題的表現。這很有意思:額外計算可以幫助模型解決問題,即使它沒有更多空間儲存資訊。不過,更大型的模型也能改善推理能力(只是同時增加了參數)。
6.3 在相同計算預算下進行循環
2026 年 9 月剛發表的論文 SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers 回到第 2.2 節的成本比較。若循環式和傳統 Transformer 的每 token 計算量、非嵌入參數總數和 KV 快取需求大致相同,兩者比較結果如何?
研究人員採用混合專家架構,並把 Transformer 區塊中間的一半重複應用兩次,有點像 Nanbeige,但也像 Latent Reasoning 一樣在共用堆疊前後加入其他區塊。
不過,他們會縮小隱藏維度,以抵銷額外區塊應用所需的計算量。由於這會令參數量減少,他們再增加專家數目,把總參數量補回來。他們也調整注意力頭配置,令 KV 快取保持在相若水平。
實驗將規模擴展至 54B 非嵌入參數等級。接着,研究人員根據擬合出的縮放曲線估算,在研究涵蓋的計算範圍內,要達到相同驗證損失,SMELT 所需的訓練計算量可減少約 6.8–18%。
因此,這回答了循環式 Transformer 在計算方面是否值得採用:值得!在相同計算預算下,它們能帶來稍佳的模型。
6.4 全頻寬 Transformer
最後,2026 年 8 月發表的另一篇新近論文 Full-bandwidth transformer 研究跨 token 位置的循環。在每個解碼步驟中,模型會透過一個經學習的閘,將前一個 token 的最終隱藏狀態與新抽樣 token 的嵌入結合,作為下一次前向傳遞的輸入。
因此,下一個 token 的計算可以取得前一個 token 從堆疊底部得出的最終表示,這與 Latent Reasoning 有些相似。
使用 1B 基礎模型時,研究人員發現其潛在回饋方法在 MATH500 上生成較短的推理軌跡,同時維持或提升準確度。不過,指令微調後,縮短軌跡的效果便會消失。
無論如何,這很有意思,因為它直接連繫到前文討論的問題:循環會否令推理軌跡縮短?答案當然視乎回饋機制和模型的訓練方式。此外,這項實驗並沒有證明較短的軌跡是否較不忠實。
這項研究還有一個重要限制:研究人員沒有測試以傳統方式擴大模型(增加 Transformer 區塊,而不是循環)會否對推理軌跡長度產生類似影響。
總結
總括而言,OpenAI GPT-6 Astra 確實是一款非常出色的模型,而且在電腦操作方面尤其有重大進步。我相信未來幾個月,電腦操作會成為開源及專有測試框架的新焦點。對電腦操作而言,我特別重視開源;正所謂「能力愈大,責任愈大」,在讓測試框架存取我的主力電腦前,能先審核它會令人安心。
此外,GPT-6 Astra 很可能採用了循環式 Transformer 的某種變體。循環式 Transformer 簡單來説,就是在固定計算預算下帶來更好的模型表現。
模型表現更好也可能伴隨較短的推理鏈,但這並非新趨勢。在同一模型系列中,不同規模的模型之間(例如 GPT 5.6 Luna 與 Sol),我們一直都看到這種情況。
我認為,推理軌跡縮短只是更「聰明」或更有能力的模型所帶來的副作用:它們較少犯錯,也能在架構內部使用更多計算,而不必把推理軌跡當作草稿紙。某程度上,人類也是如此。面對大學的現場數學考試時,聰明而準備充足的學生,可能較少需要使用草稿紙,也較少需要回頭重做。
感謝閲讀並支持我的工作!
如果你想親自學習如何建構推理模型,歡迎看看我的書 Build a Reasoning Model (From Scratch)。我們會從預訓練 LLM 開始,逐步加入推理能力,並附上可供你執行和實驗的程式碼。這既有趣又有成就感;為了跟上 AI 領域的發展,打好基礎是對未來自己的良好投資。
另外,如果你讀過我的其中一本書,我很希望你能在 Amazon 留下簡短而誠實的評價。評價有助其他讀者判斷書籍是否適合自己,也是支持作者的簡單方法。
來源:Ahead of AI · magazine.sebastianraschka.com