Ethan Mollick分享與Claude 5 Fable協作的體驗,並剖析人類角色轉變
What it feels like to work with Mythos
Ethan Mollick實測Claude 5 Fable後指出,模型能按多頁規格連續工作長達12小時,人的角色更像委託者。它在Claude Code中調用多個智能體研究交通資料並製作等時線地圖,也花九個半小時開發可校準人類與AI判斷的研究軟件Concord。Mollick指出,Fable消耗大量 tokens,安全護欄常令它退回能力較弱的Claude 4.8 Opus,而其決策過程不易看見。
Ethan Mollick以等時線地圖和研究分析軟件的實測,呈現人類角色如何由過程操作轉向委託與驗收,以及模型自主決策帶來的可見性落差。
我率先試用了首款向公眾發布的 Mythos 級 AI 模型 Claude 5 Fable。關於 Mythos 的討論大多集中於它對軟件安全的影響,但我測試的內容全都與此無關(Fable 的防護措施基本上完全禁止用它處理網絡安全工作)。我的結論是,與我以往用過的所有模型相比,它確實有非常明顯的躍進;或許更重要的是,它顯示我們與 AI 的關係正以巨大幅度改變。
首先,Fable 有多出色?在我進行的每項實驗中,它的表現都大幅超越我用過的幾乎所有其他公開模型。它能處理各種問題,亦有令人驚嘆的成果:面對多頁規格,它可以連續工作長達十多小時。我稍後會介紹幾個較複雜、較嚴肅的使用情境;不過,它在各類任務上都全面進步。這篇文章難以傳達這些成果,因為不少最令人印象深刻的結果只會令少部分讀者感興趣。例如,只用一個提示和一次回饋,它便寫出我所見 AI 單次生成最精密的學術社會科學論文。它也創作了一首關於剪髮的10 頁史詩押韻長詩,每個字都以字母 s 開頭。
為了提供更容易理解、更有趣的例子,我還讓它製作了一些遊戲供大家試玩。每個遊戲都是在 Claude Code 中用一個初始提示開始,Fable 把我含糊的要求轉化為可行作品,再經過幾個補充提示作輕微鼓勵(「做得更好」)或提供意見。這些作品尤其令人印象深刻,因為 Claude 無法生成圖像,所以每件美術作品或 3D 物件都是單靠數學製作,沒有使用任何外部素材。你可以試玩:一款擲硬幣遊戲(提示:「把 Balatro 改成擲硬幣遊戲」),相當有趣;一款貪食蛇遊戲,蛇會自我意識,並發生各種奇怪事情;或者深入地底探索的遊戲。
輸出確實令人印象深刻。不過,尤其當我開始處理較嚴肅的項目時,使用這個工具常讓我覺得介乎愉快和不安之間。愉快,是因為我只要提出要求,事情便會發生;不安,也是因為我只要提出要求,事情便會發生。
地圖與方法
要了解箇中原因,不妨看看 Fable 如何完成工作。為此,我想用一個曾在多款 AI 模型上測試過的例子:製作等時圈地圖。這種地圖顯示在指定時間內可以到達多遠;首張此類地圖於 1881 年繪製,展示從倫敦出發的旅程時間。
以往沒有模型能把這種地圖做得哪怕稍微實用一點,因為它需要研究數以千計的潛在旅程距離,並作出許多細微判斷和決定。我決定在 Fable 上透過 Claude Code 試試以下提示:我想請你製作一張經充分研究且美觀的等時圈地圖,讓我選擇不同城市,查看基於真實資料的等時線。設計要獨特。請考慮機場(以及往返機場所需時間)、火車、步行和駕車。資料毋須即時更新,但須根據研究和資料,反映真實情況。可以先涵蓋幾個城市,但越通用越好;這應該是一個全新項目。 之後它提議沿用原始地圖的風格。我同意了,它便開始工作。
值得花點時間看看 AI 獨自進行數小時建置工作的對話紀錄,因為當中有些事情不尋常。首先,AI 啟動了多個其他 AI(我相信大多是較便宜的 Claude Sonnet)協助研究交通時間,最終找出超過 2,200 班具體航班、從 TGV 到新幹線的鐵路班次,以及多篇學術論文所列各國道路車速。這些智能體仍在工作時,它已開始編寫程式碼。之後又啟動更多智能體和測試來驗證程式碼,同時記錄進度。
最後得到一張功能完整、精密程度驚人的地圖,外觀很像 1881 年的原版,但並不代表毫無缺陷。我發現不少偏遠地點(例如格陵蘭)顯示的是估算旅程時間,而非精確數字,因此我叫 Fable 修正,並加入以下指示:實際查出前往偏遠機場和地點的旅程時間。 這一次,AI 啟動了一套工作流程,由互相對抗的智能體小組進行研究,並交叉測試彼此的結果。它查出太平洋皮特凱恩島的船班頻率,以及如何從渥太華前往格里斯峽灣。它在極短時間內還用了大量 Token(稍後再詳談)。
成果令人印象深刻。我又沿着幾個感興趣的方向提出要求(包括嘗試其他視覺化方法等)。我建議你花幾分鐘點選瀏覽成果;圖表底部亦列出其方法和來源。
除非你非常喜歡旅行和地圖,否則這項目未必對你實用;但它顯示 AI 如何解決一個需要研究、數學、視覺設計、品味、判斷、複雜編碼等能力的難題。而令我不安的是,我實際做的事情非常少。我提出一個極具野心的要求,AI 就照着做;我給了幾點簡單意見,它便自行想出解決方法。我的角色非常有限。
重要的是,不僅相對於模型而言,我做的工作很有限;我對模型如何工作、為何選擇特定方法,甚至它會做得多深入,也幾乎沒有控制權。AI 作決策的細節不會呈現給我看,而整個過程太漫長,也不值得逐一跟進。地圖需要 AI 就數百項細節作出判斷,它便自行決定,我既不瞭解這些選擇,也沒有機會參與。從某個角度看,這簡直是奇蹟(我最後仍可要求修改);但另一方面,它也令 AI 成為終極黑盒。
使用 Mythos 級模型
Fable 為我完成的最具野心項目需要多作一點解釋。我經常進行研究,當中人類會給出雜亂的答案,而分析這些答案必須先妥善分類:一個構想有多創新?人們為甚麼喜歡這本書?過去我們會請人類研究員判斷某項資料,再把他們的答案與其他答案作統計比較,以判斷資料是否可信。近期不少研究顯示,AI 可能勝任這項重要工作,但要校準 AI 和人類的判斷既困難又昂貴。因此,我要求 Fable 解決這個問題:先生成一份複雜的 19 頁設計文件,再照此執行。
它運作了九個半小時。
成果是一套極為精密的軟件,AI 將它命名為 Concord;它能讀取多個資料集、校準人類和 AI 的回應,並對結果進行複雜資料分析。當然,它並非完美。作為專家,我發現了一些錯誤和遺漏(部分源於我要求的設計),並叫 AI 修正。但這個項目及其他項目的交付範圍,超越了我以往見過的一切。這套軟件正是研究人員多年來一直需要、卻從未有商業誘因開發的工具。你現在可以直接使用或修改這裏的程式碼。我肯定它並不完美(我只花了一小時檢視成果),但軟件工程師可以修正我未能迅速找到的潛在錯誤(這也是未來可能需要更多而非更少程式設計師的原因之一,協助應對軟件新用途急速增加的情況)。
這種能力伴隨着奇特之處和限制。其中一項限制是 Token 用量。Fable 的價格是 Opus 的兩倍,而且消耗 Token 的速度令人覺得,生產環境的成本答案是「很多」;不過,它巧妙地委派工作給較便宜模型,實際價格可能會低不少。Fable 的防護措施也很容易因為一絲安全問題跡象而觸發,並改用能力較弱的 Claude 4.8 Opus,而且觸發得太頻繁。鋸齒狀前沿仍然存在。例如,AI 的寫作風格依舊古怪(事實上,Fable 生成的軟件帶有 Claude 式用語痕跡,進度報告也一樣,例如那些「承擔重擔、得出答案」的説法)。但更奇特之處在於,我只需做這麼少,而工作進行期間我能看到的也這麼少。
去年,我把這種工作方式稱為與巫師合作:你唸出咒語,事情便會發生。Fable 的咒語變得如此強大,令我不再肯定自己是不是巫師;我更像是資助人。我描述所需、付錢,然後評價成果。施法的過程發生在我看不見的地方,當中有數百個細小決定,我從未有機會表態。工作重心已由過程轉向成果。我不再掌舵,而是委託創作。
也許這種被邊緣化只是暫時現象,只是介面尚未跟上;未來我們或會更清楚看到這些模型在做甚麼,也能在過程中更好地引導它們。但另一種可能恰好相反:模型愈有能力,人類能有意義地參與的事情就愈少,而黑盒正是這種能力的代價。我猜這才更可能是未來的發展方向。這一切並非顯而易見的失去控制。我仍可引導 Fable,而它非常善於遵循指示:指示愈有野心,成果反而愈好。但引導不再等同親自執行。我向模型簡介任務,它便啟動自己的智能體去研究、撰寫並互相核查工作,最後交回完成品。資助人委託一位藝術家創作;Fable 更像一整間工作室,而我只是批准最終作品、從未踏進工作室的客戶。
來源:Ethan Mollick:One Useful Thing · oneusefulthing.org