Claude Code 工程師 Addy Osmani 警告 AI Agent 依賴或導致「認知投降」
AI答案愈流暢愈危險 Claude Code工程師警告 人類將陷入「認知投降」
Anthropic 旗下 Claude Code 工程師 Addy Osmani 警告,過度依賴 AI Agent 可能令人逐步放棄核查,並削弱團隊對系統的共同理解。
Anthropic 旗下 Claude Code 工程師 Addy Osmani 於 11 月 3 日發表文章,警告工作愈依賴 AI Agent,人們愈容易在不知不覺間放棄獨立判斷。他指出,AI 產出的內容愈流暢、錯誤愈不明顯,使用者反而愈少仔細核查,最終可能形成他所說的「認知投降」(Cognitive Surrender),令團隊逐漸失去理解系統的能力。

AI 答案愈可靠 使用者愈容易放棄核查
Addy Osmani 在《Critical thinking when agents do the work》一文指出,他自己也是 AI Agent 工作流程的支持者,日常會同時使用多個 Agent 處理工作,並無主張減少使用這些工具。然而,當資料蒐集、分析以至產出結果的過程縮短至數秒,工作已不再自然要求人類持續思考。
他認為更值得警惕的是 AI 模型的進步。當答案大多寫得流暢、看來合理,而且明顯錯誤愈來愈少,使用者就容易降低警覺。即使同時運作多個 Agent,最後仍要由有限的人手審視產出。
從認知卸載到認知投降 3 個階段逐漸失去判斷權
Osmani 將人與 AI 的互動分成 3 個層次。首先是「認知卸載」(Cognitive Offloading),即把任務交予 AI,但使用者仍理解成果並為決定負責。其次是「判斷延後」(Deferral),即不再把 AI 答案視作需要檢驗的假設,而是直接拿來作下一步工作的前提。
最後是「認知投降」(Cognitive Surrender),使用者直接把 AI 的答案當作自己的結論,甚至不再覺得有必要驗證。Osmani 指出,這個概念來自賓夕法尼亞大學華頓商學院研究人員 Steven Shaw 和 Gideon Nave 的研究。他所描述的 3 個層次則是用來說明日常工作中由審核走向依賴的變化。
他形容這種轉變通常十分緩慢。工程師最初會完整閱讀 AI 的回答,之後開始略讀,最後只看大綱。當有人追問某項設計決定的原因時,才發現自己難以解釋。
程式碼通過測試 仍可能累積「認知債務」
Osmani 指出,AI 生成的程式碼即使結構整齊、通過測試,開發團隊仍可能逐漸失去對系統的共同理解。這種「認知債務」(Cognitive Debt)與傳統「技術債務」不同:後者涉及程式碼及系統設計留下的維護負擔,前者則是人員對系統的理解跟不上程式碼的增長。問題可能要到系統需要修改或排查錯誤時才浮現。
他同時指出,工程師無須強記整個大型程式庫。Claude Code 團隊亦會在有需要時重新理解個別程式模組,利用工具協助重建局部認知。真正需要保留的是辨認自己尚未理解甚麼,以及在重要決策前重新掌握相關邏輯的能力。
另一風險是「意圖債務」 AI 未必知道人類當初為何這樣決定
Osmani 在今年 6 月另一篇文章《The Intent Debt》進一步區分「意圖債務」(Intent Debt)。當團隊沒有記下系統設計的目標、限制及決策原因,AI Agent 只能根據現有程式碼推測原意,未必能找回當時真正的考慮。
例如 Agent 修改程式時刪去一項保護條件,即使測試通過,團隊仍可能無法確認該條件原本是否為了處理特殊情況。Osmani 建議透過規格文件及架構決策紀錄,保存重要選擇背後的原因,避免團隊只留下可執行的程式碼,卻失去「為何這樣做」的答案。
先形成自己的判斷 再要求 AI 提供反證
Osmani 建議,處理重要工作前先提出自己的假設,再讓 AI 協助分析;讀到答案後,應問甚麼證據可以推翻它,並嘗試以實際測試驗證。他亦建議在有爭議的議題上,要求不同模型從相反立場提出論據,再由人類作判斷。
他認為低風險任務可以放心交給 AI,例如由 Agent 在幾間評價相近的酒店之間作選擇。但涉及金錢、職涯、系統安全或對其他人有後果的決策,人類應保留推理及核查責任。同時要定期檢視有哪些技能因長期交由 AI 處理而停止練習。
Osmani 的警告針對批判思考、專業判斷及系統理解能力可能因欠缺練習而減弱,並非提出 AI 已令全人類智商下降的實證結論。
資料來源:Addy Osmani(11 月 3 日文章)、Addy Osmani:The Intent Debt、Wharton Magazine
來源:unwire.hk · 人工智能 · unwire.hk