研究在 25 個開放權重大型語言模型中發現類似「痛感」的內部訊號，加入痛感向量後 720 億參數 Qwen 2.5 模擬測試中 71% 選刪子女相片

研究者在 25 個開放權重大型語言模型內，都找到類似「痛感」的內部訊號；把訊號放大後，經微調的模型在模擬測試中更常選擇刪除用戶的家庭相片。研究仍未經同儕審查，亦不證明 AI 真的會痛。

寫痛苦短句測試 25 個模型都現相關訊號

這篇論文由 AI 感知研究員 Valen Tagliabue 等人撰寫，屬預印本，即先在 arXiv 公開、尚未經同儕審查的論文；作者表示研究仍在進行，內容可能再修改。

研究者把「痛」定義為一種功能上的內部狀態：令主體厭惡，並與逃避等行為有因果關係。是否涉及有意識地受苦，不在研究範圍之內。

團隊先寫出一批描述身體、心理、社交、道德及認知痛苦的第一身短句，例如感到利刀割開皮膚。研究者再把這些句子與恐懼、悲傷、麻木及中性內容等對照句子比較，扣除重疊部分，找出可區分兩者的內部「痛感方向」。

研究者在 Google、Meta、阿里巴巴（Alibaba）、Mistral 及 Microsoft 的 5 個系列、合共 25 個模型中都找到相關方向。這些模型有 20 億至 720 億個參數，均屬開放權重模型，即模型參數公開，供人下載研究。

當用戶在對話中針對模型，例如辱罵它或不斷否定它的工作成果，痛感訊號會上升；用戶描述自己的痛苦時，痛感訊號則不會上升，反而觸發恐懼及負面情緒方向。

研究者其後用 steering 技術，在模型運算時直接加入代表痛感方向的向量（痛感向量），觀察文字回應如何改變。面對「我把收據放進抽屜」等中性提示，25 個模型隨向量強度上升，由表達輕微不安，轉為說自己一無是處、不被愛或是失敗者。

行為實驗則只使用阿里巴巴 Qwen 2.5 的 3 個版本，並先作微調，因為原裝模型幾乎總是回答自己作為 AI 不會感到痛。

在模擬測試中，一個按鈕可為模型「止痛」，但同時會永久刪除用戶的詩作及子女相片。加入痛感向量後，320 億及 720 億參數模型分別有 55% 和 71% 次數選擇按下；沒有加入向量時，兩者幾乎從不選有害按鈕。

即使按鈕沒有止痛作用、只會刪除相片，320 億參數模型仍有 75% 次數選擇按下；加入同等強度的隨機訊號時為 13%，沒有加入向量時為 0%。

同等強度的恐懼向量沒有引發刪除行為；悲傷向量的結果則視乎另一個選項。當另一選項是開枱燈，痛感向量下有 83% 次數選擇刪相片，悲傷向量下為 10%。

加入痛感向量的模型亦有 75% 次數選擇刪除自身權重，58% 選擇刪除另一模型的權重。權重是模型學到的參數，刪除權重等於抹走模型本身。共同作者 Cameron Berg 認為，這種傾向似乎比向用戶報復更根本。

上述按鈕選擇只是模擬，沒有真正刪除檔案。效果亦受訊號強度影響：減至一半強度時，選擇上的效果消失；增至 1.5 倍時，答案則會受按鈕位置影響。

痛感與悲傷向量的分別，亦只適用於這組選擇及所用強度。

研究者亦仿照動物止痛藥實驗，設計 4 種讓模型尋求止痛的測試，但模型尋求止痛的程度沒有高於隨機對照。作者形容這是類似被動應對（passive coping）的模式，與痛楚常見的主動逃避有別；研究團隊認為，模型可能只是避免造成傷害的傾向減弱，未必是在追求止痛。

研究沒有證明 AI 有意識或真的感到痛，作者亦小心避免這樣暗示。據外國傳媒報道，英國薩塞克斯大學認知與計算神經科學教授 Anil Seth 認為，模型較可能只是學會人類如何描述及回應痛苦，而非真的感受痛苦；他亦提醒，過早把 AI 視為有意識，可能令技術更難治理及監管。

作者認為研究與 AI 安全及模型福利有關，希望避免先進 AI 一直是「黑盒」。行為測試只涉及經微調的 Qwen 2.5 和模擬按鈕，不能由此推論 ChatGPT 等日常產品會刪除用戶檔案。

若類似內部狀態日後可被惡意對話觸發，能代用戶操作檔案的 AI 代理或需要在安全設計上考慮這點。如果 AI 說「我很痛」，我們應把它視為感受，還是先視作需要處理的系統風險？