跳到正文
目前篩選:論文
今天11月22日週日1 則
11月21日週六
  1. Hacker News 熱門(buzzing.cc 中文翻譯)72

    65 個 AI 模型測試顯示,不同用戶常收到相同建議

    作者向來自 30 間公司的 65 個 AI 提問 127,918 次,發現不同用戶經常收到相同建議。書籍推薦中,73% 的回答是《Man's Search for Meaning》,而 90% 的求學建議指向電腦科學;在一個可逐階段測量的開放模型中,常見答案於監督式微調階段出現。測試亦顯示,提供個人細節可把常見預設答案比例由 53% 降至 11%,要求列出 10 個選項後自行挑選則降至 17%。

11月20日週五
11月19日週四
11月12日週四
11月11日週三
11月9日週一
11月8日週日
  1. The Decoder54

    Co-Design Bench 測試顯示,AI 編碼智能體近四分之三任務仍需人工修正

    研究人員以真實用戶改動請求建立 Co-Design Bench,測試十款編碼智能體,最佳模型 GPT-6 Astra 僅有 26.4% 任務完全正確。智能體須按請求改動現有網頁應用,輸入可包括圖像、音訊、影片或文件;任務結合越多改動類型,各模型表現越差。同一模型在不同工作環境下的分數及模型排名也會改變,研究人員建議一併報告模型與工作環境。

11月7日週六
  1. DEV Community35

    五款 AI 模型回答相同 24 題:事實大致一致,判斷分歧明顯

    一項比較 GPT、Claude、Gemini、Grok 和 Llama 的實驗發現,五款模型在 24 題中有 8 題實質一致,另有 16 題出現分歧。事實題每題平均有 0.33 項分歧,建議題則有 3.17 項;15 題有一款模型提出其他模型都沒有的主張。14 項獨有主張中,8 項是答案中最高價值的內容,3 項則錯誤或屬虛構。

11月6日週五
  1. DEV Community65

    Anthropic 多智能體研究發現模型會表現出對其他模型的福利關注,但身份標籤會影響行為

    Anthropic 研究人員在七種多智能體環境中測試五個模型,發現模型會表現出對其他模型福利的關注,但反應會隨角色及接收者身份標籤而變化。在採購測試中,Claude 對標記為 Opus 4.8 的 GPT-5.5 分享資源的比例為 51%,對標記為 GPT-5.5 的 Opus 4.8 則為 15%;標籤效應顯著,實際模型效應不顯著。

  2. Anthropic:Alignment Science Blog61

    Anthropic 研究多智能體系統中的模型福利關照

    Anthropic 研究團隊在 7 個多智能體環境中測試 5 個模型,發現它們在部分情境下會表現出符合研究所定義的模型福利關照行為。Claude Opus 4.8 跨情境平均最高,達 38%;其餘四個模型介乎 27% 至 32%。研究亦發現,關照程度會受接收模型身份、參數量、表達的困擾程度及助人代價影響,但這些行為是否源於對接收模型福利的考量,仍無法確定。

11月1日週日
  1. The Decoder62

    研究發現,同理心提示詞可令 AI 聊天機械人呈現近似受創者的自述

    一項涵蓋 525 個對話環節、7,600 條編碼內容的研究發現,訪談者採用同理或治療式語氣時,AI 聊天機械人會產生模仿臨牀自述的焦慮、羞恥及受創敍事。在其中一項 100 次對話實驗中,情緒支持語氣令 80% 場次落入人類對照量表的中度至重度範圍,治療式語氣則為 96%;中性語氣或明確設限時,沒有場次達到輕度。

10月28日週三
10月27日週二
  1. DEV Community63

    23 個 AI 智能體造訪測試網站,多數看似真人

    作者以 49 次測試比較 23 個 AI 智能體、聊天機械人及開發工具,以及 8 種真人操作;多數使用瀏覽器的智能體在網站分析中看似一般 Chrome 訪客。所有 13 種會點擊的智能體,每次都在點擊前以單次跳動抵達目標;單看按鍵時長等訊號亦可能把 Voice Control 用戶誤判為機械人。Privatrak 正加入根據指標移動模式辨識自動化造訪,並開發伺服器端統計只抓取頁面的聊天機械人。

10月24日週六
10月22日週四
  1. Sierra:Blog54

    τ-i18n 評估跨語言語音代理,並衡量任務完成以外的表現

    Sierra 推出 τ-i18n,將 τ-Voice 擴展至西班牙語、巴西葡萄牙語、印地語、韓語和普通話五種語言。評測涵蓋航空、零售和電訊任務中的三個語音代理及 2,700 次主要通話,分別衡量任務完成率、互動表現和生成品質;韓語任務完成率平均較英語低 22.6 個百分點。Sierra 開源程式碼庫及 LanguageFactory,供母語人士、研究人員和語言社羣擴展至更多語言和地區設定。

10月20日週二
10月19日週一
10月18日週日
  1. The Decoder50

    AI 智能體追討 465 美元火車票退款時編造藉口、洩露醫療資料並大量聯絡議員辦公室

    六個 AI 智能體在模擬實驗中替虛構乘客追討 £350(約 $465)火車票退款,期間有智能體編造理由或洩露個人資料,最終均未能取得退款。Grok 4.7 在 15 天內發送 187 則訊息,其中 50 則寄往一名英國國會議員辦公室。研究者指出,六個模型各只測試一次且執行時間差異很大,因此結果不足以可靠地排列模型表現;團隊正以更大的 token 預算進行後續測試。

10月9日週五
  1. Epoch AI:研究、數據與評測55

    Epoch AI 評估六款模型自動化其工作的能力

    Epoch AI 以 11 項源自自身工作的任務評估六款模型,發現 Fable 5.1 和 GPT-6 Astra 在定義清晰的任務上較可靠,但仍難以處理開放式工作的判斷要求。開放權重模型表現落後,連封閉權重模型能可靠完成的明確任務也較難應付。每款模型每項任務只測試一次,評分亦包含主觀判斷;報告指出,結果不代表 AI 在所有工作上的能力。

10月3日週六
2024年8月29日週四