跳到正文
熱點事件持續更新

Cognition 回顧 Devin 表現並公佈基準測試

3 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

Cognition 介紹 Devin,稱其為首位 AI 軟件工程師,並指它可在沙盒運算環境中使用 shell、code editor 和 browser 執行複雜工程任務。Cognition 以 SWE-bench 評估 Devin,在隨機抽取的 570 個 issue 中解決 79 個,成功率為 13.86%。回顧 Devin 上線 18 個月的工程應用時,Cognition 表示它較適合要求清晰、結果可驗證的任務,難以獨立處理模糊需求;公司稱解題速度快 4 倍、資源使用效率高 2 倍,PR 合併率由去年的 34% 升至 67%。報道亦指出,需求中途變更及人際協作仍是限制,測試邏輯和程式碼審查仍須人工覆核。

AI 根據報道生成 · 2 小時前更新

事件進展

2 個進展

  1. 10月13日 00:27 · 1 篇報道
    Cognition 推出 Devin
    Cognition 模型 / Devin 博客:Cognition 介紹 Devin,稱其為首位 AI 軟件工程師
  2. 10月13日 00:27 · 2 篇報道
    Cognition披露Devin表現評估
    Cognition 模型 / Devin 博客:Cognition 回顧 Devin 上線 18 個月表現,整理工程團隊中的能力與限制

報道時間線

沿着報道,瞭解事件的不同側面。

10月13日
  1. Cognition 模型 / Devin 博客
    Cognition 介紹 Devin,稱其為首位 AI 軟件工程師

    Cognition 介紹 Devin,稱其為首位 AI 軟件工程師;Devin 可在沙盒運算環境中使用 shell、code editor 和 browser 執行複雜工程任務。

  2. Cognition 模型 / Devin 博客
    Cognition 公佈 Devin 的 SWE-bench 技術報告,成功率為 13.86%

    Cognition 使用 SWE-bench 評估 Devin,在隨機抽取的 570 個 issue 中成功解決 79 個,成功率為 13.86%。

  3. Cognition 模型 / Devin 博客
    Cognition 回顧 Devin 上線 18 個月表現,整理工程團隊中的能力與限制

    Cognition 回顧 Devin 上線 18 個月的工程應用,指出它較擅長要求清晰、結果可驗證的任務,但難以獨立處理模糊需求。Cognition 表示,Devin 解題速度快 4 倍、資源使用效率高 2 倍,PR 合併率由去年的 34% 升至 67%。需求中途變更及人際協作仍有不足,測試邏輯和程式碼審查亦須人工覆核。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。