跳到正文
OpenAI News·· 3 天前精選AI 評分65

OpenAI 發佈更新版 Astra for Law,開放 ChatGPT Enterprise 客戶申請

Astra for Law leads in legal intelligence

AI 導讀

OpenAI 發佈更新版 Astra for Law,這項基於 GPT‑6.2 Astra 的法律模型配置現可供所有 ChatGPT Enterprise 客戶透過 Trusted Access Program 申請,亦可申請 API 存取。

推薦理由

材料並列 LAB-AA 與 Vals AI 的基準數據及法律搜尋索引變化,可從任務滿分率和資料覆蓋兩方面瞭解此次更新。

正文 · 繁體中文

Astra for Law 在法律智能方面領先

我們最新的模型配置在多項基準測試中取得領先成績。所有 ChatGPT Enterprise 客戶現可申請使用權限。

分享

Harvey LAB-AA 排名第一

今天,我們推出更新版 Astra for Law。它在 Harvey LAB-AA 中達到業界最先進水平,並在 LAB: USCL(由 Harvey⁠(在新視窗開啟) 與 Grubel⁠(在新視窗開啟) 共同開發)及 Vals AI’s Legal Research Bench 中表現出色。我們亦開放所有 ChatGPT Enterprise 客戶透過 Trusted Access Program(包括 API)申請使用權限。

Astra for Law 是 GPT‑6.2 Astra⁠ 的模型配置。GPT‑6.2 Astra 是我們最新、最強大的前沿模型。此配置將 GPT‑6.2 Astra 與擴充的法律搜尋索引結合,並提供研究問題、評估相關法律依據及撰寫答案的指示。這個配置在 LAB-AA 測試中取得滿分的頻率,比排名第二的 GPT‑6.2 Astra 高近 40%。

自從我們在 9 月向一小羣律師事務所推出 Astra for Law⁠,當中包括 Cooley⁠、Ropes & Gray⁠ 及 Sullivan & Cromwell⁠,我們的研究團隊迅速改進其法律推理能力,並將法律搜尋索引擴大超過三分之一。在 Vals AI’s Legal Research Bench⁠(在新視窗開啟) 上,通過所有檢查的研究答案比例在不到兩個月內由約 46% 升至 53.8%。

世界日趨複雜,律師扮演的角色亦愈見重要。他們塑造了我們依賴的幾乎每個系統:協商推動商業活動的協議、在法庭上捍衞人們的權利,以及起草我們共同遵循的法律。這就是 OpenAI 將法律列為研究重點的原因:讓最優秀的律師掌握最強大的智能。

Harvey LAB-AA 排名第一

Harvey 的 Legal Agent Benchmark (LAB) 測試模型能否從頭到尾完成法律任務。LAB-AA⁠(在新視窗開啟) 是 Artificial Analysis 推出的該測試版本。它讓模型接受 120 項由 Harvey 設計、涵蓋 24 個法律範疇的任務考驗,內容包括準備證人作供提綱、審閲商業租約,以及制定收購交易中的所有權變更策略。要取得滿分,答案必須符合任務的每項要求,且不得產生幻覺,即提出來源文件並不支持的實質主張。

Astra for Law 排名第一,在 20.8% 的任務中取得滿分,領先 GPT‑6.2 Astra 的 15.0% 及 Muse Wonder Full 的 13.1%。

Image 1: Bar chart comparing the share of LAB-AA assignments that earned full credit.

Astra for Law 以 20.8% 排名第一,取得滿分的頻率比得分最高的非 OpenAI 模型 Muse Wonder Full 高約 59%。

Astra for Law 也以每項任務少54%的輸出 token 數,取得該項最高分;相比之下,評測中得分最高的非 OpenAI 模型每項任務平均產生約64,000個輸出 token,而 Muse Wonder Full 則為139,000個。對按用量付費的法律團隊而言,這可能決定能否控制在預算內,抑或超出預算。

Image 2: Scatterplot of average output tokens on a logarithmic scale against LAB-AA full-credit rates.

每個點代表一種模型配置。位置越高,代表獲得滿分的任務越多;位置越靠左,代表輸出 token 數越少。輸出 token 包括模型推理及寫作時生成的文字。Astra for Law 每項任務平均產生約64,000個輸出 token,並有20.8%的任務獲得滿分;相比之下,Muse Wonder Full 每項任務產生139,000個輸出 token,獲得滿分的任務佔13.1%。圖中沒有任何配置能以更少的輸出 token 達到 Astra for Law 的得分。

每項任務的幻覺數量比 Claude Opus 5.5 少95%

幻覺在法律工作中不可接受。一項虛構的引證,就可能令律師失去客戶的信任、在法庭上的公信力,以及多年建立的聲譽。因此,減少幻覺一直是 Astra for Law 的優先工作。在 Artificial Analysis 最新的 LAB-AA 比較中,Astra for Law 與 GPT‑6 並列,重大幻覺率最低:每項任務為0.03次;相比之下,Claude Opus 5.5(非 OpenAI 模型中次低者)為0.59次。值得注意的是,在這項評測中,Astra for Law 對符合全部通過條件的任務沒有出現任何重大幻覺。

Image 3: Grouped bars comparing material and minor hallucinations per LAB-AA assignment.

Astra for Law 每項任務平均出現0.03次重大幻覺及0.06次輕微幻覺。Claude Opus 5.5 每項任務平均出現0.59次重大幻覺及0.51次輕微幻覺,重大幻覺約為 Astra for Law 的20倍,輕微幻覺則約為8.5倍。

在相同的120項任務中,Artificial Analysis 統計了可能在實質要點上誤導讀者的幻覺內容。Astra for Law 每項任務平均出現0.03項此類錯誤,在比較中並列最低,約為一般 GPT‑6.2 Astra(0.06)的一半。

所有接受測試的 OpenAI 配置,幻覺數量均少於 Claude Opus 5.5;在這項指標上,Claude Opus 5.5 是表現最佳的非 OpenAI 模型。Opus 5.5 每項任務平均出現0.59次重大幻覺,約為 Astra for Law 的20倍。

LAB:USCL 法律陳詞書撰寫表現最佳

「Astra for Law 6.2 在我們各項基準測試中的表現,較之前的 Astra 模型有重大提升。它撰寫的法律陳詞書內容更全面、論證更周詳;在成對比較評審中,近90%的情況下,評審更偏好它撰寫的陳詞書,而非 GPT‑6 Astra 撰寫的陳詞書。值得注意的是,深度提升並沒有以犧牲先前模型的準確度為代價——我們持續觀察到,Astra 系列模型在 LAB 及其美國案例法延伸測試中的幻覺率屬最低之列。」

Julio Pereyra,Harvey 法律研究主管

撰寫法律陳詞書是法律領域中最複雜的長流程之一,需要清晰的推理、研究和寫作融為一體,才能提出出色的論證。

Harvey 與 Grubel⁠(在新視窗開啟) 共同開發了 LAB: USCL⁠(在新視窗開啟),用來測試模型能否在真實的美國聯邦案件中進行研究並撰寫書面陳詞。每個模型都會在陳詞提交前介入,代表同一方就同一議題撰寫陳詞。一個版本中,模型必須自行找出相關案件;另一個版本中,模型會取得案件紀錄,以及原律師引用的先例。AI 評分系統會根據經律師審閲和校準的準則,直接比較各份陳詞。Astra for Law 在兩個版本中均取得最高分之一。

Image 4: Harvey U.S. Case Law evaluation: Astra for Law scores 1,844 versus Opus 5.5 at 1,817 with research, and 1,883 versus 1,882 with supplied cases. Both uncertainty ranges overlap.

位置愈靠右,代表陳詞所得評分愈高。模型自行研究法律時,Astra for Law 得分 1,844,高於 Opus 5.5 的 1,817。提供先例後,兩者幾乎不相上下,分別得 1,883 分和 1,882 分。

第一項結果(左側的「Research and draft」)值得關注,因為更出色的法律研究是這次推出版本的核心改進之一。我們著重改善這項結果,是因為訴訟律師很少會一開始就有一份列出正確案件的清單。在這項測試中,每個模型都必須判斷哪些判決相關,並據此撰寫法院能夠理解的論據。在這項任務中,Harvey 的評分系統較偏好本次推出的 Astra for Law 所撰寫的陳詞,而非 Opus 5.5 和 Gemini 4 Argon 等其他領先前沿模型的陳詞。在下文將討論的 Vals AI 評測中,我們可以看到法律研究能力有更顯著的提升。

在 Vals AI Legal Research Bench 中名列前茅

我們已將法律列為 OpenAI 的研究重點,並組成研究團隊,加快前沿法律智能的創新。研究進展的一項早期指標來自 Vals AI 的 Legal Research Bench⁠(在新視窗開啟);在這項評測中,執業律師會設定有關美國聯邦及州法律的問題。回答必須涵蓋所有必需要點,並通過來源核查。9月,Astra for Law 約有 46% 的問題取得滿分。在 Vals AI 於 11月16日進行的評測中,它在 208 條問題中有 112 條取得滿分(53.8%),在不到兩個月內提升約八個百分點。計入部分得分後,它取得可得分數的 90.9%。

Image 5: Bar chart showing the share of legal research questions on which Astra for Law earned full credit rising from about 46% in September to 53.8% in November.

不到兩個月內,Astra for Law 在法律研究問題中取得滿分的比例,從約 46% 上升至 53.8%,提升約八個百分點。

Image 6: Scatter plot comparing systems on the Vals AI Legal Research Bench, with Astra for Law in green among the highest-scoring systems.

Astra for Law(綠色)在 Vals AI 的 Legal Research Bench 中,位列少數表現頂尖的模型之中。

將 Astra for Law 建構為一種模型配置,讓我們能緊貼前沿發展;在此指的是 GPT‑6.2 Astra⁠。以此為基礎,我們會根據法律從業者的意見,反覆調整 Astra for Law 專用的設定和指示,教導它像資深律師一樣推理和寫作。我們亦會持續改良其工具,例如法律搜尋索引。自9月以來,索引規模增加了 34%,新增超過 8,000 萬個網址,涵蓋英國、澳洲和加拿大等司法管轄區。更新後的索引目前收錄超過 3.1 億個網址,涵蓋超過 99.9% 已公佈且具先例效力的美國判例法⁠(在新視窗開啟)。

下方圖表展示模型配置如何同時把握前沿創新的速度,並在此基礎上融入令其對律師更具實用性的特定要求。在 Harvey 自家的 Legal Agent Benchmark 中,GPT‑6 Astra 在 4.6% 的任務中滿足所有要求。GPT‑6.2 Astra **表現提升至三倍,**在相同條件下完成 14.6% 的任務。採用法律專用配置後,比例升至 16.2%,比 GPT‑6.2 Astra 多完成 11% 的題目。

Image 7: Share of Harvey Legal Agent Benchmark assignments meeting every requirement: GPT-6 Astra, 4.6%; GPT-6.2 Astra, 14.6%; Astra for Law 6.2, 16.2%.

這張圖表展示前沿智能的發展速度,以及模型配置帶來的影響。從 GPT‑6 Astra 到 GPT‑6.2 Astra,滿分率提升至三倍以上;採用法律專用配置後,再上升 11%。這項測試來自 Harvey 自家的 LAB,與之前提到的 LAB-AA 分開。

律師如何使用 Astra for Law

「我們很高興能預覽 Astra for Law 的早期版本,這些版本在開發時已考慮法律用途。在訴訟及交易事務中,模型都展現出令人印象深刻的研究深度,以及對權威依據的敏感度。即使在這個早期階段,它們已讓人感到,這是邁向以法律為本的 AI 的一大步,而且這類 AI 以仔細整理、兼具時效性與全面性的研究為基礎。」

—John Savva,Sullivan & Cromwell 合夥人

Astra for Law 最值得探索的應用可能性,正由日常使用它工作的律師所塑造。律師事務所客戶及 OpenAI 自身的法律團隊中,早期用戶正為自己的執業範疇建立參考資料,邀請別人更嚴格地挑戰自己的論點,並探索應對法例變動的新方法。

例如,OpenAI 的早期用戶正使用 Astra for Law:

  • 為你的論點找來最強勁的對手。 Astra for Law 的常見用途之一,是充當辯論對手。一名競爭法律師會向它提供對某條法例的解讀,並要求它從對立立場提出論據,參考立法沿革、法院判決,以及其他語言版本的法律。

  • 找出建議與強制要求之間的界線。 一名政策律師研究一項擬議的監督法案時,想知道獨立審查員有多大權力。如果審查員要求作出修正,開發人員是否必須照辦?遇到這類問題,律師會把每項義務的淺白英文説明與法案原文並列,以便迅速判斷文本支持哪種解讀。

  • 首次與外聘法律顧問通話時,直接討論最棘手的問題。 當企業考慮進入不熟悉的行業時,產品律師會使用 Astra for Law 梳理擬議活動適用哪些規則。律師無須在首次通話時先詢問概括性的意見,而可以直接向外聘法律顧問提出實際需要處理的問題。

  • 將一疊政策文件轉化為工作流程。 一名法律項目經理使用 Astra for Law,把監管程序及公司政策轉化為供處理新個案的同事使用的工作流程,讓他們能自動化判斷何時索取更多資料、何時結案,以及何時將個案上報律師。

  • 編寫你希望法例附帶的指南。一名競爭法律師將 Astra for Law 與 ChatGPT 的網站建置工具結合,為團隊經常參照的法例加上註釋。同事閲讀某項條文時,可以將遊標停在某個術語上查看定義,沿着連結查閲解釋該術語的資料,並查看團隊上次就該條文提供的意見。

在你的法律實務中使用 Astra for Law

由今天起,所有 ChatGPT Enterprise 客戶均可透過管理主控台中的 Trusted Access Program 申請使用 Astra for Law。如果你的團隊已獲得使用權限,請在 ChatGPT 中選取 gpt-6.2-astra-law。客戶亦可申請 API 存取權限,透過此表格⁠將 Astra for Law 整合至自己的工具。

法律界正處於轉捩點。科技改變企業所能做到的事,世界亦變得日益複雜、互相連繫;在這個時刻,律師前所未有地有機會塑造我們理解當下的方式,不僅是為他們提供法律意見的企業,也包括我們所有依循他們協助制定的規則生活的人。

我們相信,配備最佳智能的優秀律師,能夠迎接這個時刻。我們才剛起步,期待看到你們將法律界帶往何方。

作者

OpenAI

來源:OpenAI News · openai.com