跳到正文
OpenAI News·· 2024-10-01精選AI 評分62

OpenAI API 模型蒸餾支援以大型前沿模型輸出微調成本效益較高的模型

Model Distillation in the API

AI 導讀

OpenAI 的 API 模型蒸餾可在 OpenAI 平台上,使用大型前沿模型的輸出微調較具成本效益的模型。

推薦理由

這項 API 流程把大型前沿模型的輸出用於微調較具成本效益的模型,概述了在 OpenAI 平台內進行模型蒸餾的基本做法。

正文 · 繁體中文

我們推出全新的 Model Distillation 服務,讓開發者可以直接在 OpenAI 平台內透過整合式工作流程管理整個蒸餾流程。開發者因此可以輕鬆運用 o1‑preview 和 GPT‑4o 等前沿模型的輸出,微調 GPT‑4o mini 等更具成本效益的模型,並提升其效能。

模型蒸餾是使用能力更強的模型所產生的輸出來微調較小、成本效益較高的模型,讓後者能以低得多的成本,在特定任務上達到先進模型的效能。直到現在,蒸餾一直是多步驟且容易出錯的流程,開發者必須在互不相連的工具之間手動協調多項操作,從產生資料集到微調模型及衡量效能提升。由於蒸餾本質上需要反覆迭代,開發者必須一再執行每個步驟,因而大幅增加工作量及複雜度。

我們全新的 Model Distillation 套件包括:

  • Stored Completions⁠(在新視窗開啟):開發者現在可以透過我們的 API,自動擷取並儲存我們其中一個模型(例如 GPT‑4o 或 o1‑preview)產生的輸入輸出配對,輕鬆建立用於蒸餾的資料集。使用 Stored Completions,你可以輕鬆利用生產環境資料建立資料集,以評估及微調模型。開發者可以參閱 這份整合指南⁠(在新視窗開啟),了解如何選擇啟用補全內容儲存功能。

  • Evals⁠(在新視窗開啟) (測試版):開發者現在可以在我們的平台上建立及執行自訂評估,以衡量模型在特定任務上的表現。Evals 提供整合式的模型效能衡量方式,毋須手動建立評估指令碼及整合互不相連的記錄工具。你可以使用 Stored Completions 的資料,或上載現有資料集來設定評估。Evals 也可以獨立於微調流程使用,針對你的使用情境對模型效能作量化評估。

  • Fine-tuning⁠(在新視窗開啟):Stored Completions 和 Evals 已與我們現有的微調服務全面整合。這表示開發者可以在微調任務中使用由 Stored Completions 建立的資料集,並在我們的平台內使用 Evals 評估經微調的模型。

來源:OpenAI News · openai.com