OpenAI 在 API 推出文字與程式碼嵌入向量端點
Introducing text and code embeddings
OpenAI 在 API 新增嵌入向量端點,支援自然語言與程式碼任務。端點可用於語義搜尋、聚類、主題建模和分類。
新端點涵蓋語義搜尋、聚類、主題建模與分類,呈現嵌入向量在自然語言及程式碼任務中的應用範圍。
嵌入向量是把概念轉換成數字序列的數值表示,讓電腦更容易理解這些概念之間的關係。我們的嵌入向量在 3 項標準基準測試中勝過頂尖模型,包括程式碼 搜尋方面相對提升 20%。
嵌入向量適用於自然語言和程式碼,因為其他機器學習模型和演算法(例如分群或 搜尋)可以輕易使用和比較它們。
數值上相似的嵌入向量在語義上也相似。例如,「狗狗夥伴會說」的嵌入向量會更接近「汪汪」的嵌入向量,而非 「喵。」的嵌入向量。
新端點使用衍生自 GPT‑3 的神經網絡模型,將文字和程式碼映射為向量表示—將它們「嵌入」高維空間。每個維度都捕捉輸入 內容的某個面向。
新的 /embeddings(在新視窗開啟) 端點位於 OpenAI API(在新視窗開啟) 只需幾行 程式碼,即可提供文字和程式碼嵌入向量:
我們推出三個嵌入模型系列,每個系列均經調校,以在不同功能上取得良好表現:文字相似度、文字搜尋和程式碼搜尋。模型會以文字或程式碼作為輸入,並傳回嵌入 向量。
模型 | 用途 | |
文字相似度:捕捉不同文字片段之間的語義相似度。 | 文字相似度-{ada, babbage, curie, davinci}-001 | 分群、迴歸、異常偵測、視覺化 |
文字搜尋:在文件中進行語義資訊檢索。 | 文字搜尋-{ada, babbage, curie, davinci}-{查詢, 文件}-001 | 搜尋、上下文關聯性、資訊檢索 |
程式碼搜尋:以自然語言查詢尋找相關程式碼。 | 程式碼搜尋-{ada, babbage}-{程式碼, 文字}-001 | 程式碼搜尋和相關性 |
文字相似度模型
要比較兩段文字的相似程度,只需將 點積(在新視窗中開啟) 套用於文字嵌入上。結果是一個「相似度分數」,有時稱為「餘弦相似度(在新視窗中開啟)」,介乎 –1 至 1 之間,數值越高,表示相似程度越高。在大多數應用程式中,嵌入可以預先計算,之後點積比較的執行速度會非常快。
嵌入向量的一種常見用途,是將其作為分類等機器學習任務的特徵。在機器學習文獻中,使用線性分類器時,這類分類任務稱為「線性探測」。我們的文字相似度模型在線性探測分類方面創下新的最佳成績,評測採用 SentEval(在新視窗開啟) (Conneau 等人,2018(在新視窗開啟)),這是常用於評估嵌入向量 品質的基準測試。
文字搜尋模型
文字搜尋模型提供嵌入向量,支援大規模搜尋任務,例如根據文字查詢,從一組文件中找出相關文件。文件和查詢各自的嵌入向量會分開產生,然後使用餘弦相似度比較查詢與每份 文件之間的相似度。
基於嵌入向量的搜尋比傳統關鍵字搜尋採用的字詞重疊技術有更好的泛化能力,因為它能捕捉文字的語義,也較不受完全相同的詞組或字詞影響。我們在搜尋評估套件 BEIR(在新視窗開啟) (Thakur 等人,2021(在新視窗開啟))上評估文字搜尋模型的表現,並取得比以往方法更好的搜尋成效。我們的 文字搜尋指南(在新視窗開啟) 提供更多有關如何在搜尋 任務中使用嵌入向量的詳情。
程式碼搜尋模型
嵌入向量 API 的實際應用範例
JetBrains Research
FineTune Learning
FineTune Learning(在新視窗開啟) 是一間開發結合人類與 AI 的混合式學習方案的公司,例如 自適應學習循環(在新視窗開啟) 協助學生達到學業標準。
OpenAI 的嵌入向量大幅提升了根據學習目標尋找教科書內容的成效。OpenAI 的 text-search-curie 嵌入模型 top-5 準確率達 89.1%,表現勝過 Sentence-BERT(64.5%)等以往方法。人類專家目前仍較出色,但 FineTune 團隊現在能在數秒內標註整本教科書;以往專家需要數小時。
Fabius
Fabius(在新視窗開啟) 協助公司將客戶對話轉化為有助規劃和安排優先次序的結構化洞見。OpenAI 的嵌入向量讓公司更容易在客戶通話逐字稿中找出並標記功能需求。
例如,客戶可能會用「自動化」或「易於使用」等字眼,要求更完善的自助服務平台。過去,Fabius 使用模糊關鍵字搜尋,嘗試將這些逐字稿標記為「自助服務平台」。使用 OpenAI 的嵌入向量後,他們現在整體而言能找到多 2x 個例子;對於用例較抽象、沒有明確客戶可能會使用的關鍵字的功能,則能找到多 6x–10x 個例子。
所有 API 客戶均可參閱 嵌入向量文件(在新視窗開啟) 開始在自己的應用程式中使用嵌入向量。
來源:OpenAI News · openai.com