OpenAI 利用 GPT-3 打造新一代 AI 角色
OpenAI 使用 GPT-3 創作新一代由 AI 驅動的角色。
OpenAI 使用 GPT-3 創作新一代由 AI 驅動的角色。
OpenAI 宣佈推出一款全新的嵌入向量模型,並稱這款模型能力顯著提升、成本效益更高,也更簡單易用。
OpenAI 介紹了名為 ChatGPT 的對話模型,該模型以對話方式與用户互動。對話格式使 ChatGPT 能回答追問、承認錯誤、質疑不正確前提,並拒絕不當請求。
推薦理由:原文把追問、承認錯誤、質疑錯誤前提及拒絕不當請求列為對話格式支持的行為,具體呈現 ChatGPT 的互動設計。
OpenAI 宣佈 DALL·E API 開放公測,開發者可開始用它構建應用。
推薦理由:公告交代 DALL·E API 已開放公測及開發者可開始構建應用,呈現了這次開放對應的對象與實際用途。
Hugging Face Blog 提供使用 🤗 Transformers 為多語言 ASR 資料集微調 Whisper 的逐步指南,涵蓋資料準備、訓練與評估。
推薦理由:文章將 Whisper 多語言微調拆解為資料準備、特徵處理、訓練評估與示範流程,並以印地語資料展示從預處理到模型分享的可複用實作路徑。
OpenAI 宣佈 DALL·E 不再設候補名單,新用户可立即開始創作。OpenAI 表示,部署過程累積的經驗及安全系統改進,讓服務得以擴大開放。
推薦理由:DALL·E 取消候補名單後,新用户可立即開始創作;OpenAI 同時交代擴大開放所依據的部署經驗與安全系統改進。
OpenAI 宣佈將其訓練的神經網絡 Whisper 開源。Whisper 在英語語音識別上的穩健性與準確度接近人類水平。
推薦理由:Whisper 的開源安排與英語語音識別表現並列,且以接近人類水平作比較,讓讀者可同時掌握模型發佈範圍與性能定位。
DALL·E 推出 outpainting 功能,讓圖像可延展至任意尺寸,以擴展創作並講述更大的故事。
OpenAI 正提升 AI 系統從人類回饋中學習及協助人類評估 AI 的能力。其目標是建立足夠對齊的 AI 系統,讓該系統協助解決其他所有對齊問題。
OpenAI 推出改進版內容審核工具 Moderation endpoint,該端點改進了 OpenAI 先前的內容過濾器。它免費供 OpenAI API 開發者使用。
OpenAI 宣佈 DALL·E 開放 Beta,並將在未來數週邀請候補名單中的 1 million 人使用。用户可使用每月補充的免費點數創作,也可按每 115 次生成 $15 的價格購買額外點數。
推薦理由:材料同時列出候補邀請規模、免費點數補充頻率及額外點數價格,能讓讀者瞭解 Beta 開放初期的使用方式與成本。
OpenAI 正在為 DALL·E 推行一項新技術,令其生成的人物圖像更準確反映世界人口多樣性。這項措施旨在減少 DALL·E 2 的偏見並改善安全性。
OpenAI 透過 Video PreTraining(VPT),使用大量未標註的人類 Minecraft 遊玩影片,配合少量已標註的承包商數據訓練神經網絡玩 Minecraft。經微調後,模型可學會製作鑽石工具;熟練玩家完成這項任務通常需要超過 20 分鐘(24,000 次操作)。模型使用按鍵輸入和滑鼠移動這種原生人類操作介面,研究將其視為邁向通用電腦操作智能體的一步。
推薦理由:這項研究展示如何利用大量未標註的人類遊玩影片,配合少量標註數據訓練可透過鍵盤和滑鼠操作遊戲的模型。
OpenAI 訓練了能描述摘要缺陷的評註撰寫模型;人類評估者閲讀這些評註後,發現摘要缺陷的頻率大幅提高。較大型模型更善於自我評註,規模擴大對評註撰寫的提升幅度大於摘要撰寫。這顯示 AI 系統有望協助人類監督難度較高任務中的 AI 系統。
Cohere、OpenAI 與 AI21 Labs 制定了一套初步最佳實踐,適用於任何開發或部署大型語言模型的組織。
OpenAI Codex 現正透過 OpenAI API,為涵蓋多種使用場景的 70 款不同應用程式提供支援。
OpenAI 將開始每週從候補名單增添最多 1,000 名 DALL·E 2 研究預覽用户。早期用户至今已創作超過 3 million 張圖像,並協助 OpenAI 改進安全流程。
OpenAI 宣佈多項高層職務變動,稱這些調整反映近期進展,並將確保團隊持續朝下一個重大里程碑推進。
🤗 datasets 教程示範為 10,000 張來自 British Library 數碼化書籍的插圖建立文字搜圖流程。作者使用 sentence_transformers 的 CLIP 將圖片和文字提示詞轉成嵌入向量,再以 FAISS 檢索相似圖片;完整數據集網址為 https://doi.org/10.21250/db17。
OpenAI 發佈 GPT-3 和 Codex 新版本,讓模型可以編輯或插入既有文本內容,而非只接續文本。
推薦理由:新版本把 GPT-3 和 Codex 的操作從接續既有文本擴展到編輯或插入內容,清楚呈現兩種文本處理方式的差異。
OpenAI 分享對已部署模型的安全與濫用問題的最新思考,期望協助其他 AI 開發者應對相關問題。
OpenAI 徵求大型語言模型經濟影響研究的意向,供有意探討該議題者表達研究興趣。
OpenAI 表示,透過對齊研究訓練的 InstructGPT 比 GPT-3 更能遵循用户意圖,同時回答更真實、毒性更低。這些由人類參與訓練的模型已部署為 OpenAI API 的預設語言模型。
推薦理由:材料交代了 InstructGPT 相較 GPT-3 的改進方向、人類參與訓練方式及 API 預設部署,呈現對齊研究如何落到實際服務。
OpenAI 在 API 新增嵌入向量端點,支援自然語言與程式碼任務。端點可用於語義搜尋、聚類、主題建模和分類。
推薦理由:新端點涵蓋語義搜尋、聚類、主題建模與分類,呈現嵌入向量在自然語言及程式碼任務中的應用範圍。
OpenAI 微調 GPT-3,讓它透過文字式網頁瀏覽器更準確地回答開放式問題。
OpenAI 宣佈推出 OpenAI Residency,作為支持及培育 AI 人才工作的一部分。
OpenAI 宣佈其 API 現已不設候補名單,服務可用範圍進一步擴大。公告指出,擴大開放是安全方面進展促成的。
推薦理由:OpenAI API 免候補即可使用的變化,連結到安全方面的進展,提供了理解其擴大開放背景的線索。
OpenAI 宣佈任命 Helen Toner 加入其董事會。
OpenAI 發佈改進版 Codex,這套 AI 系統可將自然語言轉換為程式碼,並自今日起透過 API 開放私人測試。
推薦理由:公告同時交代 Codex 的自然語言轉程式碼定位和 API 私人測試安排,讀者可掌握其用途與當時的接入範圍。
OpenAI 發佈 Triton 1.0,這是一種用於神經網絡 GPU 程式設計的類 Python 開源語言。它讓沒有 CUDA 經驗的研究人員也能編寫高效 GPU 程式碼;OpenAI 稱,多數情況下這些程式碼可媲美專家所能產出。
推薦理由:Triton 1.0 以類 Python 語言降低神經網絡 GPU 程式設計門檻,讓沒有 CUDA 經驗的研究人員也能編寫高效程式碼,OpenAI 稱多數情況下可媲美專家產出。
OpenAI 最新研究發現,使用小型精選資料集進行微調,可改善語言模型在特定行為價值方面的表現。
OpenAI 宣佈,2021 屆 OpenAI Scholars 已完成為期六個月的導師計劃,並在 OpenAI 提供津貼及支持下完成開源研究項目。
OpenAI 宣佈,美國眾議員 Will Hurd 已加入董事會。OpenAI 表示,發展造福全人類的通用人工智能,需要公共政策和技術方面的專長。
逾 300 款應用透過 OpenAI API 提供由 GPT-3 驅動的 AI 功能。功能包括搜尋、對話、文字補全及其他進階 AI 功能。
OpenAI 發現,CLIP 中有些神經元在同一概念以字面、符號或概念方式呈現時,均會作出反應。這或可解釋 CLIP 為何能準確分類出人意料的概念視覺呈現,也有助理解 CLIP 及類似模型學到的聯想與偏見。
OpenAI 將 Kubernetes 叢集擴展至 7,500 個節點,為大型模型及快速小規模迭代研究提供可擴展基礎設施。支援的模型包括 GPT-3、CLIP 和 DALL·E,研究例子則有《Scaling Laws for Neural Language Models》。
OpenAI 推出神經網絡 CLIP,讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱,CLIP 即可套用於任何視覺分類基準,其零樣本能力類似 GPT-2 和 GPT-3。
推薦理由:CLIP 將自然語言監督與視覺分類連接,並以類別名稱作為套用基準的入口,呈現其零樣本使用方式。
OpenAI 訓練了名為 DALL·E 的神經網絡,可根據文字描述生成圖像,涵蓋自然語言能表達的多種概念。
推薦理由:材料指出 DALL·E 可按文字描述生成涵蓋多種自然語言概念的圖像,清楚交代了其輸入形式與生成範圍。
OpenAI 表示,公司過去一年經歷了顯著變革與增長。
OpenAI 已同意將 GPT-3 授權予 Microsoft,供 Microsoft 自家的產品與服務使用。
推薦理由:這項協議交代 GPT-3 技術將以授權方式供 Microsoft 用於其產品與服務,呈現 OpenAI 對外提供技術的具體安排。