Sora 初步印象
OpenAI 自上月向全球介紹 Sora 後,一直與藝術家合作,瞭解 Sora 如何在創作過程中為他們提供協助。
OpenAI 自上月向全球介紹 Sora 後,一直與藝術家合作,瞭解 Sora 如何在創作過程中為他們提供協助。
Pollen Robotics 推出開源 pollen-vision 函式庫,整合零樣本視覺模型,支援以影像和文字輸入建立物件偵測及分割流程。首批模型包括 OWL-VIT、Mobile Sam 和 RAM,並結合深度資訊估算物件在 3D 空間中的 (x, y, z) 位置,為機械人抓取提供基礎。目前尚未支援完整 6D 姿態估計,OWL-VIT 的偵測結果亦可能不一致。
JetBrains 使用 OpenAI API 將 AI 融入開發者軟件,打造出其有史以來增長最快的產品。
Lighthouz AI 與 Hugging Face 推出 Chatbot Guardrails Arena,讓社羣以對抗式對話測試聊天機械人防止敏感資料外洩的能力。
Hugging Face 發佈 Cosmopedia,這套合成數據集旨在重現 Phi-1.5 的訓練數據,供大語言模型預訓練使用。
推薦理由:文章拆解 Cosmopedia 從種子資料、提示詞擴展到去污染與訓練的流程,並交代如何藉由受眾和文體變化擴大提示詞規模。
Holiday Extras 在所有團隊推行 ChatGPT Enterprise,藉 AI 建立數據驅動、高效的企業文化。此舉每週提升相當於 500 小時的生產力。
Superhuman 與 OpenAI 以 AI 重新構想電郵體驗,開啟電郵新時代;現有內容未交代具體功能或推出安排。
Healthify 與 OpenAI 合作,透過 AI 健康指導協助實現可持續減重,目標是改善數百萬人的生活。
OpenAI 與國際新聞機構 Le Monde 和 Prisa Media 合作,將法語和西班牙語新聞內容帶入 ChatGPT。
OpenAI 宣佈審查已完成,Altman 與 Brockman 將繼續領導公司。公司同時公佈新董事會成員,並引入治理架構改進措施。
推薦理由:材料交代審查完成後的領導安排,並列出董事會與治理架構的變化,有助理解這次調整涵蓋的治理層面。
Match Group 使用 ChatGPT Enterprise,藉此激發創意並帶來影響。
Lifespan 使用 GPT-4,旨在大幅提升健康素養並改善患者健康成效。
Paradigm 使用 OpenAI API,改善患者接觸臨牀試驗的機會。
OpenAI 表示,始終致力於 OpenAI 的使命,並一路以來持續追求這一使命。
Argilla 與 Hugging Face 發起 Data is Better Together 實驗,透過社羣協作建立提示詞排序偏好資料集,並邀請社羣加入首批共建項目。
BigCode 發佈 StarCoder2 開放程式碼大語言模型系列,提供 3B、7B 和 15B 三種規模。其中,StarCoder2-15B 使用 The Stack v2 的 4+ trillion tokens 訓練,涵蓋 600+ 程式語言。
推薦理由:StarCoder2 同步公開模型、The Stack v2 數據集及訓練程式碼,並按倉庫組織訓練資料,呈現程式碼模型與數據建設的完整鏈路。
Hugging Face 推出 TTS Arena,讓用户輸入文字、盲聽兩個文字轉語音模型合成的語音,並投票選出聽起來較自然的一方。模型名稱會在投票提交後揭示,結果將按類似 Elo 評分系統的算法生成公開排行榜,累積足夠票數後模型才會逐步顯示。啟動時納入 ElevenLabs(專有)、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS。
Mistral AI 發佈 Mistral Large 與 Mistral Small,並透過 Azure 提供 Mistral Large。Mistral Large 支援英語、法語、西班牙語、德語和意大利語,具備 32K tokens 上下文窗口及原生 function calling,並可用於文本理解、轉換和程式碼生成。
推薦理由:這次發佈同時涵蓋旗艦與低延遲型號,並以基準比較和多種接入渠道呈現兩款模型的能力定位及成本、延遲取向。
Hugging Face Blog 示範如何使用 Hugging Face Transformers 和 PEFT,透過 LoRA 微調 Gemma 模型,並涵蓋 GPU 與 Cloud TPU 設定。
Hugging Face Blog 介紹 Matryoshka Embedding 模型的訓練與使用方法,並比較向量截短後與一般嵌入模型的表現。
推薦理由:文章把 Sentence Transformers 訓練方式與 STSBenchmark 實測相連,量化向量縮至原大小 8.3% 後仍保留 98.37% 表現。
Google 發佈 Gemma 開放大語言模型系列,提供 2B、7B 兩種規模,各有基礎版與指令微調版,所有版本的上下文窗口為 8K tokens。Hugging Face 將模型上架 Hub,整合 Transformers 4.38、Google Cloud 和 Inference Endpoints,並提供以 TRL 微調的示例。
推薦理由:文中將 Gemma 2B、7B 基礎模型與其他開放模型的 LLM Leaderboard 成績並列,呈現其不同參數規模下的相對表現。
Hugging Face 的 PEFT 新增多種面向 LoRA adapter 的合併方法,使用者可透過 `add_weighted_adapter()` 試驗不同組合。
推薦理由:文章逐項比較 cat、linear、SVD、TIES 與 DARE 等 LoRA 合併方法,並整理 rank、density 和 GPU 記憶體需求對實作選擇的影響。
OpenAI 訓練文字條件式擴散模型,最大模型 Sora 可生成一分鐘高保真影片。模型在不同時長、解析度和長寬比的影片與圖像上聯合訓練,並以 Transformer 架構處理影片和圖像的時空區塊及潛在編碼。研究結果認為,擴大影片生成模型規模是構建通用物理世界模擬器的一條有前景路徑。
推薦理由:文章交代影片與圖像的聯合訓練方式及時空區塊架構,並呈現 OpenAI 將影片生成規模化連結至物理世界模擬器的研究思路。
OpenAI 正測試 ChatGPT 記住使用者對話內容的能力,讓未來對話更有幫助。OpenAI 表示,使用者可以控制 ChatGPT 的記憶。
推薦理由:公告説明 ChatGPT 記憶功能的測試用途,並指出使用者可以控制記憶,呈現功能目標與控制權安排。
Hugging Face 宣佈 TGI 自 1.4.0 起提供兼容 OpenAI Chat Completion API 的 Messages API,並將其提供於 Inference Endpoints。
推薦理由:文中以 Python、JavaScript、LangChain 和 LlamaIndex 示範如何沿用 OpenAI 相容介面接入開放模型,並交代 function calling 等限制。
OpenAI 資助來自世界各地的 10 支團隊,設計共同治理 AI 的構想與工具。計劃總結創新成果與經驗,並概述實施計劃。OpenAI 邀請研究人員和工程師加入持續進行的工作。
OpenAI 正致力防止濫用、提高 AI 生成內容的透明度,並讓準確投票資訊更易取得,以應對全球選舉。
Digital Green 為農民建設農業數據庫,並使用 OpenAI 助力提高農民收入。
OpenAI 推出 ChatGPT Team,面向各種規模的團隊,提供安全、協作式工作空間,讓團隊在工作中使用 ChatGPT。
OpenAI 介紹 GPT Store。
OpenAI 表示支持新聞業並與新聞機構合作,同時認為《紐約時報》的訴訟缺乏理據。
WHOOP 透過 GPT-4 提供個人化健身與健康指導,將大語言模型應用於健康方案。
OpenAI 啟動 $10M 資助計劃,支持超人類 AI 系統對齊與安全的技術研究。資助方向包括弱到強泛化、可解釋性、可擴展監督等。
OpenAI 提出超級對齊的新研究方向,探索能否利用深度學習的泛化特性,讓弱監督者控制更強模型。這項研究亦取得初步且具前景的結果。
OpenAI 與 Axel Springer 合作,深化 AI 在新聞業的有益應用。Axel Springer 是全球首家與 OpenAI 合作、深化新聞業融入 AI 技術的出版商。
Mistral AI 發佈開放權重模型 Mixtral 8x7B,並同步推出經監督式微調與 DPO 優化的 Mixtral 8x7B Instruct。
推薦理由:Mixtral 8x7B 同時披露總參數量、每個 token 的啟用參數量及基準對照,可用來理解稀疏 MoE 在模型規模、推理成本與表現間的取捨。
Mistral AI 開放 La Plateforme 首批平台服務的 Beta,提供三個文字生成聊天端點及一個嵌入端點,並支援透過 API 呼叫。
推薦理由:平台把不同成本與效能取捨的生成端點,連同嵌入服務及 API 接入放在同一入口,呈現其面向開發者部署的服務組合。
Sam Altman 回任 OpenAI CEO,OpenAI 組成新的初始董事會。Mira Murati 擔任 CTO,Greg Brockman 回任總裁;公告亦收錄 CEO Sam Altman 和董事會主席 Bret Taylor 的訊息。
推薦理由:公告同時交代 CEO 回任、總裁回任、CTO 職位與新初始董事會安排,集中呈現 OpenAI 領導架構的調整。
OpenAI 宣佈領導層交接。
OpenAI 正與合作夥伴共同建立供 AI 訓練使用的開源及私有數據集。