OpenAI 推出 GPT-4o,並向 ChatGPT 免費用户開放更多功能
OpenAI 推出最新旗艦模型 GPT-4o,並在 ChatGPT 中向免費用户開放更多功能。
新模型的發佈、開源與迭代:大模型廠商的旗艦更新、開源權重放出、性能與價格變化的第一時間記錄。
OpenAI 推出最新旗艦模型 GPT-4o,並在 ChatGPT 中向免費用户開放更多功能。
StarCoder2-15B-Instruct-v0.1 採用全透明、寬鬆授權的自對齊流程訓練,未使用人工標註或大型專有 LLM 的蒸餾數據。流程以 StarCoder2-15B 從 The Stack V1 的種子函數生成指令,並透過沙箱執行測試篩選回答,最終形成包含 50k 組指令與回答的 SFT 數據集。
推薦理由:文章梳理了從 The Stack V1 種子函數生成指令,再以執行測試篩選回答的自對齊流程,説明程式碼模型如何利用自身生成數據進行微調。
Llama 3 已可透過 Ollama 執行,首批提供 8B 和 70B 參數版本。其訓練數據集規模達 Llama 2 的 7 倍,上下文窗口增至 8K,詞彙表含 128K tokens,錯誤拒答少於 Llama 2 的 1/3。
推薦理由:文中從訓練數據集、上下文窗口、詞彙表和錯誤拒答比例等方面比較 Llama 3 與 Llama 2,並提供 8B、70B 版本的執行命令。
Meta 發佈開源大語言模型 Llama 3,提供 8B、70B 兩種參數規模,各有 base 與指令微調版本。模型上下文窗口為 8K tokens,另有以 Llama 3 8B 微調的 Llama Guard 2;授權允許再分發、微調和衍生作品,並要求衍生模型名稱以 Llama 3 開頭,衍生作品或服務標示 Built with Meta Llama 3。
推薦理由:文章梳理了 Llama 3 的型號、授權要求,以及 Hugging Face 上的推理部署和微調入口,呈現從模型取得到實際使用的主要路徑。
Mistral AI 發佈 Mixtral 8x22B 開放模型,採用稀疏混合專家(SMoE)架構,141B 參數中有 39B 為活躍參數,並以 Apache 2.0 授權發布。
推薦理由:Mixtral 8x22B 公開了參數規模、授權條款與多項基準結果,讓讀者可比較其開放使用條件及數學、編碼表現。
Hugging Face 發佈 Idefics2,這款 8B 參數多模態模型可接收文字與圖像序列並生成文字回應。模型權重採 Apache-2.0 授權,並已整合至 Transformers,支援圖像問答、OCR、圖表與文件理解。團隊亦公開 The Cauldron,收錄 50 個人工整理、供多輪對話使用的資料集。
推薦理由:Idefics2 同時公開 8B 權重、Apache-2.0 授權與多項視覺問答基準成績,便於對照小型多模態模型的效能表現和使用條件。
OpenAI 宣佈在日本設立其首個亞洲辦事處,並推出一款針對日語優化的 GPT-4 自訂模型。
推薦理由:這則公告同時交代亞洲首個辦事處與日語優化 GPT-4 自訂模型,呈現 OpenAI Japan 的實體佈局及語言適配兩個具體面向。
Google 發佈面向程式碼的大語言模型家族 CodeGemma,推出 2B base、7B base 和 7B instruct 三種版本。模型以 Gemma checkpoint 為基礎,額外訓練 500 billion tokens,三款模型均採用 8K token 上下文窗口。
推薦理由:文章交代 CodeGemma 三種版本的用途,並列出 HumanEval 表現及 Hugging Face 的部署與量化整合,方便比較版本定位、基準表現和使用路徑。
BigCode 發佈 StarCoder2 開放程式碼大語言模型系列,提供 3B、7B 和 15B 三種規模。其中,StarCoder2-15B 使用 The Stack v2 的 4+ trillion tokens 訓練,涵蓋 600+ 程式語言。
推薦理由:StarCoder2 同步公開模型、The Stack v2 數據集及訓練程式碼,並按倉庫組織訓練資料,呈現程式碼模型與數據建設的完整鏈路。
Mistral AI 發佈 Mistral Large 與 Mistral Small,並透過 Azure 提供 Mistral Large。Mistral Large 支援英語、法語、西班牙語、德語和意大利語,具備 32K tokens 上下文窗口及原生 function calling,並可用於文本理解、轉換和程式碼生成。
推薦理由:這次發佈同時涵蓋旗艦與低延遲型號,並以基準比較和多種接入渠道呈現兩款模型的能力定位及成本、延遲取向。
Google 發佈 Gemma 開放大語言模型系列,提供 2B、7B 兩種規模,各有基礎版與指令微調版,所有版本的上下文窗口為 8K tokens。Hugging Face 將模型上架 Hub,整合 Transformers 4.38、Google Cloud 和 Inference Endpoints,並提供以 TRL 微調的示例。
推薦理由:文中將 Gemma 2B、7B 基礎模型與其他開放模型的 LLM Leaderboard 成績並列,呈現其不同參數規模下的相對表現。
OpenAI 訓練文字條件式擴散模型,最大模型 Sora 可生成一分鐘高保真影片。模型在不同時長、解析度和長寬比的影片與圖像上聯合訓練,並以 Transformer 架構處理影片和圖像的時空區塊及潛在編碼。研究結果認為,擴大影片生成模型規模是構建通用物理世界模擬器的一條有前景路徑。
推薦理由:文章交代影片與圖像的聯合訓練方式及時空區塊架構,並呈現 OpenAI 將影片生成規模化連結至物理世界模擬器的研究思路。
Mistral AI 發佈開放權重模型 Mixtral 8x7B,並同步推出經監督式微調與 DPO 優化的 Mixtral 8x7B Instruct。
推薦理由:Mixtral 8x7B 同時披露總參數量、每個 token 的啟用參數量及基準對照,可用來理解稀疏 MoE 在模型規模、推理成本與表現間的取捨。
OpenAI 在 DevDay 公佈 GPT-4 Turbo、GPT-4 Turbo with Vision、DALL·E 3 API、新的 Assistants API 等模型與開發者產品。GPT-4 Turbo 配備 128K 上下文窗口,價格較低。
推薦理由:GPT-4 Turbo 的 128K 上下文窗口與較低價格,連同 Vision 及多項 API,勾勒出 DevDay 公佈的模型與開發者產品範圍。
Mistral AI 發佈 Mistral 7B,這是其首個 7B-parameter 模型;公司稱該模型在所有標準英文及代碼基準上,超越所有目前可用、參數量不超過 13B 的開放模型。
推薦理由:Mistral 7B 的比較對象涵蓋不超過 13B 參數的可用開放模型,文章亦交代 Apache 2.0 授權,便於一併理解其基準定位與開放使用方式。
Mistral AI 發佈 7.3B 參數的 Mistral 7B,稱其在多項基準測試中勝過或追平 Llama 2 13B。模型以 Apache 2.0 授權發佈,團隊亦提供使用公開指令數據微調的 Mistral 7B Instruct 聊天版。
推薦理由:文章以重跑評測比較 Mistral 7B 與 Llama 系列,並説明 SWA 如何降低長序列的推理計算與快取成本。
Code Llama 推出 7B、13B 和 34B 參數版本,是以 Llama 2 為基礎、專攻編碼任務的模型家族。基礎模型以 500 billion tokens 的程式碼資料訓練,另有 Python 專用版和指令微調版;模型採用與 Llama 2 相同的社羣授權,可商用。
推薦理由:文章並列 7B、13B、34B 參數規模、Python 與指令微調變體,以及 Hugging Face 接入方式,便於比較模型選擇和部署路徑。
Code Llama 已可透過 Ollama 在本機執行,提供 7B、13B 和 34B 參數版本。原文列出 `ollama run codellama:7b`、`ollama run codellama:13b` 和 `ollama run codellama:34b` 命令;13B 版本要求 16GB+ 記憶體,34B 版本要求 32GB+。
推薦理由:文章列出 13B 和 34B 版本的記憶體要求,以及基礎模型和 Python 專用版的 Ollama 命令,方便按本機資源選擇版本。
Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
推薦理由:IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。
Meta 發佈 Llama 2 開放存取大語言模型系列,涵蓋 7B、13B 和 70B 參數規模,採用允許商業用途的社羣授權。Hugging Face Hub 上架 12 個模型,並整合 Transformers、Text Generation Inference 和 Inference Endpoints。
推薦理由:文中把 Llama 2 的商用授權與 Hugging Face 上的推理、部署和 QLoRA 微調方法連在一起,呈現從取得模型到接入開發流程的實用路徑。