Mistral AI 推出 MNPL 非生產許可證，允許開發者將其技術用於非商業用途及研究工作，並按此許可發佈 Codestral。Mistral AI 表示會繼續按 Apache 2.0 發佈模型和程式碼，並逐步整合採用 Apache 2.0 和 MNPL 的兩個產品系列。
推薦理由：公告交代 MNPL 對非商業用途與研究工作的許可範圍，並説明 Codestral 和 Apache 2.0 的發佈安排，有助理解 Mistral AI 不同產品系列的許可路線。
TII 發佈 Falcon 2 系列的 11B LLM 與 11B VLM，VLM 可接收圖像並回答相關問題。LLM 使用逾 5000B tokens 訓練，主要支援英語，並對另外 10 種語言具備良好能力。VLM 結合 CLIP ViT-L/14 視覺編碼器，先以 558K 圖像描述配對訓練多模態投影器，再以 1.2M 圖像文字指令資料微調。
DeepSeek 將 deepseek-chat 升級至 DeepSeek-V2-0517，IFEval Benchmark Prompt-Level 準確率由 63.9% 升至 77.6%。
Google 發佈 PaliGemma，一系列可接收圖像與文字並輸出文字的開源視覺語言模型。模型結合 SigLIP-So400m 圖像編碼器與 Gemma-2B 文字解碼器，提供 PT、Mix、FT 三類檢查點及 224x224、448x448、896x896 三種解像度。PaliGemma 是單輪模型，不適用於對話；Mix 檢查點適合以自由文字提示進行通用推理，但僅供研究用途。
推薦理由：文章整理 PT、Mix、FT 檢查點的用途，並指出高解像度會增加記憶體需求、多數任務的質素提升有限，有助按任務需要選擇模型。
OpenAI 在 ChatGPT 免費提供 GPT-4o，並推出新的語音及影片模式。Sam Altman 形容新模式的回應速度和表達能力達到人類水平，令與電腦交談感覺自然。他亦提到，會加入可選的個人化、存取用户資訊及代用户採取行動等能力。
推薦理由：文章並列 GPT-4o 免費提供與新語音、影片模式，呈現 OpenAI 擴大高能力 AI 使用範圍和改善人機互動的兩個方向。
OpenAI 宣佈 GPT-4 Omni（GPT-4o）為新的旗艦模型。該模型可即時跨音訊、視覺和文字進行推理。
推薦理由：公告把 GPT-4o 定位為新旗艦模型，並明確列出音訊、視覺和文字的即時推理能力，讓讀者掌握此次宣佈的多模態重點。
OpenAI 在春季更新中推出 GPT-4o，並在 ChatGPT 中免費開放更多能力。
推薦理由：這次更新同時涵蓋 GPT-4o 的推出與 ChatGPT 免費可用能力的擴展，呈現新模型推出和免費使用安排兩方面的變化。
OpenAI 推出最新旗艦模型 GPT-4o，並在 ChatGPT 中向免費用户開放更多功能。
StarCoder2-15B-Instruct-v0.1 採用全透明、寬鬆授權的自對齊流程訓練，未使用人工標註或大型專有 LLM 的蒸餾數據。流程以 StarCoder2-15B 從 The Stack V1 的種子函數生成指令，並透過沙箱執行測試篩選回答，最終形成包含 50k 組指令與回答的 SFT 數據集。
推薦理由：文章梳理了從 The Stack V1 種子函數生成指令，再以執行測試篩選回答的自對齊流程，説明程式碼模型如何利用自身生成數據進行微調。
Meta 發佈開源大語言模型 Llama 3，提供 8B、70B 兩種參數規模，各有 base 與指令微調版本。模型上下文窗口為 8K tokens，另有以 Llama 3 8B 微調的 Llama Guard 2；授權允許再分發、微調和衍生作品，並要求衍生模型名稱以 Llama 3 開頭，衍生作品或服務標示 Built with Meta Llama 3。
推薦理由：文章梳理了 Llama 3 的型號、授權要求，以及 Hugging Face 上的推理部署和微調入口，呈現從模型取得到實際使用的主要路徑。
Mistral AI 發佈 Mixtral 8x22B 開放模型，採用稀疏混合專家（SMoE）架構，141B 參數中有 39B 為活躍參數，並以 Apache 2.0 授權發布。
推薦理由：Mixtral 8x22B 公開了參數規模、授權條款與多項基準結果，讓讀者可比較其開放使用條件及數學、編碼表現。
Hugging Face 發佈 Idefics2，這款 8B 參數多模態模型可接收文字與圖像序列並生成文字回應。模型權重採 Apache-2.0 授權，並已整合至 Transformers，支援圖像問答、OCR、圖表與文件理解。團隊亦公開 The Cauldron，收錄 50 個人工整理、供多輪對話使用的資料集。
推薦理由：Idefics2 同時公開 8B 權重、Apache-2.0 授權與多項視覺問答基準成績，便於對照小型多模態模型的效能表現和使用條件。
Google 發佈面向程式碼的大語言模型家族 CodeGemma，推出 2B base、7B base 和 7B instruct 三種版本。模型以 Gemma checkpoint 為基礎，額外訓練 500 billion tokens，三款模型均採用 8K token 上下文窗口。
推薦理由：文章交代 CodeGemma 三種版本的用途，並列出 HumanEval 表現及 Hugging Face 的部署與量化整合，方便比較版本定位、基準表現和使用路徑。
BigCode 發佈 StarCoder2 開放程式碼大語言模型系列，提供 3B、7B 和 15B 三種規模。其中，StarCoder2-15B 使用 The Stack v2 的 4+ trillion tokens 訓練，涵蓋 600+ 程式語言。
推薦理由：StarCoder2 同步公開模型、The Stack v2 數據集及訓練程式碼，並按倉庫組織訓練資料，呈現程式碼模型與數據建設的完整鏈路。
Mistral AI 發佈 Mistral Large 與 Mistral Small，並透過 Azure 提供 Mistral Large。Mistral Large 支援英語、法語、西班牙語、德語和意大利語，具備 32K tokens 上下文窗口及原生 function calling，並可用於文本理解、轉換和程式碼生成。
推薦理由：這次發佈同時涵蓋旗艦與低延遲型號，並以基準比較和多種接入渠道呈現兩款模型的能力定位及成本、延遲取向。
Google 發佈 Gemma 開放大語言模型系列，提供 2B、7B 兩種規模，各有基礎版與指令微調版，所有版本的上下文窗口為 8K tokens。Hugging Face 將模型上架 Hub，整合 Transformers 4.38、Google Cloud 和 Inference Endpoints，並提供以 TRL 微調的示例。
推薦理由：文中將 Gemma 2B、7B 基礎模型與其他開放模型的 LLM Leaderboard 成績並列，呈現其不同參數規模下的相對表現。
OpenAI 訓練文字條件式擴散模型，最大模型 Sora 可生成一分鐘高保真影片。模型在不同時長、解析度和長寬比的影片與圖像上聯合訓練，並以 Transformer 架構處理影片和圖像的時空區塊及潛在編碼。研究結果認為，擴大影片生成模型規模是構建通用物理世界模擬器的一條有前景路徑。
推薦理由：文章交代影片與圖像的聯合訓練方式及時空區塊架構，並呈現 OpenAI 將影片生成規模化連結至物理世界模擬器的研究思路。
Mistral AI 發佈開放權重模型 Mixtral 8x7B，並同步推出經監督式微調與 DPO 優化的 Mixtral 8x7B Instruct。
推薦理由：Mixtral 8x7B 同時披露總參數量、每個 token 的啟用參數量及基準對照，可用來理解稀疏 MoE 在模型規模、推理成本與表現間的取捨。
Mistral AI 發佈 Mistral 7B，這是其首個 7B-parameter 模型；公司稱該模型在所有標準英文及代碼基準上，超越所有目前可用、參數量不超過 13B 的開放模型。
推薦理由：Mistral 7B 的比較對象涵蓋不超過 13B 參數的可用開放模型，文章亦交代 Apache 2.0 授權，便於一併理解其基準定位與開放使用方式。
Mistral AI 發佈 7.3B 參數的 Mistral 7B，稱其在多項基準測試中勝過或追平 Llama 2 13B。模型以 Apache 2.0 授權發佈，團隊亦提供使用公開指令數據微調的 Mistral 7B Instruct 聊天版。
推薦理由：文章以重跑評測比較 Mistral 7B 與 Llama 系列，並説明 SWA 如何降低長序列的推理計算與快取成本。
Code Llama 推出 7B、13B 和 34B 參數版本，是以 Llama 2 為基礎、專攻編碼任務的模型家族。基礎模型以 500 billion tokens 的程式碼資料訓練，另有 Python 專用版和指令微調版；模型採用與 Llama 2 相同的社羣授權，可商用。
推薦理由：文章並列 7B、13B、34B 參數規模、Python 與指令微調變體，以及 Hugging Face 接入方式，便於比較模型選擇和部署路徑。
Hugging Face 發佈 IDEFICS，作為 Flamingo 的開放取用復現模型，可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本，訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
推薦理由：IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權，呈現開放多模態模型的建構和使用邊界。
Segmind 開源 SD-Small 與 SD-Tiny 的知識蒸餾程式碼及預訓練權重；兩款模型參數量分別較基礎模型少 35% 和 55%，圖像保真度相若。兩者推理速度最高較基礎模型快 100%，預訓練檢查點可於 Hugging Face 取得。模型仍處早期階段，輸出未必達生產級，且在組合性與多概念生成方面表現有限。
Meta 發佈 Llama 2 開放存取大語言模型系列，涵蓋 7B、13B 和 70B 參數規模，採用允許商業用途的社羣授權。Hugging Face Hub 上架 12 個模型，並整合 Transformers、Text Generation Inference 和 Inference Endpoints。
推薦理由：文中把 Llama 2 的商用授權與 Hugging Face 上的推理、部署和 QLoRA 微調方法連在一起，呈現從取得模型到接入開發流程的實用路徑。
OpenAI 發佈 GPT-4，這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現，但在許多真實場景中的能力仍不及人類。
推薦理由：材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式，以及基準表現和真實場景能力的差異，可幫助讀者把握其能力描述的範圍。
Kakao Brain 與 Hugging Face 公開 ViT、ALIGN 視覺語言模型，以及由 700 million 對圖文構成的開源 COYO 資料集。
推薦理由：ViT 與 ALIGN 連同 COYO 訓練資料一併開放，並提供與 Google 版本的任務比較，呈現資料可取得性對視覺語言研究復現的價值。
OpenAI 宣佈推出一款全新的嵌入向量模型，並稱這款模型能力顯著提升、成本效益更高，也更簡單易用。
rinna Co., Ltd. 發佈 Japanese Stable Diffusion，這款文本生成圖像模型以日語標註圖片微調 Stable Diffusion，支援日語提示詞並生成反映日語文化圈的圖像。
推薦理由：文章拆解 Japanese Stable Diffusion 的兩階段微調流程，説明專用日語文本編碼器與聯合調整潛在擴散模型的作用，訓練數據約為 Stable Diffusion 訓練集的 1/20。
OpenAI 宣佈將其訓練的神經網絡 Whisper 開源。Whisper 在英語語音識別上的穩健性與準確度接近人類水平。
推薦理由：Whisper 的開源安排與英語語音識別表現並列，且以接近人類水平作比較，讓讀者可同時掌握模型發佈範圍與性能定位。
BLOOM 已正式發佈，這款具 176 billion parameters 的開放多語言大語言模型可生成 46 種自然語言及 13 種程式語言文本。最後一輪訓練歷時 117 days，並公開訓練中間 checkpoint 與 optimizer states，供研究者下載、運行及研究。
推薦理由：BLOOM 除模型外亦公開訓練中間 checkpoint 與 optimizer states，並提供下載及本地或雲端使用途徑，讓研究者能檢視模型行為與訓練過程。
OpenAI 發佈 GPT-3 和 Codex 新版本，讓模型可以編輯或插入既有文本內容，而非只接續文本。
推薦理由：新版本把 GPT-3 和 Codex 的操作從接續既有文本擴展到編輯或插入內容，清楚呈現兩種文本處理方式的差異。
OpenAI 表示，透過對齊研究訓練的 InstructGPT 比 GPT-3 更能遵循用户意圖，同時回答更真實、毒性更低。這些由人類參與訓練的模型已部署為 OpenAI API 的預設語言模型。
推薦理由：材料交代了 InstructGPT 相較 GPT-3 的改進方向、人類參與訓練方式及 API 預設部署，呈現對齊研究如何落到實際服務。
OpenAI 發佈改進版 Codex，這套 AI 系統可將自然語言轉換為程式碼，並自今日起透過 API 開放私人測試。
推薦理由：公告同時交代 Codex 的自然語言轉程式碼定位和 API 私人測試安排，讀者可掌握其用途與當時的接入範圍。
OpenAI 推出神經網絡 CLIP，讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱，CLIP 即可套用於任何視覺分類基準，其零樣本能力類似 GPT-2 和 GPT-3。
推薦理由：CLIP 將自然語言監督與視覺分類連接，並以類別名稱作為套用基準的入口，呈現其零樣本使用方式。
OpenAI 訓練了名為 DALL·E 的神經網絡，可根據文字描述生成圖像，涵蓋自然語言能表達的多種概念。
推薦理由：材料指出 DALL·E 可按文字描述生成涵蓋多種自然語言概念的圖像，清楚交代了其輸入形式與生成範圍。
OpenAI 發佈 Jukebox，這是一個能以原始音訊形式生成多種曲風及藝人風格音樂的神經網絡模型，也能生成初階演唱。OpenAI 同時公開模型權重、程式碼，以及用於探索生成樣本的工具。
推薦理由：權重與程式碼連同樣本探索工具一併公開，讓讀者可直接接觸模型資源，並瞭解其生成涵蓋多種曲風、藝人風格及初階演唱。
OpenAI 發佈 GPT-2 分階段發布的最後一版，亦是參數量 1.5B 的最大版本，並提供可協助檢測 GPT-2 模型輸出的程式碼與模型權重。雖然自 8 月起已有更大型語言模型發布，OpenAI 仍按原計劃完成分階段發布，希望將完整流程作為未來強大模型開發者的測試案例。OpenAI 亦表示持續與 AI 社羣討論負責任發布。
推薦理由：這次發布把 GPT-2 的分階段公開流程作為後續強大模型發布的測試案例，也説明提供程式碼與權重的用途是協助檢測模型輸出。
OpenAI 發佈 774 million 參數的 GPT-2 語言模型，接續 2 月推出的 124M 小型版及 5 月分階段發佈的 355M 中型版。OpenAI 與合作夥伴及 AI 社羣研究模型可能遭濫用及帶來社會效益。OpenAI 亦發佈開源法律協議，方便組織之間建立模型共享合作，並公佈一份關於與更廣泛 AI 研究社羣協調發表規範經驗的技術報告。
推薦理由：從 124M、355M 到 774 million 參數模型的分階段發佈，連同模型共享協議和發表規範協調經驗，呈現 GPT-2 後續開放與社羣協作的脈絡。
OpenAI 創建 MuseNet，這個深度神經網絡可生成長達 4 分鐘、使用 10 種樂器的樂曲，並融合從鄉村音樂到 Mozart、The Beatles 的風格。
推薦理由：MuseNet 以數十萬個 MIDI 檔案的下一個 token 預測學習和聲、節奏與風格模式，並沿用 GPT-2 的通用無監督技術，呈現其音樂生成方法。
OpenAI 開發了 Sparse Transformer，這種深度神經網絡在預測文字、圖像或聲音序列中的下一項內容方面創下新紀錄。它改進了注意力機制算法，能從長度達此前可處理上限 30x 的序列中提取模式。