Google 發佈面向程式碼的大語言模型家族 CodeGemma，推出 2B base、7B base 和 7B instruct 三種版本。模型以 Gemma checkpoint 為基礎，額外訓練 500 billion tokens，三款模型均採用 8K token 上下文窗口。
推薦理由：文章交代 CodeGemma 三種版本的用途，並列出 HumanEval 表現及 Hugging Face 的部署與量化整合，方便比較版本定位、基準表現和使用路徑。
BigCode 發佈 StarCoder2 開放程式碼大語言模型系列，提供 3B、7B 和 15B 三種規模。其中，StarCoder2-15B 使用 The Stack v2 的 4+ trillion tokens 訓練，涵蓋 600+ 程式語言。
推薦理由：StarCoder2 同步公開模型、The Stack v2 數據集及訓練程式碼，並按倉庫組織訓練資料，呈現程式碼模型與數據建設的完整鏈路。
Mistral AI 發佈 Mistral Large 與 Mistral Small，並透過 Azure 提供 Mistral Large。Mistral Large 支援英語、法語、西班牙語、德語和意大利語，具備 32K tokens 上下文窗口及原生 function calling，並可用於文本理解、轉換和程式碼生成。
推薦理由：這次發佈同時涵蓋旗艦與低延遲型號，並以基準比較和多種接入渠道呈現兩款模型的能力定位及成本、延遲取向。
Google 發佈 Gemma 開放大語言模型系列，提供 2B、7B 兩種規模，各有基礎版與指令微調版，所有版本的上下文窗口為 8K tokens。Hugging Face 將模型上架 Hub，整合 Transformers 4.38、Google Cloud 和 Inference Endpoints，並提供以 TRL 微調的示例。
推薦理由：文中將 Gemma 2B、7B 基礎模型與其他開放模型的 LLM Leaderboard 成績並列，呈現其不同參數規模下的相對表現。
OpenAI 訓練文字條件式擴散模型，最大模型 Sora 可生成一分鐘高保真影片。模型在不同時長、解析度和長寬比的影片與圖像上聯合訓練，並以 Transformer 架構處理影片和圖像的時空區塊及潛在編碼。研究結果認為，擴大影片生成模型規模是構建通用物理世界模擬器的一條有前景路徑。
推薦理由：文章交代影片與圖像的聯合訓練方式及時空區塊架構，並呈現 OpenAI 將影片生成規模化連結至物理世界模擬器的研究思路。
Mistral AI 發佈開放權重模型 Mixtral 8x7B，並同步推出經監督式微調與 DPO 優化的 Mixtral 8x7B Instruct。
推薦理由：Mixtral 8x7B 同時披露總參數量、每個 token 的啟用參數量及基準對照，可用來理解稀疏 MoE 在模型規模、推理成本與表現間的取捨。
OpenAI 在 DevDay 公佈 GPT-4 Turbo、GPT-4 Turbo with Vision、DALL·E 3 API、新的 Assistants API 等模型與開發者產品。GPT-4 Turbo 配備 128K 上下文窗口，價格較低。
推薦理由：GPT-4 Turbo 的 128K 上下文窗口與較低價格，連同 Vision 及多項 API，勾勒出 DevDay 公佈的模型與開發者產品範圍。
Mistral AI 發佈 Mistral 7B，這是其首個 7B-parameter 模型；公司稱該模型在所有標準英文及代碼基準上，超越所有目前可用、參數量不超過 13B 的開放模型。
推薦理由：Mistral 7B 的比較對象涵蓋不超過 13B 參數的可用開放模型，文章亦交代 Apache 2.0 授權，便於一併理解其基準定位與開放使用方式。
Mistral AI 發佈 7.3B 參數的 Mistral 7B，稱其在多項基準測試中勝過或追平 Llama 2 13B。模型以 Apache 2.0 授權發佈，團隊亦提供使用公開指令數據微調的 Mistral 7B Instruct 聊天版。
推薦理由：文章以重跑評測比較 Mistral 7B 與 Llama 系列，並説明 SWA 如何降低長序列的推理計算與快取成本。
Code Llama 推出 7B、13B 和 34B 參數版本，是以 Llama 2 為基礎、專攻編碼任務的模型家族。基礎模型以 500 billion tokens 的程式碼資料訓練，另有 Python 專用版和指令微調版；模型採用與 Llama 2 相同的社羣授權，可商用。
推薦理由：文章並列 7B、13B、34B 參數規模、Python 與指令微調變體，以及 Hugging Face 接入方式，便於比較模型選擇和部署路徑。
Hugging Face 發佈 IDEFICS，作為 Flamingo 的開放取用復現模型，可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本，訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
推薦理由：IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權，呈現開放多模態模型的建構和使用邊界。
Segmind 開源 SD-Small 與 SD-Tiny 的知識蒸餾程式碼及預訓練權重；兩款模型參數量分別較基礎模型少 35% 和 55%，圖像保真度相若。兩者推理速度最高較基礎模型快 100%，預訓練檢查點可於 Hugging Face 取得。模型仍處早期階段，輸出未必達生產級，且在組合性與多概念生成方面表現有限。
Meta 發佈 Llama 2 開放存取大語言模型系列，涵蓋 7B、13B 和 70B 參數規模，採用允許商業用途的社羣授權。Hugging Face Hub 上架 12 個模型，並整合 Transformers、Text Generation Inference 和 Inference Endpoints。
推薦理由：文中把 Llama 2 的商用授權與 Hugging Face 上的推理、部署和 QLoRA 微調方法連在一起，呈現從取得模型到接入開發流程的實用路徑。
Hugging Face 發佈 StackLLaMA，這是一個以 LLaMA 7B 為基礎、經 RLHF 微調、用於回答 Stack Exchange 問題的模型；完整訓練流程納入 Hugging Face TRL library。文章逐步示範監督式微調、獎勵模型訓練及 PPO 強化學習，並介紹 Stack Exchange 數據的偏好評分與 LoRA 等記憶體效率方法。
推薦理由：文章串聯 SFT、偏好獎勵模型與 PPO 三階段，並示範以 8-bit 載入和 LoRA 降低 RLHF 微調的記憶體需求，呈現可復用的訓練流程。
OpenAI 發佈 GPT-4，這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現，但在許多真實場景中的能力仍不及人類。
推薦理由：材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式，以及基準表現和真實場景能力的差異，可幫助讀者把握其能力描述的範圍。
Kakao Brain 與 Hugging Face 公開 ViT、ALIGN 視覺語言模型，以及由 700 million 對圖文構成的開源 COYO 資料集。
推薦理由：ViT 與 ALIGN 連同 COYO 訓練資料一併開放，並提供與 Google 版本的任務比較，呈現資料可取得性對視覺語言研究復現的價值。
OpenAI 宣佈推出一款全新的嵌入向量模型，並稱這款模型能力顯著提升、成本效益更高，也更簡單易用。
OpenAI 介紹了名為 ChatGPT 的對話模型，該模型以對話方式與用户互動。對話格式使 ChatGPT 能回答追問、承認錯誤、質疑不正確前提，並拒絕不當請求。
推薦理由：原文把追問、承認錯誤、質疑錯誤前提及拒絕不當請求列為對話格式支持的行為，具體呈現 ChatGPT 的互動設計。
rinna Co., Ltd. 發佈 Japanese Stable Diffusion，這款文本生成圖像模型以日語標註圖片微調 Stable Diffusion，支援日語提示詞並生成反映日語文化圈的圖像。
推薦理由：文章拆解 Japanese Stable Diffusion 的兩階段微調流程，説明專用日語文本編碼器與聯合調整潛在擴散模型的作用，訓練數據約為 Stable Diffusion 訓練集的 1/20。
OpenAI 宣佈將其訓練的神經網絡 Whisper 開源。Whisper 在英語語音識別上的穩健性與準確度接近人類水平。
推薦理由：Whisper 的開源安排與英語語音識別表現並列，且以接近人類水平作比較，讓讀者可同時掌握模型發佈範圍與性能定位。
BLOOM 已正式發佈，這款具 176 billion parameters 的開放多語言大語言模型可生成 46 種自然語言及 13 種程式語言文本。最後一輪訓練歷時 117 days，並公開訓練中間 checkpoint 與 optimizer states，供研究者下載、運行及研究。
推薦理由：BLOOM 除模型外亦公開訓練中間 checkpoint 與 optimizer states，並提供下載及本地或雲端使用途徑，讓研究者能檢視模型行為與訓練過程。
OpenAI 發佈 GPT-3 和 Codex 新版本，讓模型可以編輯或插入既有文本內容，而非只接續文本。
推薦理由：新版本把 GPT-3 和 Codex 的操作從接續既有文本擴展到編輯或插入內容，清楚呈現兩種文本處理方式的差異。
OpenAI 表示，透過對齊研究訓練的 InstructGPT 比 GPT-3 更能遵循用户意圖，同時回答更真實、毒性更低。這些由人類參與訓練的模型已部署為 OpenAI API 的預設語言模型。
推薦理由：材料交代了 InstructGPT 相較 GPT-3 的改進方向、人類參與訓練方式及 API 預設部署，呈現對齊研究如何落到實際服務。
OpenAI 發佈改進版 Codex，這套 AI 系統可將自然語言轉換為程式碼，並自今日起透過 API 開放私人測試。
推薦理由：公告同時交代 Codex 的自然語言轉程式碼定位和 API 私人測試安排，讀者可掌握其用途與當時的接入範圍。
OpenAI 推出神經網絡 CLIP，讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱，CLIP 即可套用於任何視覺分類基準，其零樣本能力類似 GPT-2 和 GPT-3。
推薦理由：CLIP 將自然語言監督與視覺分類連接，並以類別名稱作為套用基準的入口，呈現其零樣本使用方式。
OpenAI 訓練了名為 DALL·E 的神經網絡，可根據文字描述生成圖像，涵蓋自然語言能表達的多種概念。
推薦理由：材料指出 DALL·E 可按文字描述生成涵蓋多種自然語言概念的圖像，清楚交代了其輸入形式與生成範圍。
OpenAI 發佈 Jukebox，這是一個能以原始音訊形式生成多種曲風及藝人風格音樂的神經網絡模型，也能生成初階演唱。OpenAI 同時公開模型權重、程式碼，以及用於探索生成樣本的工具。
推薦理由：權重與程式碼連同樣本探索工具一併公開，讓讀者可直接接觸模型資源，並瞭解其生成涵蓋多種曲風、藝人風格及初階演唱。
OpenAI 發佈 GPT-2 分階段發布的最後一版，亦是參數量 1.5B 的最大版本，並提供可協助檢測 GPT-2 模型輸出的程式碼與模型權重。雖然自 8 月起已有更大型語言模型發布，OpenAI 仍按原計劃完成分階段發布，希望將完整流程作為未來強大模型開發者的測試案例。OpenAI 亦表示持續與 AI 社羣討論負責任發布。
推薦理由：這次發布把 GPT-2 的分階段公開流程作為後續強大模型發布的測試案例，也説明提供程式碼與權重的用途是協助檢測模型輸出。
OpenAI 發佈 774 million 參數的 GPT-2 語言模型，接續 2 月推出的 124M 小型版及 5 月分階段發佈的 355M 中型版。OpenAI 與合作夥伴及 AI 社羣研究模型可能遭濫用及帶來社會效益。OpenAI 亦發佈開源法律協議，方便組織之間建立模型共享合作，並公佈一份關於與更廣泛 AI 研究社羣協調發表規範經驗的技術報告。
推薦理由：從 124M、355M 到 774 million 參數模型的分階段發佈，連同模型共享協議和發表規範協調經驗，呈現 GPT-2 後續開放與社羣協作的脈絡。
OpenAI 創建 MuseNet，這個深度神經網絡可生成長達 4 分鐘、使用 10 種樂器的樂曲，並融合從鄉村音樂到 Mozart、The Beatles 的風格。
推薦理由：MuseNet 以數十萬個 MIDI 檔案的下一個 token 預測學習和聲、節奏與風格模式，並沿用 GPT-2 的通用無監督技術，呈現其音樂生成方法。
OpenAI 訓練出一個大型無監督語言模型，可生成連貫段落，並在多項語言建模基準上取得最先進表現。該模型無需針對特定任務訓練，亦能進行初步閲讀理解、機器翻譯、問答和摘要。
推薦理由：它把語言建模基準表現與閲讀理解、翻譯、問答和摘要能力集中在同一個無需針對特定任務訓練的模型中，呈現大型無監督語言模型的能力範圍。
OpenAI Five 是由五個神經網絡組成的團隊，已開始在 Dota 2 中擊敗業餘人類隊伍。
推薦理由：這則消息把 OpenAI Five 放在與 Dota 2 業餘人類隊伍對戰的場景中呈現，讀者可從勝負結果理解其神經網絡團隊的遊玩表現。