模型推理能力的進展：思維鏈、推理模型、數學與邏輯基準的突破與爭議。
Google 發佈 Gemma 2，提供 9B 和 27B 兩種參數規模的基礎版與指令微調版，合共四個開放權重模型。Gemma 2 每隔一層採用滑動窗口注意力，其餘層使用全局注意力；9B 模型採用知識蒸餾預訓練。Hugging Face Hub 已提供四個模型，並介紹 Transformers 整合、Inference Endpoints 部署及 TRL 微調示例。
推薦理由：文章並列 Gemma 2 9B 與 Mistral 7B、Llama 3 8B 等模型在 MMLU、GSM8K 等基準的成績，提供小型開放模型效能比較的具體參照。
Hugging Face 引入 Artificial Analysis LLM Performance Leaderboard，集中比較逾 100 個無伺服器 LLM API 端點的品質、價格與速度。
推薦理由：榜單把逾 100 個無伺服器 LLM API 端點的品質、價格與速度指標集中呈現，並以多種提示長度和並行查詢組合供工程師比較。
Mistral AI 發佈 Mixtral 8x22B 開放模型，採用稀疏混合專家（SMoE）架構，141B 參數中有 39B 為活躍參數，並以 Apache 2.0 授權發布。
推薦理由：Mixtral 8x22B 公開了參數規模、授權條款與多項基準結果，讓讀者可比較其開放使用條件及數學、編碼表現。
Mistral AI 發佈 Mistral Large 與 Mistral Small，並透過 Azure 提供 Mistral Large。Mistral Large 支援英語、法語、西班牙語、德語和意大利語，具備 32K tokens 上下文窗口及原生 function calling，並可用於文本理解、轉換和程式碼生成。
推薦理由：這次發佈同時涵蓋旗艦與低延遲型號，並以基準比較和多種接入渠道呈現兩款模型的能力定位及成本、延遲取向。
Mistral AI 發佈開放權重模型 Mixtral 8x7B，並同步推出經監督式微調與 DPO 優化的 Mixtral 8x7B Instruct。
推薦理由：Mixtral 8x7B 同時披露總參數量、每個 token 的啟用參數量及基準對照，可用來理解稀疏 MoE 在模型規模、推理成本與表現間的取捨。
Mistral AI 發佈 7.3B 參數的 Mistral 7B，稱其在多項基準測試中勝過或追平 Llama 2 13B。模型以 Apache 2.0 授權發佈，團隊亦提供使用公開指令數據微調的 Mistral 7B Instruct 聊天版。
推薦理由：文章以重跑評測比較 Mistral 7B 與 Llama 系列，並説明 SWA 如何降低長序列的推理計算與快取成本。
Hugging Face 將 AutoGPTQ 整合至 Transformers，支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略，小批次推理速度與 fp16 基準相若；整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。
推薦理由：文章列出 4-bit 量化的精度變化與小批次推理速度，並説明 GPU 支援範圍及 TGI 大批次下的速度限制，呈現 GPTQ 的部署取捨。
Hugging Face Blog 梳理對話智能體的訓練方法，涵蓋 IFT、SFT、RLHF 和 CoT。文中指出，IFT 所需指令數據僅為數百例量級，SFT 以人工標註改善有用性和安全性，RLHF 則根據人類偏好訓練獎勵模型，再用強化學習訓練對話智能體。
推薦理由：文章把 IFT、SFT、RLHF 與 CoT 放在對話智能體訓練脈絡中梳理，並比較多個系統的訓練資料和評估方向，呈現各方法的分工。
Hugging Face 團隊記錄了為 BLOOM 建置推理伺服器的優化過程，稱數週內將延遲降低 5x、吞吐量提升 50x。改用 Tensor Parallelism 後，延遲由 300ms/token 降至 91ms/token，吞吐量升至 10RPS；其後透過 torch.jit.script 和自訂 kernel 將延遲再降至 71ms/token。
推薦理由：文章以 BLOOM 的實測串連並行策略、算子融合和批次服務的取捨，呈現大型模型推理優化中如何平衡延遲與吞吐量。
Hugging Face 將 LLM.int8() 整合至 Transformers 與 Accelerate，透過混合 INT8/FP16 矩陣乘法降低大型語言模型推理所需的記憶體。
推薦理由：文章串連 LLM.int8() 的離羣特徵處理、效能比較與 Transformers 整合細節，呈現 8-bit 量化降低大型模型記憶體需求的實作脈絡。