最新精選 第 281–291 條 · 共 291 條 2024年7月16日 週二
2024年 7月16日 星期二
16:00 Mistral AI · 16:00 精選AI 評分 69 69 Mistral AI 發佈 Codestral Mamba,這是一款採 Mamba 架構、擁有 7,285,403,648 個參數的指令模型。Mistral AI 表示,Mamba 模型提供線性時間推理,Codestral Mamba 的程式與推理能力可媲美 SOTA Transformer 模型,且上下文檢索測試至 256k tokens。
推薦理由:Codestral Mamba 以 Mamba 架構切入程式助手場景,並列出線性時間推理特點及至 256k tokens 的上下文檢索測試,呈現其技術定位。
2024年6月27日 週四
2024年 6月27日 星期四
08:00 Hugging Face Blog · 08:00 精選AI 評分 79 79 Google 發佈 Gemma 2,提供 9B 和 27B 兩種參數規模的基礎版與指令微調版,合共四個開放權重模型。Gemma 2 每隔一層採用滑動窗口注意力,其餘層使用全局注意力;9B 模型採用知識蒸餾預訓練。Hugging Face Hub 已提供四個模型,並介紹 Transformers 整合、Inference Endpoints 部署及 TRL 微調示例。
推薦理由:文章並列 Gemma 2 9B 與 Mistral 7B、Llama 3 8B 等模型在 MMLU、GSM8K 等基準的成績,提供小型開放模型效能比較的具體參照。
08:00 Hugging Face Blog · 08:00 精選AI 評分 65 65 Hugging Face 引入 Artificial Analysis LLM Performance Leaderboard,集中比較逾 100 個無伺服器 LLM API 端點的品質、價格與速度。
推薦理由:榜單把逾 100 個無伺服器 LLM API 端點的品質、價格與速度指標集中呈現,並以多種提示長度和並行查詢組合供工程師比較。
2024年4月17日 週三
2024年 4月17日 星期三
22:00 Mistral AI · 22:00 精選AI 評分 77 77 Mistral AI 發佈 Mixtral 8x22B 開放模型,採用稀疏混合專家(SMoE)架構,141B 參數中有 39B 為活躍參數,並以 Apache 2.0 授權發布。
推薦理由:Mixtral 8x22B 公開了參數規模、授權條款與多項基準結果,讓讀者可比較其開放使用條件及數學、編碼表現。
2024年2月26日 週一
2024年 2月26日 星期一
16:00 Mistral AI · 16:00 精選AI 評分 79 79 Mistral AI 發佈 Mistral Large 與 Mistral Small,並透過 Azure 提供 Mistral Large。Mistral Large 支援英語、法語、西班牙語、德語和意大利語,具備 32K tokens 上下文窗口及原生 function calling,並可用於文本理解、轉換和程式碼生成。
推薦理由:這次發佈同時涵蓋旗艦與低延遲型號,並以基準比較和多種接入渠道呈現兩款模型的能力定位及成本、延遲取向。
2023年12月11日 週一
2023年 12月11日 星期一
15:00 Mistral AI · 15:00 精選AI 評分 84 84 Mistral AI 發佈開放權重模型 Mixtral 8x7B,並同步推出經監督式微調與 DPO 優化的 Mixtral 8x7B Instruct。
推薦理由:Mixtral 8x7B 同時披露總參數量、每個 token 的啟用參數量及基準對照,可用來理解稀疏 MoE 在模型規模、推理成本與表現間的取捨。
2023年9月27日 週三
2023年 9月27日 星期三
16:00 Mistral AI · 16:00 精選AI 評分 84 84 Mistral AI 發佈 7.3B 參數的 Mistral 7B,稱其在多項基準測試中勝過或追平 Llama 2 13B。模型以 Apache 2.0 授權發佈,團隊亦提供使用公開指令數據微調的 Mistral 7B Instruct 聊天版。
推薦理由:文章以重跑評測比較 Mistral 7B 與 Llama 系列,並説明 SWA 如何降低長序列的推理計算與快取成本。
2023年8月23日 週三
2023年 8月23日 星期三
08:00 Hugging Face Blog · 08:00 精選AI 評分 76 76 Hugging Face 將 AutoGPTQ 整合至 Transformers,支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略,小批次推理速度與 fp16 基準相若;整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。
推薦理由:文章列出 4-bit 量化的精度變化與小批次推理速度,並説明 GPU 支援範圍及 TGI 大批次下的速度限制,呈現 GPTQ 的部署取捨。
2023年1月24日 週二
2023年 1月24日 星期二
08:00 Hugging Face Blog · 08:00 精選AI 評分 60 60 Hugging Face Blog 梳理對話智能體的訓練方法,涵蓋 IFT、SFT、RLHF 和 CoT。文中指出,IFT 所需指令數據僅為數百例量級,SFT 以人工標註改善有用性和安全性,RLHF 則根據人類偏好訓練獎勵模型,再用強化學習訓練對話智能體。
推薦理由:文章把 IFT、SFT、RLHF 與 CoT 放在對話智能體訓練脈絡中梳理,並比較多個系統的訓練資料和評估方向,呈現各方法的分工。
2022年10月12日 週三
2022年 10月12日 星期三
08:00 Hugging Face Blog · 08:00 精選AI 評分 63 63 Hugging Face 團隊記錄了為 BLOOM 建置推理伺服器的優化過程,稱數週內將延遲降低 5x、吞吐量提升 50x。改用 Tensor Parallelism 後,延遲由 300ms/token 降至 91ms/token,吞吐量升至 10RPS;其後透過 torch.jit.script 和自訂 kernel 將延遲再降至 71ms/token。
推薦理由:文章以 BLOOM 的實測串連並行策略、算子融合和批次服務的取捨,呈現大型模型推理優化中如何平衡延遲與吞吐量。
2022年8月17日 週三
2022年 8月17日 星期三
08:00 Hugging Face Blog · 08:00 精選AI 評分 84 84 Hugging Face 將 LLM.int8() 整合至 Transformers 與 Accelerate,透過混合 INT8/FP16 矩陣乘法降低大型語言模型推理所需的記憶體。
推薦理由:文章串連 LLM.int8() 的離羣特徵處理、效能比較與 Transformers 整合細節,呈現 8-bit 量化降低大型模型記憶體需求的實作脈絡。
上一頁 1 … 13 14 15