甚麼令對話智能體有用？
Hugging Face Blog 梳理對話智能體的訓練方法，涵蓋 IFT、SFT、RLHF 和 CoT。文中指出，IFT 所需指令數據僅為數百例量級，SFT 以人工標註改善有用性和安全性，RLHF 則根據人類偏好訓練獎勵模型，再用強化學習訓練對話智能體。
推薦理由：文章把 IFT、SFT、RLHF 與 CoT 放在對話智能體訓練脈絡中梳理，並比較多個系統的訓練資料和評估方向，呈現各方法的分工。
推理能力
全部主題模型推理能力的進展：思維鏈、推理模型、數學與邏輯基準的突破與爭議。
最新精選
第 161–163 條 · 共 163 條Hugging Face Blog精選AI 評分6060
Hugging Face Blog精選AI 評分6363 BLOOM 推理優化實錄：延遲降低 5x、吞吐量提升 50x
Hugging Face 團隊記錄了為 BLOOM 建置推理伺服器的優化過程，稱數週內將延遲降低 5x、吞吐量提升 50x。改用 Tensor Parallelism 後，延遲由 300ms/token 降至 91ms/token，吞吐量升至 10RPS；其後透過 torch.jit.script 和自訂 kernel 將延遲再降至 71ms/token。
推薦理由：文章以 BLOOM 的實測串連並行策略、算子融合和批次服務的取捨，呈現大型模型推理優化中如何平衡延遲與吞吐量。
Hugging Face Blog精選AI 評分8484 Hugging Face Transformers、Accelerate 與 bitsandbytes 的大規模 8-bit 矩陣乘法入門
Hugging Face 將 LLM.int8() 整合至 Transformers 與 Accelerate，透過混合 INT8/FP16 矩陣乘法降低大型語言模型推理所需的記憶體。
推薦理由：文章串連 LLM.int8() 的離羣特徵處理、效能比較與 Transformers 整合細節，呈現 8-bit 量化降低大型模型記憶體需求的實作脈絡。