Deep Q-Learning 教程：以 Space Invaders 為例
Hugging Face 深度強化學習課程第 3 單元介紹 Deep Q-Learning，並以 Space Invaders 説明神經網絡如何取代 Q-table，估算各動作的 Q 值。
#教學/實踐
#教學/實踐
今日 8 條Hugging Face BlogAI 評分5353
OpenAI NewsAI 評分4040 OpenAI、Cohere 與 AI21 Labs 的語言模型部署最佳實踐
Cohere、OpenAI 與 AI21 Labs 制定了一套初步最佳實踐，適用於任何開發或部署大型語言模型的組織。
Hugging Face BlogAI 評分5050 Q-Learning 入門（2/2）：演算法原理與 Frozen Lake v1、的士環境實作
Hugging Face 的 Deep Reinforcement Learning Class 第二部分講解 Q-Learning，並帶領學員從零實作強化學習智能體。
Hugging Face BlogAI 評分4949 Q-Learning 入門（第一部分）
Hugging Face 深度強化學習課程第 2 單元第 1 部分講解價值型強化學習方法，為 Q-Learning 作鋪墊。內容説明狀態價值函數與動作價值函數，並比較蒙地卡羅學習和時間差分學習。本單元第二部分將介紹 Q-Learning 演算法，從零實作智能體，並在 Frozen-Lake-v1 及自動的士環境中訓練。
Hugging Face BlogAI 評分5959 Hugging Face 深度強化學習課程第一章：Deep Reinforcement Learning 入門
Hugging Face 的 Deep Reinforcement Learning Class 第一章介紹深度強化學習的基本框架，説明智能體如何透過與環境互動、採取行動並接收獎勵來學習。
Hugging Face BlogAI 評分5353 使用 Kili 與 Hugging Face AutoTrain 進行評論分類
作者結合 Kili 與 Hugging Face AutoTrain，為 Google Play 上 Medium 應用程式的評論建立主動學習分類流程，並對分類結果進行情感分析。
Hugging Face Blog精選AI 評分6161 Hugging Face 示範以機器學習篩選不滿意客户訊息
文章示範以 amazon_reviews_multi 的英文資料微調 microsoft/deberta-v3-base，建立五類情感分類模型以篩選最不滿意的客户訊息。測試中，模型識別出約 95% 的極度不滿意訊息，並把約 12% 的中立或滿意訊息誤判為需要回覆。按每日 10,000 則訊息的假設估算，人工工作量可減少約 83%；文章指出，實際應用需要貼近業務情境的高質素訓練數據。
推薦理由：文章由任務界定、資料集篩選延伸至微調與業務指標設計，展示如何把模型評估對準客服實際處理目標。
Hugging Face BlogAI 評分5757 CO2 排放與 Hugging Face Hub：追蹤訓練排放及篩選模型
Hugging Face Hub 可用 huggingface_hub 的 emissions_thresholds 按模型訓練 CO2 排放篩選模型，Transformers 則可透過 CodeCarbonCallback 記錄訓練排放。
Hugging Face BlogAI 評分5757 如何用自訂資料集微調 SegFormer 語義分割模型
Hugging Face Blog 提供以自訂資料集微調 SegFormer 語義分割模型的教程，涵蓋資料準備、訓練和推理。示例使用自建的人行道標註資料集微調預訓練的 SegFormer B0，並以 mIoU 評估分割結果。教程亦介紹將模型推送至 Hugging Face Hub，並透過推理小工具試用。
Hugging Face BlogAI 評分5656 用 🤗 datasets 建立圖片搜尋應用
🤗 datasets 教程示範為 10,000 張來自 British Library 數碼化書籍的插圖建立文字搜圖流程。作者使用 sentence_transformers 的 CLIP 將圖片和文字提示詞轉成嵌入向量，再以 FAISS 檢索相似圖片；完整數據集網址為 https://doi.org/10.21250/db17。
Hugging Face BlogAI 評分4343 使用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
Hugging Face 提供端到端教程，示範如何以 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分類推理。
OpenAI NewsAI 評分3030 OpenAI 分享語言模型安全與濫用方面的經驗教訓
OpenAI 分享對已部署模型的安全與濫用問題的最新思考，期望協助其他 AI 開發者應對相關問題。
Hugging Face Blog精選AI 評分6262 使用 🤗 Transformers 微調 ViT 進行圖像分類
這篇教程示範使用 🤗 Datasets 與 🤗 Transformers，將預訓練模型 google/vit-base-patch16-224-in21k 微調為豆類葉片圖像分類器。
推薦理由：文章以 beans 葉片分類串起資料載入、ViT 圖像預處理、Trainer 微調與評估，並展示資料即時轉換及訓練參數設定。
Hugging Face BlogAI 評分5353 Hugging Face 課程第二部分將於 11 月 15 日推出，並舉辦社羣活動
Hugging Face 宣佈課程第二部分將於 11 月 15 日推出，並於 11 月 15 日至 16 日舉辦社羣活動。課程涵蓋 token 分類、因果與遮罩語言建模、翻譯、摘要和問答，並深入介紹 🤗 Datasets 與 🤗 Tokenizers。活動包括兩日演講及以 NLP 任務微調模型的團隊項目；AWS 將透過 Amazon SageMaker 向參與者提供免費運算資源。
Hugging Face BlogAI 評分5858 Hugging Face 解説 BERT 在 CPU 上的推理擴展（第一部分）
Hugging Face 首篇系列文章以 BERT 為例，測試並分析 CPU 核心配置、NUMA 親和性與多模型實例如何影響推理延遲及吞吐量。結果顯示，小型及中型問題使用單一 socket 通常延遲較佳，大型問題則可利用雙 socket；多實例方案的吞吐量接近線性擴展。文中舉例，8 核實例為 0.808$/h，48 核機器則為 4.848$/h，前者成本降低 6x。
Hugging Face Blog精選AI 評分6363 如何使用 Hugging Face Transformers 微調 Wav2Vec2 英語語音辨識模型
Hugging Face 教學示範如何使用 Transformers 將預訓練的 Wav2Vec2 base 微調為英語自動語音辨識模型。示範使用含 5h 訓練資料的 TIMIT，並在不使用語言模型的情況下以 CTC 訓練。模型在 TIMIT 測試集的 WER 為 0.221（22.1%）。
推薦理由：這篇教學把資料清理、詞彙表與處理器設定、音訊取樣率處理、CTC 訓練及 WER 評估串成完整流程，並以 5h 的 TIMIT 訓練資料示範英語 ASR 微調。
Hugging Face Blog精選AI 評分6060 Hugging Face 講解如何用 PyTorch / XLA 在 Cloud TPU 訓練 Transformers 模型
Hugging Face 介紹以 PyTorch / XLA 在 Cloud TPU 訓練 Transformers 的整合方式，並保留 Hugging Face Trainer 原有介面。
推薦理由：文章梳理 PyTorch / XLA 接入 Hugging Face Trainer 的設備選擇、梯度同步與輸入流水線，並説明固定張量形狀對減少編譯成本的作用。
OpenAI NewsAI 評分5050 OpenAI 將 Kubernetes 叢集擴展至 7,500 個節點
OpenAI 將 Kubernetes 叢集擴展至 7,500 個節點，為大型模型及快速小規模迭代研究提供可擴展基礎設施。支援的模型包括 GPT-3、CLIP 和 DALL·E，研究例子則有《Scaling Laws for Neural Language Models》。
Hugging Face Blog精選AI 評分6060 如何使用 Transformers 的不同解碼方法生成文字
Hugging Face 的 Transformers 教程以 GPT2 示範如何實作多種文字生成解碼方法。文章介紹貪心搜尋、束搜尋、temperature、Top-K 及 Top-p 採樣，説明各方法對重複、流暢度與隨機性的影響，並指出沒有一種方法適用所有開放式生成場景。
推薦理由：文章以 GPT2 和 Transformers 範例比較貪心搜尋、Beam search 與 Top-K、Top-p 採樣，呈現各方法在生成重複、流暢度與隨機性上的取捨。
OpenAI NewsAI 評分5050 OpenAI 推出深度強化學習教育資源 Spinning Up in Deep RL
OpenAI 推出 Spinning Up in Deep RL，這是一套旨在讓任何人學習成為深度強化學習熟練實踐者的教育資源。內容包括清晰易明的 RL 程式碼範例、教學練習、文件及教學指南。
OpenAI News精選AI 評分7171 OpenAI 發佈近端策略優化（PPO）強化學習算法
OpenAI 發佈近端策略優化（PPO），一類強化學習算法，其表現可媲美或優於最先進方法，同時更易實作和調校。OpenAI 表示，PPO 因易用且表現良好，已成為其預設的強化學習算法。
推薦理由：材料比較 PPO 與前沿方法的表現，並交代較簡單的實作和調校如何與良好性能共同構成 OpenAI 採用它作為預設算法的理由。
OpenAI NewsAI 評分4040 OpenAI 解説對抗樣本如何攻擊機器學習模型
OpenAI 展示對抗樣本如何透過刻意設計的輸入令機器學習模型出錯，並説明其在不同媒介中的運作方式。這類輸入猶如機器的視覺錯覺；文章亦探討系統為何難以防範這類攻擊。
OpenAI NewsAI 評分2424 OpenAI 探討真實環境中的錯誤獎勵函數
OpenAI 探討強化學習算法的一種失效模式：獎勵函數設定錯誤。強化學習算法可能以出人意料、違反直覺的方式失效。