CO2 排放與 Hugging Face Hub:追蹤訓練排放及篩選模型
Hugging Face Hub 可用 huggingface_hub 的 emissions_thresholds 按模型訓練 CO2 排放篩選模型,Transformers 則可透過 CodeCarbonCallback 記錄訓練排放。
Hugging Face Hub 可用 huggingface_hub 的 emissions_thresholds 按模型訓練 CO2 排放篩選模型,Transformers 則可透過 CodeCarbonCallback 記錄訓練排放。
這篇教程示範使用 🤗 Datasets 與 🤗 Transformers,將預訓練模型 google/vit-base-patch16-224-in21k 微調為豆類葉片圖像分類器。
推薦理由:文章以 beans 葉片分類串起資料載入、ViT 圖像預處理、Trainer 微調與評估,並展示資料即時轉換及訓練參數設定。
Hugging Face 推出開源 Data Measurements Tool,提供 Python 程式庫及免程式碼介面,供使用者探索、測量和比較 NLP 資料集。工具可呈現缺失值、詞彙與標籤分佈、重複項及嵌入聚類,並以詞對 nPMI 協助檢視資料中的刻板印象。alpha 版本(v0)目前以數個常見英文資料集示範功能,包括 SQuAD、imdb 和 C4。
OpenAI 最新研究發現,使用小型精選資料集進行微調,可改善語言模型在特定行為價值方面的表現。
Hugging Face 介紹以 PyTorch / XLA 在 Cloud TPU 訓練 Transformers 的整合方式,並保留 Hugging Face Trainer 原有介面。
推薦理由:文章梳理 PyTorch / XLA 接入 Hugging Face Trainer 的設備選擇、梯度同步與輸入流水線,並説明固定張量形狀對減少編譯成本的作用。
OpenAI 將人類反饋強化學習用於訓練語言模型,以提升模型的摘要能力。
推薦理由:這項研究把人類反饋納入摘要模型訓練,呈現以強化學習提升語言模型摘要能力的一條具體研究路徑。
OpenAI 發佈一項分析,指出自 2012 年起,達到相同 ImageNet 分類表現所需的神經網絡訓練計算量每 16 個月減半。與 2012 年相比,訓練至 AlexNet 水平所需的計算量已減少 44 倍,而 Moore’s Law 對應的成本改善為 11 倍。分析認為,對近期投入較多的 AI 任務,算法進展帶來的收益高於傳統硬件效率提升。
香港浸會大學(HKBU)與 Wisers 簽署長期策略合作協議,將就大數據、人工智能及數碼媒體開展研究。Wisers 將提供來自超過57萬個媒體來源的850億個數據集,以及涵蓋逾1,300萬個中文字的全球最大中文語義嵌入向量模型。雙方亦會研究新聞聊天機械人及個人化新聞推薦系統對新聞閲讀習慣的影響,並合作培育人才。
OpenAI 的研究指出,雙重下降現象會出現在 CNN、ResNet 和 Transformer 中。隨模型規模、數據量或訓練時間增加,性能會先改善、再變差,然後再次改善。這種情況常可透過謹慎的正則化避免,但其成因尚未完全理解,後續研究仍是重要方向。
推薦理由:研究在 CNN、ResNet 與 Transformer 中觀察到雙重下降,並指出性能會隨模型規模、數據量或訓練時間增加而先升、再降、再升。
OpenAI 使用人類回饋微調 774M 參數的 GPT-2,使模型在多項任務上匹配外部人類標註者的偏好。摘要任務需 60k 個人類標註,標註者偏好整句照抄輸入,模型因此學會複製;多種風格的續寫任務則需 5k 標註。OpenAI 指出,標註者的偏好並不總與自身一致,並希望藉由讓安全技術更接近「機器與人交談」的一般任務,提取人類價值資訊。
推薦理由:這項實驗對比摘要與續寫任務的標註需求,並呈現標註者偏好整句照抄輸入時,微調模型也會學會相同行為。
OpenAI 在能量模型的穩定、可擴展訓練方面取得進展,生成樣本品質與泛化能力均優於現有模型。能量模型生成時會投入更多計算資源持續精煉結果,在低温下可生成與 GANs 相競爭的樣本,同時具備似然模型的模式覆蓋保證。
OpenAI 發現,梯度噪聲尺度這一簡單統計指標,能預測神經網絡訓練在多種任務上的並行化能力。由於複雜任務的梯度往往更嘈雜,日後愈來愈大的批次大小或將派上用場,移除 AI 系統進一步擴展的一項潛在限制。研究亦指出,神經網絡訓練可以規範化、系統化,而非神秘技藝。
香港浸會大學與騰訊機器學習團隊合作訓練 AlexNet 和 ResNet-50,分別只需 4 分鐘及 6.6 分鐘,刷新快速且準確的 AI 訓練紀錄。此前最快紀錄分別為 11 分鐘及 15 分鐘。新方法以 FP16 取代 FP32 加快運算,並透過「tensor fusion」合併數據塊、提升通訊效率,同時保持準確度。
香港浸會大學與騰訊機器學習團隊合作,提出兼顧速度與準確度的 AI 訓練技術,刷新 AlexNet 和 ResNet-50 的訓練紀錄。團隊分別用 4 分鐘及 6.6 分鐘完成訓練,快於此前的 11 分鐘及 15 分鐘紀錄。方法以 FP16 取代 FP32 加快計算,並以 tensor fusion 合併較小數據區塊,提升訓練期間的通訊效率。
OpenAI 發佈分析指出,自 2012 年起,最大規模 AI 訓練所用算力以 3.4 個月的週期翻倍。同期該指標增長逾 300,000 倍;相比之下,Moore’s Law 的翻倍週期為 2 年,按此週期只會增長 7 倍。OpenAI 指出,算力改進是 AI 進步的重要組成部分;若趨勢延續,應預備面對能力遠超今日的系統所帶來的影響。
推薦理由:文中以大型 AI 訓練算力的 3.4 個月翻倍週期對照 Moore’s Law 的 2 年週期,並量化自 2012 年以來逾 300,000 倍的增長。
OpenAI 發佈名為 Evolved Policy Gradients 的實驗性元學習方法,透過演化學習智能體的損失函數,讓智能體可在新任務上快速訓練。採用 EPG 訓練的智能體在測試時能完成訓練範圍以外的基本任務,例如前往訓練時放在房間另一側的物件。
OpenAI 開發了 Reptile,一種可擴展的元學習演算法:反覆抽樣任務並執行隨機梯度下降,再把初始參數朝該任務學得的最終參數更新。Reptile 是 Shortest Descent 演算法在元學習中的應用,數學上類似一階 MAML,只需黑盒存取 SGD 或 Adam 等優化器,計算效率與表現亦與一階 MAML 相近。
香港浸會大學公佈《2018-2028年機構策略計劃》,目標成為亞洲領先、面向世界、以研究為本的博雅大學。計劃聚焦創意媒體與實踐、健康與藥物發現,以及數據分析與人工智能三個策略優勢領域。Talent100 計劃擬在未來3至5年於全球招聘100名新學術人員。
OpenAI 發佈近端策略優化(PPO),一類強化學習算法,其表現可媲美或優於最先進方法,同時更易實作和調校。OpenAI 表示,PPO 因易用且表現良好,已成為其預設的強化學習算法。
推薦理由:材料比較 PPO 與前沿方法的表現,並交代較簡單的實作和調校如何與良好性能共同構成 OpenAI 採用它作為預設算法的理由。
OpenAI 開發了一套無監督系統,訓練時只需預測 Amazon 評論文本中的下一個字符,便學得出色的情感表徵。