Google Research 推出 Groundsource，以 Gemini 將新聞報道轉化為突發洪水資料
Google Research 推出 Groundsource，利用 Gemini 從新聞報道抽取突發洪水事件，建立涵蓋 150 多個國家的 2.6 million 筆開放歷史資料集。
推薦理由：文章列出 Groundsource 的人工核驗數據和 GDACS 事件匹配結果，讓讀者比較新聞抽取資料的時空準確度與既有災害檔案覆蓋情況。
目前篩選：論文
#數據/訓練
Google Research精選AI 評分7373
Google Research精選AI 評分6363 NeuralGCM 利用 AI 改善全球長期降水模擬
Google Research 在 Science Advances 發表 NeuralGCM 降水研究，報告模型在 280 km 解析度下改善最長 15 天的降水預報及多年氣候模擬。
推薦理由：研究展示以 NASA 衞星降水觀測直接訓練 NeuralGCM 機器學習部分的做法，並呈現極端降水與日變化模擬的改善。
Hugging Face Blog精選AI 評分6363 NVIDIA 發佈 Nemotron-Personas-India 印度合成人物設定數據集
NVIDIA 發佈 Nemotron-Personas-India，一套依印度人口、地理及文化分佈合成的人物設定數據集，採用 CC BY 4.0 授權。數據集包含 21 million 個人物設定（3M 條記錄、每條 7 個設定），支援英語及以天城文、拉丁字母書寫的印地語，並有 27 個欄位和 7.7 billion tokens。
推薦理由：數據集以印度人口、地域分佈為基礎，涵蓋英語及兩種文字形式的印地語，並採 CC BY 4.0 授權，呈現其作為區域模型訓練素材的語言覆蓋與使用條件。
Hugging Face Blog精選AI 評分7171 Cosmopedia 如何構建用於大語言模型預訓練的大規模合成數據
Hugging Face 發佈 Cosmopedia，這套合成數據集旨在重現 Phi-1.5 的訓練數據，供大語言模型預訓練使用。
推薦理由：文章拆解 Cosmopedia 從種子資料、提示詞擴展到去污染與訓練的流程，並交代如何藉由受眾和文體變化擴大提示詞規模。
Hugging Face Blog精選AI 評分6060 Hugging Face 比較 GPT-4 與人工評審，研究基礎模型能否像人類一樣標註資料
Hugging Face 用 327 個提示詞，比較 GPT-4 與人工評審對 4 款開源指令微調模型回答的偏好評分，結果顯示 GPT-4 評分存在位置偏差。GPT-4 也傾向偏好以 InstructGPT、GPT-4 或 ChatGPT 生成資料訓練的模型；它與人工評分在非編碼任務上的相關性為 0.5，在編碼任務上較低但仍為正值。
推薦理由：研究以偏好比較呈現人工與 GPT-4 評分差異，並拆解位置偏差及任務類型的相關性，提供檢視自動評審可靠度的具體依據。
OpenAI News精選AI 評分6464 OpenAI 以 Video PreTraining 訓練神經網絡玩 Minecraft
OpenAI 透過 Video PreTraining（VPT），使用大量未標註的人類 Minecraft 遊玩影片，配合少量已標註的承包商數據訓練神經網絡玩 Minecraft。經微調後，模型可學會製作鑽石工具；熟練玩家完成這項任務通常需要超過 20 分鐘（24,000 次操作）。模型使用按鍵輸入和滑鼠移動這種原生人類操作介面，研究將其視為邁向通用電腦操作智能體的一步。
推薦理由：這項研究展示如何利用大量未標註的人類遊玩影片，配合少量標註數據訓練可透過鍵盤和滑鼠操作遊戲的模型。
OpenAI News精選AI 評分6161 OpenAI 以人類反饋訓練更擅長摘要的語言模型
OpenAI 將人類反饋強化學習用於訓練語言模型，以提升模型的摘要能力。
推薦理由：這項研究把人類反饋納入摘要模型訓練，呈現以強化學習提升語言模型摘要能力的一條具體研究路徑。
OpenAI News精選AI 評分6666 OpenAI 研究指出 CNN、ResNet 與 Transformer 出現雙重下降現象
OpenAI 的研究指出，雙重下降現象會出現在 CNN、ResNet 和 Transformer 中。隨模型規模、數據量或訓練時間增加，性能會先改善、再變差，然後再次改善。這種情況常可透過謹慎的正則化避免，但其成因尚未完全理解，後續研究仍是重要方向。
推薦理由：研究在 CNN、ResNet 與 Transformer 中觀察到雙重下降，並指出性能會隨模型規模、數據量或訓練時間增加而先升、再降、再升。
OpenAI News精選AI 評分7070 OpenAI 以人類偏好微調 GPT-2
OpenAI 使用人類回饋微調 774M 參數的 GPT-2，使模型在多項任務上匹配外部人類標註者的偏好。摘要任務需 60k 個人類標註，標註者偏好整句照抄輸入，模型因此學會複製；多種風格的續寫任務則需 5k 標註。OpenAI 指出，標註者的偏好並不總與自身一致，並希望藉由讓安全技術更接近「機器與人交談」的一般任務，提取人類價值資訊。
推薦理由：這項實驗對比摘要與續寫任務的標註需求，並呈現標註者偏好整句照抄輸入時，微調模型也會學會相同行為。
OpenAI News精選AI 評分7171 OpenAI 發佈近端策略優化（PPO）強化學習算法
OpenAI 發佈近端策略優化（PPO），一類強化學習算法，其表現可媲美或優於最先進方法，同時更易實作和調校。OpenAI 表示，PPO 因易用且表現良好，已成為其預設的強化學習算法。
推薦理由：材料比較 PPO 與前沿方法的表現，並交代較簡單的實作和調校如何與良好性能共同構成 OpenAI 採用它作為預設算法的理由。
已經到底了