機器學習研究智能體為何不會過度擬合？

研究人員發現，機器學習研究智能體經驗證集反覆優化後，所得策略壓縮成短提示詞並交由新智能體重現時，在多數問題上仍能維持原有表現。研究涵蓋 8 個數據集，32-token 提示詞在大多數問題上足以讓新智能體追平原智能體；一項語言建模策略更可壓至 16 tokens 而不損失保留集表現。刻意誘發過度擬合的 102 次實驗中，有 38 次驗證準確率比真正保留集準確率高逾 10%，這些優勢經壓縮後消失。