跳到正文
原文
Redwood Research:Blog· Nathan Sheffield·· 26 天前AI 評分61

Redwood Research 提出 NLS depth 指標,衡量 AI 系統不透明串行深度

An operationalization of opaque serial depth

AI 導讀

Redwood Research 提出 NLS depth,將 AI 系統的不透明串行深度操作化為可量化指標。自然語言根植節點須由自然語言預訓練先驗初始化,不得擴大輸出空間或把 token 改作其他資料類型解讀,亦不得把 token 當作可反向傳播的連續中間狀態。作者指出,NLS depth 可根據架構、訓練方案及預定部署配置在訓練前估算,作為 CoT 可監督性等衡量方式的補充而非替代。

來源:Redwood Research:Blog · blog.redwoodresearch.org