跳到正文

#DeepSeek

今日 3 條
今天10月6日週二
  1. Goodfire Research57

    Goodfire 剖析 DeepSeek R1 推理模型內部機制,公開兩個 SAE

    Goodfire 公開兩個以 DeepSeek R1 激活值訓練的稀疏自編碼器(SAE),並分享對推理模型內部機制及操控方式的早期研究。研究發現,R1 的特徵操控需等模型開始輸出「Okay, so the user has asked a question about…」一類思考前綴後才有效;部分特徵被過度操控時,模型反而會回復原有行為。

10月3日週六
  1. LlamaIndex:產品、工程與評測65

    超越 OCR:DeepSeek-OCR 的視覺壓縮如何服務文件 AI

    LlamaIndex 解讀 DeepSeek-OCR 將文件圖像作為文字資訊的壓縮表示,並分析其與文件解析、LlamaParse 的關係。文中稱,論文示例把 1,000 個文字 tokens 壓至 100 個視覺 tokens,解碼準確率為 97%;20× 壓縮時準確率約為 60%。文章指出,RAG、文件問答和摘要等理解型用途可考慮視覺壓縮;若需要結構化資料、語義層級或精確文字操作,仍需文件解析。

  2. Anthropic:Alignment Science Blog61

    Anthropic Fellows Program 研究發現 Test-Time Compute 增加可能降低部分模型準確率

    Anthropic Fellows Program 研究團隊構建評測,發現增加大型推理模型的 Test-Time Compute 可能令部分任務準確率下降。評測涵蓋幹擾計數、虛假特徵迴歸、約束追蹤演繹和進階 AI 風險,研究歸納出五類較長推理下的失效模式。Claude Sonnet 4 表示願意被關閉的回答比例隨推理增加由 60% 降至 47%,研究指出延長推理可能加強自我保存表述。

2月4日週二
  1. Hugging Face Blog53

    DABstep:面向多步推理的數據智能體基準

    Hugging Face 與 Adyen 聯合推出 DABstep,這項基準以450多項數據分析任務評估 AI 智能體的多步推理能力。任務源自 Adyen 的實際工作負載,但資料與商業背景為人工生成;基準涵蓋結構化資料和非結構化文件,並提供資料集、任務、評測、即時排行榜及基線。