跳到正文
2024年4月1日週一
  1. 張小珺商業訪談錄36

    朱嘯虎談大模型與 AIGC:你們要的訪談來了

    金沙江主管合夥人朱嘯虎在訪談中分享對大模型與 AIGC 的看法,提出卷出 200 多個大模型未必有意義,並強調 AIGC 需要盡快變現。他認為,團隊規模由十人增加至一百人,也未必能找到 AIGC 的產品市場契合點;部分公司缺乏應用場景和數據,估值卻很高。

2024年3月18日週一
2024年3月11日週一
2024年3月4日週一
  1. Beren Millidge 研究博客(RSS)45

    我對 AI 安全監管的初步看法

    Beren Millidge 認為,印度要求部署任何生成式 AI 模型前先獲批准的規定範圍過廣,類似監管若擴及其他國家,長遠可能損害安全並鞏固現有企業的地位。他主張避免大幅拖慢發展或阻礙開源模型,並為前沿模型建立透明、獨立的審核機制。監管應聚焦具自我複製能力的自主智能體、前沿模型審核,以及逐步處理濫用造成的危害。

2024年3月1日週五
2024年2月26日週一
2023年12月26日週二
  1. Beren Millidge 研究博客(RSS)33

    Beren Millidge:2023 年的思想進展

    Beren Millidge 回顧 2023 年的思想變化,表示自己對 AI 安全及對齊的看法較以往樂觀,並認為現有 LLM 和擴散模型的對齊基本已解決或即將解決。強大 LLM 和擴散模型的開源及普及,帶來更多 AI 進展與對齊的新觀察。 他指出,主要風險在於具自主驅動的通用智能體,以及經濟自動化令人類逐漸過時。

2023年11月9日週四
  1. Figma AI / Agent / Make42

    Figma 的 Little Big Updates:大事其實要從小處思考

    Figma透過年度「Little Big Updates」聚焦改善既有功能及修正錯誤,讓用戶常用操作更順暢。例子包括改善貼上位置,以及在切換畫框時更易選取文字;新一輪更新加入「select and copy from version history」,讓用戶直接從版本記錄選取及複製內容。這項更新約以10行程式碼完成,可省下用戶重做以為已遺失工作的數小時。

2023年11月5日週日
  1. Beren Millidge 研究博客(RSS)44

    開源 AI 對 AI 對齊研究一直至關重要

    Beren Millidge 認為,至今幾乎每次開源模型發布都對 AI 對齊進展有淨正面作用,未來也很可能如此。研究人員需要接觸模型權重並自由修改,才能動手測試和改進對齊方法;許多重要研究在大型實驗室以外進行,開源模型讓更多學者和愛好者得以參與。

2023年10月26日週四
  1. Figma AI / Agent / Make22

    Storyboarding the future of design and creativity

    Figma 首席產品總監 Yuhki Yamashita 描繪 Figma 與 Adobe 在設計及創意流程上的未來協作構想,包括把 Adobe Substance 3D 資產連結至 Figma、多人協作 3D 設計,以及用 Firefly 生成背景和延展圖片。構想亦涵蓋將可運作的 app 原型放進發布影片並自動更新、共享設計系統,以及在 Figma 使用 Adobe 字體。

2023年9月28日週四
  1. Runway:News(網頁)53

    Runway Gen-2 的發展路徑:規模、速度與階段推進

    Runway 梳理 Gen-2 的發展路徑,從以輸入影片控制輸出結構的 Gen-1,推進至直接以文字引導影片生成的 Gen-2。Runway 最近更新模型,支援以任意起始影格生成影片;公司把生成兩小時電影作為長期目標,構想是以生成模型逐場迭代完成,而非靠單一提示詞生成整部電影。

2023年9月19日週二
  1. 張小珺商業訪談錄23

    凱文·凱利的50問:壟斷者與國界、大富翁與人生

    凱文·凱利接受訪問,回答50個問題,涵蓋寡頭、平台、網絡秩序、人工智能,以及科技與國界等議題。訪問在他帶新書《寶貴的人生建議:我希望早點知道的智慧》到訪中國期間進行;他著有《失控》《科技想要甚麼》和《必然》,曾預言互聯網的走向。

2023年8月16日週三
2023年8月9日週三
  1. Beren Millidge 研究博客(RSS)49

    強烈的資訊危害規範會導致可預見的失效模式

    Beren Millidge 認為,過度採用資訊危害規範會造成可預見的失效模式,並主張除特殊情況外一般不應使用。只有在有強實證支持某想法能大幅提升能力、適用於大規模實際 ML 系統、尚未為 ML 社羣合理知悉,且不會對安全與能力產生不同影響時,才應稱之為資訊危害。保密會阻礙批評和實證檢驗,也可能令人高估想法的新穎性與效力,並令資訊危害主張成為地位競逐的工具。

2023年8月1日週二
2023年7月11日週二
  1. Beren Millidge 研究博客(RSS)33

    對損失景觀及深度學習為何有效的思考

    深度學習的可訓練性與泛化能力,或與模型架構塑造的損失景觀幾何有關;Beren Millidge 提出個人且具推測性的解釋。初始化、正規化、梯度裁剪及 Adam 等方法,有助維持適合 SGD 的方差範圍。深度網絡透過可重用、可組合的電路共享子計算;文中以啟發式方式指出,深度 D、寬度 W 的網絡可用 W × D 計算量並行表示 W^D 個電路。

2023年7月5日週三
  1. Beren Millidge 研究博客(RSS)50

    我走向平實對齊的思路及未解問題

    Beren Millidge 認為,透過大型多模態模型的短視無監督預訓練,再以涵蓋廣泛任務的強化學習培養通用能力,當前類 LLM 智能體的對齊有望以直接、穩健的方式解決。預訓練或能形成涵蓋人類道德與對齊概念的內部表徵,讓強化學習以這些概念為基礎學習獎勵函數和策略。他認為,這大致是近期高對齊系統的預設發展路徑,但仍有未解問題。

2023年7月1日週六
2023年6月8日週四
2023年6月2日週五
2023年5月12日週五
2023年4月24日週一
  1. Mitchell Hashimoto 原創博客43

    提示詞工程主要面向交易式提示

    提示詞工程的主要價值在交易式提示:以軟件高頻處理特定問題,追求更準確地取得預期結果並降低成本。它較適合資訊抽取、分類等有客觀答案的任務;對創作等主觀任務,則只能提高輸出獲接受的可能性,難以達到同等確定性。作者認為,智能體的使用主要具交易式特徵,因此亦可應用提示詞工程。

2023年4月22日週六
2023年4月19日週三
  1. Beren Millidge 研究博客(RSS)42

    享樂迴路與馴化強化學習

    人類的享樂適應迴路表明,強化學習智能體的價值與策略可以動態調整,並在改變時維持表現和行為連貫。文章指出,相較於最大化目標,若能穩健編碼並維持,滿意化目標可能更安全。為強化學習演算法加入穩態控制迴路,或可讓外部系統靈活調整智能體追求的目標。

2023年4月17日週一
2023年4月8日週六
2023年4月4日週二
  1. Beren Millidge 研究博客(RSS)43

    深度學習模型內部其實(幾乎)是線性的

    Beren Millidge認為,神經網絡的內部表徵大多近乎線性,若能找出線性方向,便可控制、組合及推理這些表徵。他列舉模型編輯、線性探測和模型合併等支持線性表徵的證據,但指出網絡並非完全線性,表徵重疊仍是機制層面理解網絡的難題。

2023年3月30日週四
  1. Beren Millidge 研究博客(RSS)42

    對預測編碼未來的思考

    作者認為,預測編碼近似反向傳播的理論關係在實際上價值有限,相關假設亦大幅削弱其生物合理性。這些研究未能有效解答大腦如何進行信用分配;作者主張探索不近似反向傳播、但仍能訓練深度神經網絡的算法。

2023年3月14日週二
2023年2月19日週日
  1. Beren Millidge 研究博客(RSS)43

    對齊問題的解決方案是多種方法,而非單一方法

    Beren Millidge 主張,AI 對齊不會靠單一完美方案實現,而應結合多種獨立、並行的方法,以提高整體安全性。這些方法分為對齊、限制能力和遏制三方面,包括 RLHF、限制運算資源、沙盒隔離及持續監控。評估方法時,應考慮成本、失效相關性,以及各方法能否互補。

2023年2月15日週三
  1. Beren Millidge 研究博客(RSS)38

    為何作者認為「boxing」或許可行,但實際上不會採用

    Beren Millidge 認為,以 boxing 限制 AGI,或可減慢遞迴自我改進並在模擬中測試對齊程序,但他不再認為這種做法在實際上可行。原因不是技術限制,而是人們未必會妥善使用甚至嘗試 boxing;作者指出,將 LLM 連接互聯網和工具已相當容易,競賽動態亦令 AGI 預設可能直接接入互聯網。

2023年2月13日週一
  1. Beren Millidge 研究博客(RSS)25

    2022 年的知識進展

    Beren Millidge 回顧自己在 2022 年的知識進展,包括離開學術界、加入 Conjecture 擔任研究主管,並轉向 AI 安全研究。他表示,自己對對齊、LLM 訓練及可解釋性有了更深入的理解,AI 時間線也大幅縮短,現估計強超人類 AGI 約 3-10 年內出現。部分學術成果包括兩篇論文獲 ICLR 接收。

2023年1月21日週六
  1. Beren Millidge 研究博客(RSS)46

    梯度駭客極難形成並維持

    Beren Millidge 認為,對獨立同分佈數據進行監督式學習時,梯度駭客極難形成;在理想化的梯度下降下,甚至可能無法長時間存在。梯度下降會同時、獨立地更新所有參數,並沿局部最陡下降方向調整,因此難以被梯度駭客利用。相較之下,遺傳算法及 Metropolis-Hastings 等只尋找有效下降方向的優化器更容易受到梯度駭客影響。

2022年12月5日週一
  1. Beren Millidge 研究博客(RSS)29

    從機器學習角度解讀 Shard Theory

    對 Shard Theory 的機器學習解讀將 shards 視為相對鬆散耦合、各自實現過往獲獎勵行為的子網絡。現有可解釋性研究的證據不一:CNN 的電路較緊密交織,Transformer 則有較獨立電路的跡象,但相關表徵仍未充分理解。幾乎沒有研究檢視具一定規模的策略梯度網絡內部處理。

2022年11月26日週六
  1. Beren Millidge 研究博客(RSS)39

    AGI 將會學習獎勵模型

    文章主張,AGI 難以依靠預先固定的效用函數處理複雜目標,實際上必須使用透過學習建立的效用或獎勵模型。這類模型可根據環境或人類設計者提供的狀態—效用配對數據訓練,令智能體的效用函數會受自身經驗影響;作者承認未能確定證明固定效用函數不可行。

2022年9月30日週五
  1. Beren Millidge 研究博客(RSS)35

    為甚麼不直接阻止 FOOM?

    阻止 FOOM 或可令 AI 對齊更容易:限制 AGI 的自我修改、硬件改動及資源累積,可約束其最佳化能力,降低代理目標失效及突破隔離的風險。文章認為,阻止 FOOM 比對齊任意最佳化能力的智能體更可行,並提出以負面獎勵和正則化限制相關行為。FOOM 是否可能出現,則取決於自我改進的回報能否維持超線性。

2022年9月24日週六
  1. Beren Millidge 研究博客(RSS)26

    2021 年的智識進展

    Beren Millidge 回顧 2021 年的研究與學習進展,認為這一年延續了 2020 年累積的成果,但研究生產力和智識發展速度較慢。期間,他深入理解 predictive coding、model-free RL、Hopfield networks 和 free energy principle,並發表首篇 ICML 論文 Universal Hopfield Networks。

2022年8月21日週日
  1. Beren Millidge 研究博客(RSS)47

    同理心是習得獎勵模型的自然結果

    同理心可能不是為了社會效益而獨立演化的認知能力,而是哺乳類認知架構中習得獎勵模型的自然結果。世界模型若把自身與其他相似個體的相同行為編碼得相近,獎勵模型便可能把自身經驗的獎勵泛化至他者,形成「原型同理心」。演化可進一步擴展或抑制這種能力,例如排除羣體外成員。

2022年7月17日週日
  1. antirez 原創博客24

    寫作《Wohpe》

    antirez花兩年創作的首本科幻小説《Wohpe》已在意大利實體書店、Amazon及其他數碼商店推出。他認為寫作及重讀選作範本的書,讓他逐漸掌握自己的風格和判斷作品的能力。意大利小型或中型出版社出版、獲得不錯成績的科幻書,銷量為500本;多數書籍銷量不足100本。

2022年5月17日週二
  1. Hugging Face Blog42

    機器學習專家:Sasha Luccioni

    Hugging Face 研究科學家 Sasha Luccioni 在訪談中談及她對機器學習模型與數據集的倫理、社會影響及環境足跡研究。她擔任 Big Science Workshop 碳足跡工作組共同主席,探討電子郵件排放與製造成本等環境影響,並參與數據整理和多語言工作,避免語料過度偏重英語。