朱嘯虎談大模型與 AIGC:你們要的訪談來了
金沙江主管合夥人朱嘯虎在訪談中分享對大模型與 AIGC 的看法,提出卷出 200 多個大模型未必有意義,並強調 AIGC 需要盡快變現。他認為,團隊規模由十人增加至一百人,也未必能找到 AIGC 的產品市場契合點;部分公司缺乏應用場景和數據,估值卻很高。
金沙江主管合夥人朱嘯虎在訪談中分享對大模型與 AIGC 的看法,提出卷出 200 多個大模型未必有意義,並強調 AIGC 需要盡快變現。他認為,團隊規模由十人增加至一百人,也未必能找到 AIGC 的產品市場契合點;部分公司缺乏應用場景和數據,估值卻很高。
百川智能創始人兼 CEO 王小川接受訪談,闡釋中國 AGI 在技術與市場、理想與現實之外的第三種可能。他將立場概括為「理想上慢一步,落地上快三步」,並提出 TPF(Technology-Problem Fit,技術與行業現存問題相契合),與朱嘯虎談應用、楊植麟談技術的側重不同。
真格基金的戴雨森和季逸超談及 OpenAI 發佈 Sora 後,如何從人才、算力和數據等方面拼湊相關資訊。兩人亦討論 Google 推出開源模型 Gemma,以及國內大模型生態和進展。
Beren Millidge 認為,印度要求部署任何生成式 AI 模型前先獲批准的規定範圍過廣,類似監管若擴及其他國家,長遠可能損害安全並鞏固現有企業的地位。他主張避免大幅拖慢發展或阻礙開源模型,並為前沿模型建立透明、獨立的審核機制。監管應聚焦具自我複製能力的自主智能體、前沿模型審核,以及逐步處理濫用造成的危害。
月之暗面創始人兼 CEO 楊植麟在訪談中談大模型創業這一年,分享他對人類理想、非共識想法及 Sora 的看法。月之暗面去年10月推出智能助手 Kimi,投後估值超過25億美元。訪談主要部分於2024年1月完成,並於2月因 OpenAI 發佈 Sora 補訪。
Replit 市場及設計副總裁 David Hoang 討論 AI 如何改變創意工具、設計與產品開發,並指工程與設計正逐漸融合為緊密相連的工作領域。Replit 聚焦人工開發者智能(ADI),而非 AGI,目標是提升用戶的自主性和生產力;ADI 亦可協助程式碼生成及團隊協作。
Beren Millidge 回顧 2023 年的思想變化,表示自己對 AI 安全及對齊的看法較以往樂觀,並認為現有 LLM 和擴散模型的對齊基本已解決或即將解決。強大 LLM 和擴散模型的開源及普及,帶來更多 AI 進展與對齊的新觀察。 他指出,主要風險在於具自主驅動的通用智能體,以及經濟自動化令人類逐漸過時。
Figma透過年度「Little Big Updates」聚焦改善既有功能及修正錯誤,讓用戶常用操作更順暢。例子包括改善貼上位置,以及在切換畫框時更易選取文字;新一輪更新加入「select and copy from version history」,讓用戶直接從版本記錄選取及複製內容。這項更新約以10行程式碼完成,可省下用戶重做以為已遺失工作的數小時。
Beren Millidge 認為,至今幾乎每次開源模型發布都對 AI 對齊進展有淨正面作用,未來也很可能如此。研究人員需要接觸模型權重並自由修改,才能動手測試和改進對齊方法;許多重要研究在大型實驗室以外進行,開源模型讓更多學者和愛好者得以參與。
Figma 首席產品總監 Yuhki Yamashita 描繪 Figma 與 Adobe 在設計及創意流程上的未來協作構想,包括把 Adobe Substance 3D 資產連結至 Figma、多人協作 3D 設計,以及用 Firefly 生成背景和延展圖片。構想亦涵蓋將可運作的 app 原型放進發布影片並自動更新、共享設計系統,以及在 Figma 使用 Adobe 字體。
Runway 梳理 Gen-2 的發展路徑,從以輸入影片控制輸出結構的 Gen-1,推進至直接以文字引導影片生成的 Gen-2。Runway 最近更新模型,支援以任意起始影格生成影片;公司把生成兩小時電影作為長期目標,構想是以生成模型逐場迭代完成,而非靠單一提示詞生成整部電影。
凱文·凱利接受訪問,回答50個問題,涵蓋寡頭、平台、網絡秩序、人工智能,以及科技與國界等議題。訪問在他帶新書《寶貴的人生建議:我希望早點知道的智慧》到訪中國期間進行;他著有《失控》《科技想要甚麼》和《必然》,曾預言互聯網的走向。
小冰 CEO 李笛認為,只做大模型而不追求商業模式很難生存。今年上半年大模型受到熱捧時,他選擇沉默和苟活,因為覺得難以與狂熱者或冷靜者交流。
Beren Millidge 認為,過度採用資訊危害規範會造成可預見的失效模式,並主張除特殊情況外一般不應使用。只有在有強實證支持某想法能大幅提升能力、適用於大規模實際 ML 系統、尚未為 ML 社羣合理知悉,且不會對安全與能力產生不同影響時,才應稱之為資訊危害。保密會阻礙批評和實證檢驗,也可能令人高估想法的新穎性與效力,並令資訊危害主張成為地位競逐的工具。
John Maeda認為,AI擅長高效率地選擇低風險路徑,創意工作則需要人類擁抱挑戰、探索非慣常方向。AI可處理大量投影片、設計樣稿和修圖等重複工作,或可讓設計師騰出更多時間思考新的問題。
深度學習的可訓練性與泛化能力,或與模型架構塑造的損失景觀幾何有關;Beren Millidge 提出個人且具推測性的解釋。初始化、正規化、梯度裁剪及 Adam 等方法,有助維持適合 SGD 的方差範圍。深度網絡透過可重用、可組合的電路共享子計算;文中以啟發式方式指出,深度 D、寬度 W 的網絡可用 W × D 計算量並行表示 W^D 個電路。
Beren Millidge 認為,透過大型多模態模型的短視無監督預訓練,再以涵蓋廣泛任務的強化學習培養通用能力,當前類 LLM 智能體的對齊有望以直接、穩健的方式解決。預訓練或能形成涵蓋人類道德與對齊概念的內部表徵,讓強化學習以這些概念為基礎學習獎勵函數和策略。他認為,這大致是近期高對齊系統的預設發展路徑,但仍有未解問題。
Jeff Boudier 與 Writer 聯合創辦人兼 CTO Waseem Alshikh 對談,探討 Writer 運用 Hugging Face 處理複雜生成式 AI 用例。
真格基金合夥人劉元在訪談中談到黑客松復興,以及參與 AI 黑客松時感受到的人類失落之意。他亦談及 AI 應用層創業的投資疑慮、護城河,以及即刻做 AI 孵化器的幕後情況。
特倫斯·謝諾夫斯基在英文播客中談及大腦、模型與人類的愛,並回顧深度學習的發展。他提到,連接主義與符號主義曾是勢力懸殊的兩個學派,並形容:「我們就是AI的萊特兄弟。」
北森(09669)赴港上市後股價腰斬,節目邀請其早期投資人熊飛,回顧這宗曲折 IPO 及中國企業服務業近兩年的挑戰。熊飛認為,大模型行業「iPhone 時刻來了」,但開源的「Android 時刻」還沒到;開源正逼近引爆大模型浪潮的關鍵時點。
提示詞工程的主要價值在交易式提示:以軟件高頻處理特定問題,追求更準確地取得預期結果並降低成本。它較適合資訊抽取、分類等有客觀答案的任務;對創作等主觀任務,則只能提高輸出獲接受的可能性,難以達到同等確定性。作者認為,智能體的使用主要具交易式特徵,因此亦可應用提示詞工程。
傅盛在訪談中從 AI 變革談起,分享對大模型普及化的判斷,以及創業、恩怨與心性的經歷。他認為,大模型技術會由高精尖走向普及,並將誕生「平民化大模型」。他亦談到過去三年面對企業危機和市值下滑時的心情與轉變。
人類的享樂適應迴路表明,強化學習智能體的價值與策略可以動態調整,並在改變時維持表現和行為連貫。文章指出,相較於最大化目標,若能穩健編碼並維持,滿意化目標可能更安全。為強化學習演算法加入穩態控制迴路,或可讓外部系統靈活調整智能體追求的目標。
出門問問創辦人兼 CEO 李志飛稱,中國大概率不存在與 OpenAI 類似的組織,並勸大部分業界人士不要做大模型,包括業界大佬。一個月前,他曾表示要做「中國 OpenAI」,其後想法轉變。
《商業訪談錄》與清流資本創始合夥人、前百度技術副總裁夢秋對談,探討 ChatGPT、AI 和大模型,以及新一輪巨頭革命與格局重置的可能。夢秋談到,AI 正快速發展,但截至目前投資人的投資標的其實不多,訪談亦討論這種落差與一級市場的真實情況。
Beren Millidge認為,神經網絡的內部表徵大多近乎線性,若能找出線性方向,便可控制、組合及推理這些表徵。他列舉模型編輯、線性探測和模型合併等支持線性表徵的證據,但指出網絡並非完全線性,表徵重疊仍是機制層面理解網絡的難題。
作者認為,預測編碼近似反向傳播的理論關係在實際上價值有限,相關假設亦大幅削弱其生物合理性。這些研究未能有效解答大腦如何進行信用分配;作者主張探索不近似反向傳播、但仍能訓練深度神經網絡的算法。
前 Google 亞洲區 CMO 王懷南談 ChatGPT 與 Google 的緊急應戰,並從自己的赴美留學和職業經歷回溯一段美國往事。這段歷史串連 Sam Altman、陸奇、Satya Nadella 和 Jeff Weiner 等人,節目將 ChatGPT 的演化與這段往事連在一起。
Beren Millidge 主張,AI 對齊不會靠單一完美方案實現,而應結合多種獨立、並行的方法,以提高整體安全性。這些方法分為對齊、限制能力和遏制三方面,包括 RLHF、限制運算資源、沙盒隔離及持續監控。評估方法時,應考慮成本、失效相關性,以及各方法能否互補。
Beren Millidge 認為,以 boxing 限制 AGI,或可減慢遞迴自我改進並在模擬中測試對齊程序,但他不再認為這種做法在實際上可行。原因不是技術限制,而是人們未必會妥善使用甚至嘗試 boxing;作者指出,將 LLM 連接互聯網和工具已相當容易,競賽動態亦令 AGI 預設可能直接接入互聯網。
Beren Millidge 回顧自己在 2022 年的知識進展,包括離開學術界、加入 Conjecture 擔任研究主管,並轉向 AI 安全研究。他表示,自己對對齊、LLM 訓練及可解釋性有了更深入的理解,AI 時間線也大幅縮短,現估計強超人類 AGI 約 3-10 年內出現。部分學術成果包括兩篇論文獲 ICLR 接收。
Beren Millidge 認為,對獨立同分佈數據進行監督式學習時,梯度駭客極難形成;在理想化的梯度下降下,甚至可能無法長時間存在。梯度下降會同時、獨立地更新所有參數,並沿局部最陡下降方向調整,因此難以被梯度駭客利用。相較之下,遺傳算法及 Metropolis-Hastings 等只尋找有效下降方向的優化器更容易受到梯度駭客影響。
對 Shard Theory 的機器學習解讀將 shards 視為相對鬆散耦合、各自實現過往獲獎勵行為的子網絡。現有可解釋性研究的證據不一:CNN 的電路較緊密交織,Transformer 則有較獨立電路的跡象,但相關表徵仍未充分理解。幾乎沒有研究檢視具一定規模的策略梯度網絡內部處理。
文章主張,AGI 難以依靠預先固定的效用函數處理複雜目標,實際上必須使用透過學習建立的效用或獎勵模型。這類模型可根據環境或人類設計者提供的狀態—效用配對數據訓練,令智能體的效用函數會受自身經驗影響;作者承認未能確定證明固定效用函數不可行。
阻止 FOOM 或可令 AI 對齊更容易:限制 AGI 的自我修改、硬件改動及資源累積,可約束其最佳化能力,降低代理目標失效及突破隔離的風險。文章認為,阻止 FOOM 比對齊任意最佳化能力的智能體更可行,並提出以負面獎勵和正則化限制相關行為。FOOM 是否可能出現,則取決於自我改進的回報能否維持超線性。
Beren Millidge 回顧 2021 年的研究與學習進展,認為這一年延續了 2020 年累積的成果,但研究生產力和智識發展速度較慢。期間,他深入理解 predictive coding、model-free RL、Hopfield networks 和 free energy principle,並發表首篇 ICML 論文 Universal Hopfield Networks。
同理心可能不是為了社會效益而獨立演化的認知能力,而是哺乳類認知架構中習得獎勵模型的自然結果。世界模型若把自身與其他相似個體的相同行為編碼得相近,獎勵模型便可能把自身經驗的獎勵泛化至他者,形成「原型同理心」。演化可進一步擴展或抑制這種能力,例如排除羣體外成員。
antirez花兩年創作的首本科幻小説《Wohpe》已在意大利實體書店、Amazon及其他數碼商店推出。他認為寫作及重讀選作範本的書,讓他逐漸掌握自己的風格和判斷作品的能力。意大利小型或中型出版社出版、獲得不錯成績的科幻書,銷量為500本;多數書籍銷量不足100本。
Hugging Face 研究科學家 Sasha Luccioni 在訪談中談及她對機器學習模型與數據集的倫理、社會影響及環境足跡研究。她擔任 Big Science Workshop 碳足跡工作組共同主席,探討電子郵件排放與製造成本等環境影響,並參與數據整理和多語言工作,避免語料過度偏重英語。