Meta 發佈 Muse Image 並預覽 Muse Video
Introducing Muse Image and Muse Video
Meta 發佈 Muse Image,並預覽 Muse Video;兩者均為 Meta Superintelligence Labs 開發的媒體生成模型。Muse Image 可調用網絡搜尋和編碼工具、自我修訂,並支援精準編輯與多參考圖像構圖;Meta 稱增加推理時計算可提升生成質素。
文中比較 Muse Image 的推理時計算策略,指出把資源投入刻意推理比 Best-of-N 更能持續提升圖像品質,工具調用亦可補足單靠推理的不足。
我們很高興推出 Muse Image,並預覽 Muse Video;這是 Meta Superintelligence Labs 開發的首批媒體生成模型。
Muse Image 是我們迄今最先進的圖像生成模型:它能忠實遵循指示、精準編輯,並結合多個參考素材進行創作。它亦具備代理式工具使用能力,並與 Muse Spark 整合。Muse Video 則建基於相同的預訓練基礎,提供出色的視覺保真度,並原生支援音訊。
Muse Image 現已在 Meta AI app 及 meta.ai 推出,亦可在美國的 Instagram Stories 及部分國家的 WhatsApp 使用,並即將登陸 Facebook。Muse Video 則即將向創作者及 Meta AI 用戶推出。
Muse Image:代理式圖像生成
Muse Image 不會直接把提示詞映射成圖像,而是以代理方式運作:它會調用搜尋和編碼工具提升準確度、自行改進生成結果,並透過增加測試時計算量持續進步。Muse Image 亦與 Muse Spark 整合,讓兩個模型共享工具並共同規劃,實現強大的代理式媒體生成。
使用工具
我們讓 Muse Image 使用各種工具,以增強其代理能力。
編碼。在強化學習期間,Muse Image 學會編寫並執行程式碼,生成準確的圖表和 QR code,亦會根據渲染後的圖像作條件輸入,提升生成圖像的準確度。Muse Spark 和 Muse Image 亦會整合程式碼與媒體生成能力,創作動畫 GIF、內嵌圖像的網站,以及互動視覺遊戲。
搜尋。Muse Image 學會搜尋網絡,為生成圖像提供事實、即時資訊及視覺參考依據。啟用搜尋可提升知識密集型提示詞的事實準確度,尤其是涉及時事和現實世界資料的內容。
使用搜尋工具可提升 Muse Image 的表現。此為內部消融測試的勝率。
自我修正
Muse Image 會在思維鏈中檢視並改進自己的作品。這種自我修正行為有多種形式:細節有偏差時局部修改現有圖像草稿;較大部分出錯時從頭生成新圖像;或改用其他策略,例如透過工具生成更符合事實的內容。我們並沒有刻意設計這種行為;它是在強化學習訓練中自然出現,因為自我修正能產生更好的圖像,從而獲得更高獎勵。
Muse Image 透過自然形成的自我修正能力提升表現。此為內部消融測試的勝率。
自我修正
尋找參考圖像
自我修正
編排版面
我正在編排這個光澤亮麗的雜誌版面,把證明步驟、標題和時尚人像融為一體,同時檢查字體、間距和金色細節,務求呈現精緻的編輯設計效果。
自我修正
修正公式
我正在補上遺漏的除號,並更新版面,令公式顯示為 S = n(n + 1) / 2;同時亦會檢查周邊文字是否清晰一致。
自我修正
檢查圖像
我正在檢視生成的雜誌圖像,確認微距細節、光澤版面和證明內容均準確無誤,然後便可分享;如有需要,我亦可以調整字體或更換人像。你接下來想修改甚麼?
✓
完成
擴展測試時計算量
與語言模型一樣,Muse Image 在推論時思考得越多,表現便越好。增加測試時計算量後,模型會作更多推理、調用更多工具,並進行更多自我修正,以改進生成結果。提高推理強度(亦即增加測試時計算量)可提升人類偏好 Elo 分數,並呈現近似對數線性的擴展關係。值得留意的是,這些計算涉及兩種截然不同的工作:用於推理的文字 token,以及用於生成的視覺 token;但品質取決於兩者合計的計算量。
我們發現,審慎運用 token 預算,對有效擴展測試時計算量同樣重要。Best-of-N(BoN)會生成多張圖像並保留最佳結果,初期能提升品質,但很快便會飽和。把相同計算量用於審慎推理,效果則會持續好得多。推理與工具使用結合時亦能相輔相成。工具讓模型能超越既有知識,例如搜尋缺少的參考資料,或編寫程式碼準確處理細節,補足單靠推理無法填補的不足。
擴展測試時計算量可提升 Muse Image 表現。此為內部消融測試的 Elo 分數。
圖像編輯
Muse Image 能精準編輯圖像,按用戶要求修改指定內容。以下例子展示它能遵循多種不同指示。
Muse Image 在多輪編輯之間能保持連貫,支援反覆修訂和開放式構思,逐步完成目標效果。
多參考圖像合成
Muse Image 可在提示詞中結合多張輸入參考圖像的元素,包括人物、物件、服裝、風格和環境。它支援在提示詞內交錯插入文字和圖像,以完成複雜的圖像合成。
圖像基準測試
截至本文撰寫時,按人類偏好 Elo 排名,Muse Image 在 Arena 的文字生成圖像、單圖編輯和多圖編輯項目均排名第 2。
Arena Elo 排名截至 2026 年 7 月 5 日。
Arena Elo 排名截至 2026 年 7 月 5 日。
Arena Elo 排名截至 2026 年 7 月 5 日。
預覽 Muse Video
推出 Muse Image 的同時,我們亦分享 Muse Video 的早期預覽。它在遵循提示詞、視覺保真度和時間一致性方面表現出色。我們正投放資源改善目前仍有不足的範疇,例如音畫同步,以及快速動作的物理準確度。Muse Video 即將向創作者及 Meta AI 用戶推出。
截至本文撰寫時,Muse Video 在 Arena 的文字生成影片人類偏好 Elo 排名中位列第 3。
Arena Elo 排名截至 2026 年 7 月 5 日
Content Seal
為協助用戶確認圖像是否由 AI 生成,Muse Image 配備 Content Seal,即我們的隱形浮水印系統。透過 Meta AI app 和 meta.ai 使用 Muse Image 創作的圖像,均帶有隱藏的來源訊號;即使圖像經過裁剪、壓縮、調整大小或截圖,訊號仍會保留。我們計劃不久後把 Content Seal 擴展至影片。目前我們正預覽一款偵測工具,讓你檢查圖像是否帶有 Content Seal 浮水印,初步瞭解圖像是否由 Meta AI 製作。
Meta 產品中的 Muse Image
Muse Image 與 Meta 生態系統深度整合。我們持續投資圖像和影片生成技術,將進一步協助創作者和企業在 Meta 各項產品中製作動態內容。
小型企業的市場推廣素材
直接在 Instagram 使用個人化預設
相片集
探索更多資源
在 Meta AI 試用 Muse Image
檢查 Content Seal
探索 Meta AI Research
閲讀更多 Meta AI 最新消息
瞭解 Meta AI
加入 Meta AI 團隊
作者:
Meta Superintelligence Labs
分享:
最新消息直送你的收件匣
訂閲我們的電子通訊,掌握 Meta AI 新聞、活動、研究突破等最新資訊。
來源:Meta AI:Research Blog · ai.meta.com