跳到正文
Meta AI:Research Blog·· 2026-10-03精選AI 評分76

Meta 發佈 Muse Image 並預覽 Muse Video

Introducing Muse Image and Muse Video

AI 導讀

Meta 發佈 Muse Image,並預覽 Muse Video;兩者均為 Meta Superintelligence Labs 開發的媒體生成模型。Muse Image 可調用網絡搜尋和編碼工具、自我修訂,並支援精準編輯與多參考圖像構圖;Meta 稱增加推理時計算可提升生成質素。

推薦理由

文中比較 Muse Image 的推理時計算策略,指出把資源投入刻意推理比 Best-of-N 更能持續提升圖像品質,工具調用亦可補足單靠推理的不足。

正文 · 繁體中文

我們很高興推出 Muse Image,並預覽 Muse Video;這是 Meta Superintelligence Labs 開發的首批媒體生成模型。

Muse Image 是我們迄今最先進的圖像生成模型:它能忠實遵循指示、精準編輯,並結合多個參考素材進行創作。它亦具備代理式工具使用能力,並與 Muse Spark 整合。Muse Video 則建基於相同的預訓練基礎,提供出色的視覺保真度,並原生支援音訊。

Muse Image 現已在 Meta AI app 及 meta.ai 推出,亦可在美國的 Instagram Stories 及部分國家的 WhatsApp 使用,並即將登陸 Facebook。Muse Video 則即將向創作者及 Meta AI 用戶推出。

Muse Image:代理式圖像生成

Muse Image 不會直接把提示詞映射成圖像,而是以代理方式運作:它會調用搜尋和編碼工具提升準確度、自行改進生成結果,並透過增加測試時計算量持續進步。Muse Image 亦與 Muse Spark 整合,讓兩個模型共享工具並共同規劃,實現強大的代理式媒體生成。

使用工具

我們讓 Muse Image 使用各種工具,以增強其代理能力。

編碼。在強化學習期間,Muse Image 學會編寫並執行程式碼,生成準確的圖表和 QR code,亦會根據渲染後的圖像作條件輸入,提升生成圖像的準確度。Muse Spark 和 Muse Image 亦會整合程式碼與媒體生成能力,創作動畫 GIF、內嵌圖像的網站,以及互動視覺遊戲。

搜尋。Muse Image 學會搜尋網絡,為生成圖像提供事實、即時資訊及視覺參考依據。啟用搜尋可提升知識密集型提示詞的事實準確度,尤其是涉及時事和現實世界資料的內容。

Search-enabled generation accuracy chart for Muse Image

使用搜尋工具可提升 Muse Image 的表現。此為內部消融測試的勝率。

自我修正

Muse Image 會在思維鏈中檢視並改進自己的作品。這種自我修正行為有多種形式:細節有偏差時局部修改現有圖像草稿;較大部分出錯時從頭生成新圖像;或改用其他策略,例如透過工具生成更符合事實的內容。我們並沒有刻意設計這種行為;它是在強化學習訓練中自然出現,因為自我修正能產生更好的圖像,從而獲得更高獎勵。

Self-refinement capability comparison chart for Muse Image

Muse Image 透過自然形成的自我修正能力提升表現。此為內部消融測試的勝率。

Self-refinement example preview

自我修正

尋找參考圖像

自我修正

編排版面

我正在編排這個光澤亮麗的雜誌版面,把證明步驟、標題和時尚人像融為一體,同時檢查字體、間距和金色細節,務求呈現精緻的編輯設計效果。

自我修正

修正公式

我正在補上遺漏的除號,並更新版面,令公式顯示為 S = n(n + 1) / 2;同時亦會檢查周邊文字是否清晰一致。

自我修正

檢查圖像

我正在檢視生成的雜誌圖像,確認微距細節、光澤版面和證明內容均準確無誤,然後便可分享;如有需要,我亦可以調整字體或更換人像。你接下來想修改甚麼?

✓

完成

擴展測試時計算量

與語言模型一樣,Muse Image 在推論時思考得越多,表現便越好。增加測試時計算量後,模型會作更多推理、調用更多工具,並進行更多自我修正,以改進生成結果。提高推理強度(亦即增加測試時計算量)可提升人類偏好 Elo 分數,並呈現近似對數線性的擴展關係。值得留意的是,這些計算涉及兩種截然不同的工作:用於推理的文字 token,以及用於生成的視覺 token;但品質取決於兩者合計的計算量。

我們發現,審慎運用 token 預算,對有效擴展測試時計算量同樣重要。Best-of-N(BoN)會生成多張圖像並保留最佳結果,初期能提升品質,但很快便會飽和。把相同計算量用於審慎推理,效果則會持續好得多。推理與工具使用結合時亦能相輔相成。工具讓模型能超越既有知識,例如搜尋缺少的參考資料,或編寫程式碼準確處理細節,補足單靠推理無法填補的不足。

Inference-time compute scaling chart for Muse Image

擴展測試時計算量可提升 Muse Image 表現。此為內部消融測試的 Elo 分數。

圖像編輯

Muse Image 能精準編輯圖像,按用戶要求修改指定內容。以下例子展示它能遵循多種不同指示。

Muse Image 在多輪編輯之間能保持連貫,支援反覆修訂和開放式構思,逐步完成目標效果。

多參考圖像合成

Muse Image 可在提示詞中結合多張輸入參考圖像的元素,包括人物、物件、服裝、風格和環境。它支援在提示詞內交錯插入文字和圖像,以完成複雜的圖像合成。

圖像基準測試

截至本文撰寫時,按人類偏好 Elo 排名,Muse Image 在 Arena 的文字生成圖像、單圖編輯和多圖編輯項目均排名第 2。

Text-to-image arena leaderboard chart

Arena Elo 排名截至 2026 年 7 月 5 日。

Single-image edit arena leaderboard chart

Arena Elo 排名截至 2026 年 7 月 5 日。

Multi-image edit arena leaderboard chart

Arena Elo 排名截至 2026 年 7 月 5 日。

預覽 Muse Video

推出 Muse Image 的同時,我們亦分享 Muse Video 的早期預覽。它在遵循提示詞、視覺保真度和時間一致性方面表現出色。我們正投放資源改善目前仍有不足的範疇,例如音畫同步,以及快速動作的物理準確度。Muse Video 即將向創作者及 Meta AI 用戶推出。

截至本文撰寫時,Muse Video 在 Arena 的文字生成影片人類偏好 Elo 排名中位列第 3。

Muse Video Arena ranking chart

Arena Elo 排名截至 2026 年 7 月 5 日

Content Seal

為協助用戶確認圖像是否由 AI 生成,Muse Image 配備 Content Seal,即我們的隱形浮水印系統。透過 Meta AI app 和 meta.ai 使用 Muse Image 創作的圖像,均帶有隱藏的來源訊號;即使圖像經過裁剪、壓縮、調整大小或截圖,訊號仍會保留。我們計劃不久後把 Content Seal 擴展至影片。目前我們正預覽一款偵測工具,讓你檢查圖像是否帶有 Content Seal 浮水印,初步瞭解圖像是否由 Meta AI 製作。

Meta 產品中的 Muse Image

Muse Image 與 Meta 生態系統深度整合。我們持續投資圖像和影片生成技術,將進一步協助創作者和企業在 Meta 各項產品中製作動態內容。

Avery and Me IG ad campaign preview

小型企業的市場推廣素材

直接在 Instagram 使用個人化預設

相片集

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

Muse Image in Meta products gallery preview

探索更多資源

在 Meta AI 試用 Muse Image
檢查 Content Seal
探索 Meta AI Research
閲讀更多 Meta AI 最新消息
瞭解 Meta AI
加入 Meta AI 團隊

作者:

Meta Superintelligence Labs

分享:

最新消息直送你的收件匣

訂閲我們的電子通訊,掌握 Meta AI 新聞、活動、研究突破等最新資訊。

來源:Meta AI:Research Blog · ai.meta.com