跳到正文
OpenAI News·· 2025-03-25精選AI 評分84

OpenAI 為 GPT‑4o 推出原生圖像生成

Introducing 4o Image Generation

AI 導讀

OpenAI 在 GPT‑4o 中推出原生圖像生成,並提升文字渲染與指令遵循能力。原文亦提及 ChatGPT Images 2.5。

推薦理由

原生圖像生成之外,文字渲染與指令遵循是明確列出的改進點,讀者可據此掌握 GPT‑4o 圖像功能此次更新的着力處。

正文 · 繁體中文

開拓實用且有價值的圖像生成能力,由原生多模態模型產出精確、準確且照片級寫實的圖像。

在 OpenAI,我們一直相信,圖像生成應是語言模型的一項核心能力。正因如此,我們將迄今最先進的圖像生成器整合至 GPT‑4o。成果是,圖像生成不但美觀,而且實用。

實用的圖像生成

從最早的洞穴壁畫到現代資訊圖表,人類一直運用視覺圖像來溝通、說服和分析,而不只是裝飾。今日的生成模型能創造超現實、令人驚嘆的場景,卻難以處理人們用來分享和創造資訊的實用圖像。從標誌到圖表,只要加入指涉共同語言和經驗的符號,圖像便能傳達精確的意思。

GPT‑4o 圖像生成擅長準確呈現文字、精確遵循提示,並善用 4o 內建的知識庫及聊天上下文,包括轉換上載的圖像,或以這些圖像作為視覺靈感。這些能力令你更容易創作出心目中確切的圖像,協助你透過視覺更有效地溝通,並使圖像生成成為兼具精準度與強大能力的實用工具。

能力提升

我們以網上圖像與文字的聯合分佈訓練模型,讓模型學習圖像如何與語言相關,也學習圖像彼此之間如何關聯。配合積極的後訓練,最終模型展現出令人驚訝的視覺流暢度,能生成實用、一致且能理解上下文的圖像。

文字呈現

一圖勝千言,但有時只要在適當位置生成幾個字,便能提升圖像的意義。4o 能將精確的符號與圖像融合,令圖像生成成為視覺溝通工具。

多輪生成

由於圖像生成現已成為 GPT‑4o 的原生功能,你可以透過自然對話逐步完善圖像。GPT‑4o 可根據聊天上下文中的圖像和文字繼續創作,確保整個過程保持一致。例如,若你正在設計一個電子遊戲角色,即使經過多次修改和嘗試,角色的外觀仍能保持連貫。

遵循指示

GPT‑4o 的圖像生成會仔細遵循詳盡提示。其他系統在處理 ~5-8 個物件時會感到吃力,GPT‑4o 則最多可處理 10-20 個不同物件。物件與其特徵和關係之間更緊密的連結,讓生成結果更易控制。

上下文學習

GPT‑4o 能分析並從使用者上載的圖像中學習,無縫地將其中的細節融入上下文,作為生成圖像的依據。

世界知識

原生圖像生成讓 4o 能連結文字與圖像之間的知識,令人覺得模型更聰明、更有效率。

照片級寫實效果與風格

使用反映豐富多樣圖像風格的圖像進行訓練,讓模型能令人信服地創作或轉換圖像。

一張自然抓拍的狗仔隊風格照片,拍到 Karl Marx 急步穿過 Mall of America 的停車場。他回頭望向身後,神情驚慌,似乎正試圖避開鏡頭。他緊抱著多個裝滿奢侈品的光亮購物袋。他的外套被風吹得向後飄揚,其中一個袋子隨步伐擺動,彷彿他正邁步前行。背景中的汽車和燈光明亮的商場入口都模糊不清,以突顯動感。相機閃光造成的眩光令影像局部過度曝光,營造出混亂的八卦小報風格。

一張自然抓拍的狗仔隊風格照片,拍到 Karl Marx 急步穿過 Mall of America 的停車場。他回頭望向身後,神情驚慌,似乎正試圖避開鏡頭。他緊抱著多個裝滿奢侈品的光亮購物袋。他的外套被風吹得向後飄揚,其中一個袋子隨步伐擺動,彷彿他正邁步前行。背景中的汽車和燈光明亮的商場入口都模糊不清,以突顯動感。相機閃光造成的眩光令影像局部過度曝光,營造出混亂的八卦小報風格。

一張自然抓拍的狗仔隊風格照片,拍到 Karl Marx 急步穿過 Mall of America 的停車場。他回頭望向身後,神情驚慌,似乎正試圖避開鏡頭。他緊抱著多個裝滿奢侈品的光亮購物袋。他的外套被風吹得向後飄揚,其中一個袋子隨步伐擺動,彷彿他正邁步前行。背景中的汽車和燈光明亮的商場入口都模糊不清,以突顯動感。相機閃光造成的眩光令影像局部過度曝光,營造出混亂的八卦小報風格。

限制

我們的模型並不完美。我們知道目前仍有多項限制,並會在首次推出後透過改進模型來着手處理。

安全

按照我們的 Model Spec,我們致力在維持嚴格安全標準的同時,透過支援遊戲開發、歷史探索及教育等有價值的用途,盡量擴大創作自由。與此同時,封鎖違反這些標準的要求,依然一如以往重要。以下是我們對其他風險範疇的評估;在這些範疇中,我們正努力讓安全而實用價值高的內容得以生成,並支援用戶更廣泛地表達創意。

透過 C2PA 和內部反向搜尋追溯來源
所有生成圖片均附有 C2PA⁠ 中繼資料,當中會標明圖片由 GPT‑4o 生成,以提高透明度。我們亦建立了內部搜尋工具,利用生成內容的技術屬性,協助核實內容是否來自我們的模型。

封鎖有害內容
我們會繼續封鎖可能違反內容政策的圖像生成要求,例如兒童性虐待材料及色情深偽影像。當內容涉及真人時,我們對可創作的圖像種類設有更嚴格限制,尤其在裸露及血腥暴力方面設有非常穩健的防護措施。與任何推出一樣,安全工作永無止境,亦是我們持續投入的範疇。隨著我們進一步了解此模型在現實世界中的使用情況,我們會相應調整政策。

如欲了解我們的做法,請瀏覽圖像生成 GPT‑4o 系統卡的補充文件⁠。

運用推理提升安全性
與我們的審議式對齊⁠工作相似,我們訓練了一個推理型大型語言模型,使它直接依據由人撰寫、易於理解的安全規格運作。我們在開發過程中使用這個推理型大型語言模型,協助找出並處理政策中的含糊之處。結合我們在多模態方面的進展,以及為 ChatGPT 和 Sora 開發的現有安全技術,這讓我們可以審核⁠輸入文字和輸出圖像,確保兩者符合我們的政策。

使用權限與供應情況

4o 圖像生成功能由今日起陸續向 Plus、Pro、Team 及 Free 用戶推出,並成為 ChatGPT 的預設圖像生成器;Enterprise 和 Edu 用戶亦將於短期內獲得使用權。這項功能亦可在 Sora 使用。 對 DALL·E 情有獨鍾的用戶,仍可透過專用的 DALL·E GPT 使用它。

開發者很快便可透過 API 使用 GPT‑4o 生成圖像,相關功能將於未來數星期陸續推出。

只需像與 GPT‑4o 聊天一樣描述所需內容,就能輕鬆建立和自訂圖像,包括指定長寬比、以十六進制色碼指定確切顏色,或要求透明背景。由於這個模型生成的圖像細節更豐富,渲染所需時間會較長,往往需時最多一分鐘。

直播重播

作者

OpenAI

領導團隊

Gabriel Goh: 圖像生成

Jackie Shannon: ChatGPT 產品

Mengchao Zhong, Wayne Chang: ChatGPT 工程

Rohan Sahai: Sora 產品及工程

Brendan Quinn, Tomer Kaftan: 推理

Prafulla Dhariwal: 多模態組織

研究

基礎研究

Allan Jabri, David Medina, Gabriel Goh, Kenji Hata, Lu Liu, Prafulla Dhariwal

核心研究

Aditya Ramesh, Alex Nichol, Casey Chu, Cheng Lu, Dian Ang Yap, Heewoo Jun, James Betker, Jianfeng Wang, Long Ouyang, Li Jing, Wesam Manassra

研究貢獻者

Aiden Low, Brandon McKinzie, Charlie Nash, Huiwen Chang, Ishaan Gulrajani, Jamie Kiros, Ji Lin, Kshitij Gupta, Yang Song

模型行為

Laurentia Romaniuk

多模態組織

Andrew Gibiansky, Yang Lu

數據

數據負責人

Gildas Chabot, James Park Lennon

數據

Arshi Bhatnagar, Dragos Oprica, Rohan Kshirsagar, Spencer Papay, Szi-chieh Yu, Wesam Manassra, Yilei Qian

審核員

Hazel Byrne, Jennifer Luckenbill, Mariano López

人類數據顧問

Long Ouyang

規模擴展

推理負責人

Brendan Quinn, Tomer Kaftan

推理

Alyssa Huang, Jacob Menick, Nick Stathas, Ruslan Vasilev, Stanley Hsieh

應用

ChatGPT 產品負責人

Jackie Shannon

ChatGPT 工程主管

Mengchao Zhong, Wayne Chang

產品設計負責人

Matt Chan

數據科學

Xiaolin Hao

ChatGPT

Andrew Sima, Annie Cheng, Benjamin Goh, Boyang Niu, Dian Ang Yap, Duc Tran, Edede Oiwoh, Eric Zhang, Ethan Chang, Jeffrey Dunham, Jay Chen, Kan Wu, Karen Li, Kelly Stirman, Mengyuan Xu, Michelle Qin, Ola Okelola, Pedro Aguilar, Rocky Smith, Rohit Ramchandani, Sara Culver, Sean Fitzgerald, Vlad Fomenko, Wanning Jiang, Wesam Manassra, Xiaolin Hao, Yilei Qian

Sora

Sora 產品負責人

Rohan Sahai, Wesam Manassra

Sora 產品及工程

Boyang Niu, David Schnurr, Gilman Tolle, Joe Taylor, Joey Flynn, Mike Starr, Rajeev Nayak, Rohan Sahai, Wesam Manassra

安全

安全負責人

Somay Jain

安全

Alex Beutel, Andrea Vallone, Botao Hao, Brendan Quinn, Cameron Raymond, Chong Zhang, David Robinson, Eric Wallace, Filippo Raso, Huiwen Chang, Ian Kivlichan, Irina Kofman, Keren Gu-Lemberg, Kristen Ying, Madelaine Boyd, Meghan Shah, Michael Lampe, Owen Campbell-Moore, Rohan Sahai, Rodrigo Riaza Perez, Sam Toizer, Sandhini Agarwal, Troy Peterson

策略

Adam Cohen, Adam Wells, Ally Bennett, Ashley Pantuliano, Carolina Paz, Claudia Fischer, Declan Grabb, Gaby Sacramone-Lutz, Lauren Jonas, Ryan Beiermeister, Shiao Lee, Tom Stasi, Tyce Walters, Ziad Reslan, Zoe Stoll

市場推廣及傳訊

傳訊及市場推廣負責人

Minnia Feng, Natalie Summers, Taya Christianson

傳訊

Alex Baker-Whitcomb, Ashley Tyra, Bailey Richardson, Gaby Raila, Marselus Cayton, Scott Ethersmith, Souki Mansoor

設計及創意

負責人

Kendra Rimbach, Veit Moeller

設計

Adam Brandon, Adam Koppel, Angela Baek, Cary Hudson, Dana Palmie, Freddie Sulit, Jeffrey Sabin Matsumoto, Leyan Lo, Matt Nichols, Thomas Degry, Vanessa Antonia Schefke, Yara Khakbaz

特別鳴謝

Aditya Ramesh, Aidan Clark, Alex Beutel, Ben Newhouse, Ben Rossen, Che Chang, Greg Brockman, Hannah Wong, Ishaan Singal, Jason Kwon, Jiacheng Feng, Jiahui Yu, Joanne Jang, Johannes Heidecke, Kevin Weil, Mark Chen, Mia Glaese, Nick Turley, Raul Puri, Reiichiro Nakano, Rui Shu, Sam Altman, Shuchao Bi, Vinnie Monaco

來源:OpenAI News · openai.com