Artificial Analysis 推出文生圖模型排行榜與 Image Arena
Launching the Artificial Analysis Text to Image Leaderboard & Arena
Artificial Analysis 推出文生圖模型排行榜與 Image Arena,以超過 45,000 次人類圖像偏好計算模型 ELO 排名。排行榜收錄 Midjourney、DALL·E、Stable Diffusion、Playground 等開源及專有模型,評測為每個模型生成超過 700 張圖像。用户可在 Image Arena 投票,投滿 30 票後查看個人化模型排名。
排行榜以超過 45,000 次人類圖像偏好計算 ELO,並涵蓋開源與專有模型,為比較不同文生圖模型提供同一參照。
自擴散式圖像生成器出現以來短短兩年間,AI 圖像模型已達到近乎照片級的質素。這些模型表現如何?開源替代方案能否媲美專有模型?
Artificial Analysis Text to Image Leaderboard 透過基於人類偏好的排名,嘗試回答這些問題。ELO 分數根據 Artificial Analysis Image Arena 收集超過 45,000 項人類圖像偏好計算。排行榜涵蓋領先的開源和專有圖像模型,包括 Midjourney、OpenAI 的 DALL·E、Stable Diffusion、Playground 的最新版本等。
在此查看排行榜:https://huggingface.co/spaces/ArtificialAnalysis/Text-to-Image-Leaderboard
你亦可參加 Text to Image Arena,投票 30 次後取得個人化模型排名!
方法
傳統上,比較圖像模型質素比評估語言模型等其他 AI 模態更具挑戰,主要因為人們對圖像應有外觀的偏好本來就有差異。隨着圖像模型準確度愈來愈高,早期客觀指標逐漸被昂貴的人類偏好研究取代。我們的 Image Arena 以眾包方式大規模收集人類偏好資料,首次讓大家能比較主要模型。
我們透過回歸分析所有偏好,為每個模型計算 ELO 分數,方式類似 Chatbot Arena。參與者會看到一個提示和兩張圖像,並選出最符合提示的圖像。為確保評估涵蓋廣泛用途,我們為每個模型生成 >700 張圖像。提示涵蓋不同風格和類別,包括人像、人物羣組、動物、自然、藝術等。
結果初步觀察 👀
- 專有模型領先,但開源模型正日益具競爭力:Midjourney、Stable Diffusion 3 和 DALL·E 3 HD 等專有模型在排行榜領先。不過,多款開源模型正追上,目前由 Playground AI v2.5 領先,甚至超越 OpenAI 的 DALL·E 3。
- 領域正迅速發展:圖像生成模型格局快速演變。就在去年,DALL·E 2 還是明顯領先者。如今,DALL·E 2 在 Arena 中獲選的比例不到 25%,排名亦在最末段。
- Stable Diffusion 3 Medium 開源或會對社羣帶來重大影響:Stable Diffusion 3 是目前排行榜的頂尖競爭者。Stability AI 的 CTO 最近在與 AMD 合辦的簡報中宣佈,Stable Diffusion 3 Medium 將於 June 12 開源。Stable Diffusion 3 Medium 的質素可能低於 Stability AI 現時提供的 Stable Diffusion 3 模型(推測為完整尺寸版本),但仍可能大力推動開源社羣發展。從 Stable Diffusion 1.5 和 SDXL 的經驗可見,社羣很可能會發布多個微調版本。
如何參與或聯絡我們
如欲查看排行榜,請前往 Hugging Face 上的 Space:https://huggingface.co/spaces/ArtificialAnalysis/Text-to-Image-Leaderboard
如欲參與排名並貢獻偏好,請選擇「Image Arena」分頁,再選出你認為最符合提示的圖像。看過 30 張圖像後,選擇「Personal Leaderboard」分頁,即可查看根據你選擇而整理的個人化圖像模型排名。
請在 Twitter 和 LinkedIn 關注我們,掌握最新消息。(我們亦會在網站比較 Text to Image 模型 API 端點的速度和定價:https://artificialanalysis.ai/text-to-image。)
歡迎提供意見!你可透過 Twitter 私訊聯絡我們,亦可透過**我們的網站**聯絡表格留言。
其他圖像模型質素計劃
Artificial Analysis Text to Image 排行榜並非唯一評估圖像質素或以眾包方式收集偏好的計劃。我們設計排行榜時,著重涵蓋專有和開放模型,完整呈現領先 Text to Image 模型的比較情況。
以下是其他值得參考的計劃:
來源:Hugging Face Blog · huggingface.co
