跳到正文
Hugging Face Blog·· 2024-06-06精選AI 評分64

Artificial Analysis 推出文生圖模型排行榜與 Image Arena

Launching the Artificial Analysis Text to Image Leaderboard & Arena

AI 導讀

Artificial Analysis 推出文生圖模型排行榜與 Image Arena,以超過 45,000 次人類圖像偏好計算模型 ELO 排名。排行榜收錄 Midjourney、DALL·E、Stable Diffusion、Playground 等開源及專有模型,評測為每個模型生成超過 700 張圖像。用户可在 Image Arena 投票,投滿 30 票後查看個人化模型排名。

推薦理由

排行榜以超過 45,000 次人類圖像偏好計算 ELO,並涵蓋開源與專有模型,為比較不同文生圖模型提供同一參照。

正文 · 繁體中文

自擴散式圖像生成器出現以來短短兩年間,AI 圖像模型已達到近乎照片級的質素。這些模型表現如何?開源替代方案能否媲美專有模型?

Artificial Analysis Text to Image Leaderboard 透過基於人類偏好的排名,嘗試回答這些問題。ELO 分數根據 Artificial Analysis Image Arena 收集超過 45,000 項人類圖像偏好計算。排行榜涵蓋領先的開源和專有圖像模型,包括 Midjourney、OpenAI 的 DALL·E、Stable Diffusion、Playground 的最新版本等。

Untitled

在此查看排行榜:https://huggingface.co/spaces/ArtificialAnalysis/Text-to-Image-Leaderboard

你亦可參加 Text to Image Arena,投票 30 次後取得個人化模型排名!

方法

傳統上,比較圖像模型質素比評估語言模型等其他 AI 模態更具挑戰,主要因為人們對圖像應有外觀的偏好本來就有差異。隨着圖像模型準確度愈來愈高,早期客觀指標逐漸被昂貴的人類偏好研究取代。我們的 Image Arena 以眾包方式大規模收集人類偏好資料,首次讓大家能比較主要模型。

我們透過回歸分析所有偏好,為每個模型計算 ELO 分數,方式類似 Chatbot Arena。參與者會看到一個提示和兩張圖像,並選出最符合提示的圖像。為確保評估涵蓋廣泛用途,我們為每個模型生成 >700 張圖像。提示涵蓋不同風格和類別,包括人像、人物羣組、動物、自然、藝術等。

結果初步觀察 👀

  • 專有模型領先,但開源模型正日益具競爭力:Midjourney、Stable Diffusion 3 和 DALL·E 3 HD 等專有模型在排行榜領先。不過,多款開源模型正追上,目前由 Playground AI v2.5 領先,甚至超越 OpenAI 的 DALL·E 3。
  • 領域正迅速發展:圖像生成模型格局快速演變。就在去年,DALL·E 2 還是明顯領先者。如今,DALL·E 2 在 Arena 中獲選的比例不到 25%,排名亦在最末段。
  • Stable Diffusion 3 Medium 開源或會對社羣帶來重大影響:Stable Diffusion 3 是目前排行榜的頂尖競爭者。Stability AI 的 CTO 最近在與 AMD 合辦的簡報中宣佈,Stable Diffusion 3 Medium 將於 June 12 開源。Stable Diffusion 3 Medium 的質素可能低於 Stability AI 現時提供的 Stable Diffusion 3 模型(推測為完整尺寸版本),但仍可能大力推動開源社羣發展。從 Stable Diffusion 1.5 和 SDXL 的經驗可見,社羣很可能會發布多個微調版本。

如何參與或聯絡我們

如欲查看排行榜,請前往 Hugging Face 上的 Space:https://huggingface.co/spaces/ArtificialAnalysis/Text-to-Image-Leaderboard

如欲參與排名並貢獻偏好,請選擇「Image Arena」分頁,再選出你認為最符合提示的圖像。看過 30 張圖像後,選擇「Personal Leaderboard」分頁,即可查看根據你選擇而整理的個人化圖像模型排名。

請在 Twitter 和 LinkedIn 關注我們,掌握最新消息。(我們亦會在網站比較 Text to Image 模型 API 端點的速度和定價:https://artificialanalysis.ai/text-to-image。)

歡迎提供意見!你可透過 Twitter 私訊聯絡我們,亦可透過**我們的網站**聯絡表格留言。

其他圖像模型質素計劃

Artificial Analysis Text to Image 排行榜並非唯一評估圖像質素或以眾包方式收集偏好的計劃。我們設計排行榜時,著重涵蓋專有和開放模型,完整呈現領先 Text to Image 模型的比較情況。

以下是其他值得參考的計劃:

來源:Hugging Face Blog · huggingface.co