跳到正文

多模態

文本之外的能力:視覺理解、圖文混合、音訊與影片的輸入輸出的模型與產品進展。

213條精選相關主題圖像生成AI 影片語音與音頻

最新精選

第 201–213 條 · 共 213 條
2024年5月14日週二
  1. Hugging Face Blog71

    PaliGemma:Google 的前沿開源視覺語言模型

    Google 發佈 PaliGemma,一系列可接收圖像與文字並輸出文字的開源視覺語言模型。模型結合 SigLIP-So400m 圖像編碼器與 Gemma-2B 文字解碼器,提供 PT、Mix、FT 三類檢查點及 224x224、448x448、896x896 三種解像度。PaliGemma 是單輪模型,不適用於對話;Mix 檢查點適合以自由文字提示進行通用推理,但僅供研究用途。

    推薦理由:文章整理 PT、Mix、FT 檢查點的用途,並指出高解像度會增加記憶體需求、多數任務的質素提升有限,有助按任務需要選擇模型。

  2. Sam Altman:Blog89

    GPT-4o 在 ChatGPT 免費提供,並推出新語音及影片模式

    OpenAI 在 ChatGPT 免費提供 GPT-4o,並推出新的語音及影片模式。Sam Altman 形容新模式的回應速度和表達能力達到人類水平,令與電腦交談感覺自然。他亦提到,會加入可選的個人化、存取用户資訊及代用户採取行動等能力。

    推薦理由:文章並列 GPT-4o 免費提供與新語音、影片模式,呈現 OpenAI 擴大高能力 AI 使用範圍和改善人機互動的兩個方向。

2024年5月13日週一
2024年4月15日週一
  1. Hugging Face Blog71

    Hugging Face 發佈 8B 多模態模型 Idefics2,採 Apache-2.0 授權

    Hugging Face 發佈 Idefics2,這款 8B 參數多模態模型可接收文字與圖像序列並生成文字回應。模型權重採 Apache-2.0 授權,並已整合至 Transformers,支援圖像問答、OCR、圖表與文件理解。團隊亦公開 The Cauldron,收錄 50 個人工整理、供多輪對話使用的資料集。

    推薦理由:Idefics2 同時公開 8B 權重、Apache-2.0 授權與多項視覺問答基準成績,便於對照小型多模態模型的效能表現和使用條件。

2024年2月15日週四
  1. OpenAI News77

    OpenAI 探討影片生成模型作為世界模擬器,並介紹 Sora

    OpenAI 訓練文字條件式擴散模型,最大模型 Sora 可生成一分鐘高保真影片。模型在不同時長、解析度和長寬比的影片與圖像上聯合訓練,並以 Transformer 架構處理影片和圖像的時空區塊及潛在編碼。研究結果認為,擴大影片生成模型規模是構建通用物理世界模擬器的一條有前景路徑。

    推薦理由:文章交代影片與圖像的聯合訓練方式及時空區塊架構,並呈現 OpenAI 將影片生成規模化連結至物理世界模擬器的研究思路。

2023年11月6日週一
2023年9月25日週一
2023年8月22日週二
  1. Hugging Face Blog69

    Hugging Face 發佈 IDEFICS,開放復現 Flamingo 視覺語言模型

    Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。

    推薦理由:IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。

2023年3月14日週二
  1. OpenAI News87

    OpenAI 發佈 GPT-4 多模態模型

    OpenAI 發佈 GPT-4,這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現,但在許多真實場景中的能力仍不及人類。

    推薦理由:材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式,以及基準表現和真實場景能力的差異,可幫助讀者把握其能力描述的範圍。

2023年3月11日週六
  1. Runway:News(網頁)79

    Runway Gen-2:以文字、圖像或影片片段生成新影片

    Runway 的 Gen-2 是一套多模態 AI 系統,可透過文字、圖像或影片片段生成新影片。頁面展示 8 種模式,包括文字轉影片、文字加圖像轉影片、圖像轉影片、風格轉換、Storyboard、Mask、Render 及模型自訂。用戶研究中,Gen-2 相較 Stable Diffusion 1.5 的偏好比例為 73.53%,相較 Text2Live 為 88.24%。

    推薦理由:頁面把 Gen-2 的多種輸入與影片生成模式逐一列出,並附上兩項用戶偏好比例,能讓讀者掌握其功能範圍及比較結果。

2023年3月6日週一
2022年11月21日週一
  1. Hugging Face Blog64

    Hugging Face 分享以開源模型加速 Document AI 的方法

    Hugging Face 介紹如何以開源模型建立 Document AI 方案,並按任務梳理文件分類、版面分析、文件解析、表格處理及文件問答。文中以 RVL-CDIP 為例,列出 BERT-base、DiT、LayoutLMv3 和 Donut 的文件分類準確率分別為 89%、92% 及 95%,並討論授權、數據準備、微調與評估等實作考量。

    推薦理由:文章按文件類型與任務梳理 Document AI 模型選擇,並串連授權、數據準備和評估考量,提供從小規模微調起步的實作思路。

2021年1月5日週二
  1. OpenAI News74

    OpenAI 推出 CLIP,以自然語言監督學習視覺概念

    OpenAI 推出神經網絡 CLIP,讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱,CLIP 即可套用於任何視覺分類基準,其零樣本能力類似 GPT-2 和 GPT-3。

    推薦理由:CLIP 將自然語言監督與視覺分類連接,並以類別名稱作為套用基準的入口,呈現其零樣本使用方式。