ChatGPT 現可看、聽及説話
ChatGPT 現可看、聽及説話。
多模態
全部主題文本之外的能力：視覺理解、圖文混合、音訊與影片的輸入輸出的模型與產品進展。
最新精選
第 101–106 條 · 共 106 條OpenAI News精選AI 評分7777
Hugging Face Blog精選AI 評分6969 Hugging Face 發佈 IDEFICS，開放復現 Flamingo 視覺語言模型
Hugging Face 發佈 IDEFICS，作為 Flamingo 的開放取用復現模型，可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本，訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
推薦理由：IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權，呈現開放多模態模型的建構和使用邊界。
OpenAI News精選AI 評分8787 OpenAI 發佈 GPT-4 多模態模型
OpenAI 發佈 GPT-4，這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現，但在許多真實場景中的能力仍不及人類。
推薦理由：材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式，以及基準表現和真實場景能力的差異，可幫助讀者把握其能力描述的範圍。
Hugging Face Blog精選AI 評分6363 Kakao Brain 發佈 ViT、ALIGN 模型及包含 700 million 對圖文的 COYO 資料集
Kakao Brain 與 Hugging Face 公開 ViT、ALIGN 視覺語言模型，以及由 700 million 對圖文構成的開源 COYO 資料集。
推薦理由：ViT 與 ALIGN 連同 COYO 訓練資料一併開放，並提供與 Google 版本的任務比較，呈現資料可取得性對視覺語言研究復現的價值。
Hugging Face Blog精選AI 評分6464 Hugging Face 分享以開源模型加速 Document AI 的方法
Hugging Face 介紹如何以開源模型建立 Document AI 方案，並按任務梳理文件分類、版面分析、文件解析、表格處理及文件問答。文中以 RVL-CDIP 為例，列出 BERT-base、DiT、LayoutLMv3 和 Donut 的文件分類準確率分別為 89%、92% 及 95%，並討論授權、數據準備、微調與評估等實作考量。
推薦理由：文章按文件類型與任務梳理 Document AI 模型選擇，並串連授權、數據準備和評估考量，提供從小規模微調起步的實作思路。
OpenAI News精選AI 評分7474 OpenAI 推出 CLIP，以自然語言監督學習視覺概念
OpenAI 推出神經網絡 CLIP，讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱，CLIP 即可套用於任何視覺分類基準，其零樣本能力類似 GPT-2 和 GPT-3。
推薦理由：CLIP 將自然語言監督與視覺分類連接，並以類別名稱作為套用基準的入口，呈現其零樣本使用方式。