最新精選
第 201–213 條 · 共 213 條2024年5月14日週二
星期二
- Hugging Face Blog精選AI 評分7171
Google 發佈 PaliGemma,一系列可接收圖像與文字並輸出文字的開源視覺語言模型。模型結合 SigLIP-So400m 圖像編碼器與 Gemma-2B 文字解碼器,提供 PT、Mix、FT 三類檢查點及 224x224、448x448、896x896 三種解像度。PaliGemma 是單輪模型,不適用於對話;Mix 檢查點適合以自由文字提示進行通用推理,但僅供研究用途。
推薦理由:文章整理 PT、Mix、FT 檢查點的用途,並指出高解像度會增加記憶體需求、多數任務的質素提升有限,有助按任務需要選擇模型。
- Sam Altman:Blog精選AI 評分8989
OpenAI 在 ChatGPT 免費提供 GPT-4o,並推出新的語音及影片模式。Sam Altman 形容新模式的回應速度和表達能力達到人類水平,令與電腦交談感覺自然。他亦提到,會加入可選的個人化、存取用户資訊及代用户採取行動等能力。
推薦理由:文章並列 GPT-4o 免費提供與新語音、影片模式,呈現 OpenAI 擴大高能力 AI 使用範圍和改善人機互動的兩個方向。
2024年5月13日週一
星期一
- OpenAI News精選AI 評分7777
OpenAI 宣佈 GPT-4 Omni(GPT-4o)為新的旗艦模型。該模型可即時跨音訊、視覺和文字進行推理。
推薦理由:公告把 GPT-4o 定位為新旗艦模型,並明確列出音訊、視覺和文字的即時推理能力,讓讀者掌握此次宣佈的多模態重點。
2024年4月15日週一
星期一
- Hugging Face Blog精選AI 評分7171
Hugging Face 發佈 Idefics2,這款 8B 參數多模態模型可接收文字與圖像序列並生成文字回應。模型權重採 Apache-2.0 授權,並已整合至 Transformers,支援圖像問答、OCR、圖表與文件理解。團隊亦公開 The Cauldron,收錄 50 個人工整理、供多輪對話使用的資料集。
推薦理由:Idefics2 同時公開 8B 權重、Apache-2.0 授權與多項視覺問答基準成績,便於對照小型多模態模型的效能表現和使用條件。
2024年2月15日週四
星期四
- OpenAI News精選AI 評分7777
OpenAI 訓練文字條件式擴散模型,最大模型 Sora 可生成一分鐘高保真影片。模型在不同時長、解析度和長寬比的影片與圖像上聯合訓練,並以 Transformer 架構處理影片和圖像的時空區塊及潛在編碼。研究結果認為,擴大影片生成模型規模是構建通用物理世界模擬器的一條有前景路徑。
推薦理由:文章交代影片與圖像的聯合訓練方式及時空區塊架構,並呈現 OpenAI 將影片生成規模化連結至物理世界模擬器的研究思路。
2023年11月6日週一
星期一
- OpenAI News精選AI 評分8585
OpenAI 在 DevDay 公佈 GPT-4 Turbo、GPT-4 Turbo with Vision、DALL·E 3 API、新的 Assistants API 等模型與開發者產品。GPT-4 Turbo 配備 128K 上下文窗口,價格較低。
推薦理由:GPT-4 Turbo 的 128K 上下文窗口與較低價格,連同 Vision 及多項 API,勾勒出 DevDay 公佈的模型與開發者產品範圍。
2023年9月25日週一
星期一
- OpenAI News精選AI 評分7777
ChatGPT 現可看、聽及説話。
2023年8月22日週二
星期二
- Hugging Face Blog精選AI 評分6969
Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
推薦理由:IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。
2023年3月14日週二
星期二
- OpenAI News精選AI 評分8787
OpenAI 發佈 GPT-4,這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現,但在許多真實場景中的能力仍不及人類。
推薦理由:材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式,以及基準表現和真實場景能力的差異,可幫助讀者把握其能力描述的範圍。
2023年3月11日週六
星期六
- Runway:News(網頁)精選AI 評分7979
Runway 的 Gen-2 是一套多模態 AI 系統,可透過文字、圖像或影片片段生成新影片。頁面展示 8 種模式,包括文字轉影片、文字加圖像轉影片、圖像轉影片、風格轉換、Storyboard、Mask、Render 及模型自訂。用戶研究中,Gen-2 相較 Stable Diffusion 1.5 的偏好比例為 73.53%,相較 Text2Live 為 88.24%。
推薦理由:頁面把 Gen-2 的多種輸入與影片生成模式逐一列出,並附上兩項用戶偏好比例,能讓讀者掌握其功能範圍及比較結果。
- Hugging Face Blog精選AI 評分6363
Kakao Brain 與 Hugging Face 公開 ViT、ALIGN 視覺語言模型,以及由 700 million 對圖文構成的開源 COYO 資料集。
推薦理由:ViT 與 ALIGN 連同 COYO 訓練資料一併開放,並提供與 Google 版本的任務比較,呈現資料可取得性對視覺語言研究復現的價值。
2022年11月21日週一
星期一
- Hugging Face Blog精選AI 評分6464
Hugging Face 介紹如何以開源模型建立 Document AI 方案,並按任務梳理文件分類、版面分析、文件解析、表格處理及文件問答。文中以 RVL-CDIP 為例,列出 BERT-base、DiT、LayoutLMv3 和 Donut 的文件分類準確率分別為 89%、92% 及 95%,並討論授權、數據準備、微調與評估等實作考量。
推薦理由:文章按文件類型與任務梳理 Document AI 模型選擇,並串連授權、數據準備和評估考量,提供從小規模微調起步的實作思路。
- OpenAI News精選AI 評分7474
OpenAI 推出神經網絡 CLIP,讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱,CLIP 即可套用於任何視覺分類基準,其零樣本能力類似 GPT-2 和 GPT-3。
推薦理由:CLIP 將自然語言監督與視覺分類連接,並以類別名稱作為套用基準的入口,呈現其零樣本使用方式。