跳到正文

模型發佈

新模型的發佈、開源與迭代:大模型廠商的旗艦更新、開源權重放出、性能與價格變化的第一時間記錄。

500條精選相關主題產品更新論文研究開源生態

最新精選

第 481–500 條 · 共 500 條
2023年6月22日週四
  1. LMSYS Blog76

    LMSYS 更新 Chatbot Arena 第 8 週排行榜,加入 MT-Bench 並推出 Vicuna-v1.3 系列(7B 至 33B)

    LMSYS 更新 Chatbot Arena 第 8 週排行榜,加入 MT-Bench,並推出參數量由 7B 至 33B 的 Vicuna-v1.3 模型系列,模型權重已開放。

    推薦理由:文章將羣眾投票、MT-Bench 多輪評測與 MMLU 並列,並説明 GPT-4 評審與人類偏好的一致程度及限制,呈現排行榜指標的互補性。

2023年4月5日週三
  1. Hugging Face Blog78

    StackLLaMA:以 RLHF 訓練 LLaMA 的實作指南

    Hugging Face 發佈 StackLLaMA,這是一個以 LLaMA 7B 為基礎、經 RLHF 微調、用於回答 Stack Exchange 問題的模型;完整訓練流程納入 Hugging Face TRL library。文章逐步示範監督式微調、獎勵模型訓練及 PPO 強化學習,並介紹 Stack Exchange 數據的偏好評分與 LoRA 等記憶體效率方法。

    推薦理由:文章串聯 SFT、偏好獎勵模型與 PPO 三階段,並示範以 8-bit 載入和 LoRA 降低 RLHF 微調的記憶體需求,呈現可復用的訓練流程。

2023年3月30日週四
  1. LMSYS Blog82

    Vicuna-13B 開源聊天機械人推出,GPT-4 初步評測稱其質素達 ChatGPT 的 90%*

    LMSYS 團隊推出開源聊天機械人 Vicuna-13B,將 LLaMA 以約 70K 段 ShareGPT 用戶分享對話微調而成。GPT-4 評估 80 條問題後,Vicuna 得分為 ChatGPT 的 92%,並在 45% 問題中獲評回答較佳或相同;團隊指出這套評估尚非嚴謹方法。

    推薦理由:文章展示以 GPT-4 評估聊天機械人回答的流程,並指出該初步框架在編碼及數學任務評判上的不足,且尚非成熟嚴謹的評測方法。

2023年3月14日週二
  1. OpenAI News87

    OpenAI 發佈 GPT-4 多模態模型

    OpenAI 發佈 GPT-4,這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現,但在許多真實場景中的能力仍不及人類。

    推薦理由:材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式,以及基準表現和真實場景能力的差異,可幫助讀者把握其能力描述的範圍。

2023年3月11日週六
  1. Runway:News(網頁)79

    Runway Gen-2:以文字、圖像或影片片段生成新影片

    Runway 的 Gen-2 是一套多模態 AI 系統,可透過文字、圖像或影片片段生成新影片。頁面展示 8 種模式,包括文字轉影片、文字加圖像轉影片、圖像轉影片、風格轉換、Storyboard、Mask、Render 及模型自訂。用戶研究中,Gen-2 相較 Stable Diffusion 1.5 的偏好比例為 73.53%,相較 Text2Live 為 88.24%。

    推薦理由:頁面把 Gen-2 的多種輸入與影片生成模式逐一列出,並附上兩項用戶偏好比例,能讓讀者掌握其功能範圍及比較結果。

2023年3月6日週一
2022年11月30日週三
  1. OpenAI News93

    OpenAI 介紹對話模型 ChatGPT

    OpenAI 介紹了名為 ChatGPT 的對話模型,該模型以對話方式與用户互動。對話格式使 ChatGPT 能回答追問、承認錯誤、質疑不正確前提,並拒絕不當請求。

    推薦理由:原文把追問、承認錯誤、質疑錯誤前提及拒絕不當請求列為對話格式支持的行為,具體呈現 ChatGPT 的互動設計。

2022年10月5日週三
  1. Hugging Face Blog61

    rinna 發佈日語文本生成圖像模型 Japanese Stable Diffusion

    rinna Co., Ltd. 發佈 Japanese Stable Diffusion,這款文本生成圖像模型以日語標註圖片微調 Stable Diffusion,支援日語提示詞並生成反映日語文化圈的圖像。

    推薦理由:文章拆解 Japanese Stable Diffusion 的兩階段微調流程,説明專用日語文本編碼器與聯合調整潛在擴散模型的作用,訓練數據約為 Stable Diffusion 訓練集的 1/20。

2022年9月21日週三
  1. OpenAI News66

    OpenAI 開源語音識別神經網絡 Whisper

    OpenAI 宣佈將其訓練的神經網絡 Whisper 開源。Whisper 在英語語音識別上的穩健性與準確度接近人類水平。

    推薦理由:Whisper 的開源安排與英語語音識別表現並列,且以接近人類水平作比較,讓讀者可同時掌握模型發佈範圍與性能定位。

2022年7月12日週二
  1. Hugging Face Blog82

    BLOOM:全球最大型開放多語言大語言模型正式發佈

    BLOOM 已正式發佈,這款具 176 billion parameters 的開放多語言大語言模型可生成 46 種自然語言及 13 種程式語言文本。最後一輪訓練歷時 117 days,並公開訓練中間 checkpoint 與 optimizer states,供研究者下載、運行及研究。

    推薦理由:BLOOM 除模型外亦公開訓練中間 checkpoint 與 optimizer states,並提供下載及本地或雲端使用途徑,讓研究者能檢視模型行為與訓練過程。

2022年3月15日週二
2022年1月27日週四
  1. OpenAI News78

    OpenAI 透過對齊研究訓練 InstructGPT,使語言模型遵循指令

    OpenAI 表示,透過對齊研究訓練的 InstructGPT 比 GPT-3 更能遵循用户意圖,同時回答更真實、毒性更低。這些由人類參與訓練的模型已部署為 OpenAI API 的預設語言模型。

    推薦理由:材料交代了 InstructGPT 相較 GPT-3 的改進方向、人類參與訓練方式及 API 預設部署,呈現對齊研究如何落到實際服務。

2021年8月10日週二
2021年1月5日週二
  1. OpenAI News74

    OpenAI 推出 CLIP,以自然語言監督學習視覺概念

    OpenAI 推出神經網絡 CLIP,讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱,CLIP 即可套用於任何視覺分類基準,其零樣本能力類似 GPT-2 和 GPT-3。

    推薦理由:CLIP 將自然語言監督與視覺分類連接,並以類別名稱作為套用基準的入口,呈現其零樣本使用方式。

  2. OpenAI News71

    DALL·E:根據文字生成圖像

    OpenAI 訓練了名為 DALL·E 的神經網絡,可根據文字描述生成圖像,涵蓋自然語言能表達的多種概念。

    推薦理由:材料指出 DALL·E 可按文字描述生成涵蓋多種自然語言概念的圖像,清楚交代了其輸入形式與生成範圍。

2020年4月30日週四
  1. OpenAI News71

    OpenAI 發佈 Jukebox 音樂生成模型,並公開模型權重與程式碼

    OpenAI 發佈 Jukebox,這是一個能以原始音訊形式生成多種曲風及藝人風格音樂的神經網絡模型,也能生成初階演唱。OpenAI 同時公開模型權重、程式碼,以及用於探索生成樣本的工具。

    推薦理由:權重與程式碼連同樣本探索工具一併公開,讓讀者可直接接觸模型資源,並瞭解其生成涵蓋多種曲風、藝人風格及初階演唱。

2019年11月5日週二
  1. OpenAI News78

    OpenAI 發佈 GPT-2 1.5B 參數版本及程式碼、模型權重

    OpenAI 發佈 GPT-2 分階段發布的最後一版,亦是參數量 1.5B 的最大版本,並提供可協助檢測 GPT-2 模型輸出的程式碼與模型權重。雖然自 8 月起已有更大型語言模型發布,OpenAI 仍按原計劃完成分階段發布,希望將完整流程作為未來強大模型開發者的測試案例。OpenAI 亦表示持續與 AI 社羣討論負責任發布。

    推薦理由:這次發布把 GPT-2 的分階段公開流程作為後續強大模型發布的測試案例,也説明提供程式碼與權重的用途是協助檢測模型輸出。

2019年8月20日週二
  1. OpenAI News68

    GPT-2 六個月後續:OpenAI 發佈 774 million 參數語言模型

    OpenAI 發佈 774 million 參數的 GPT-2 語言模型,接續 2 月推出的 124M 小型版及 5 月分階段發佈的 355M 中型版。OpenAI 與合作夥伴及 AI 社羣研究模型可能遭濫用及帶來社會效益。OpenAI 亦發佈開源法律協議,方便組織之間建立模型共享合作,並公佈一份關於與更廣泛 AI 研究社羣協調發表規範經驗的技術報告。

    推薦理由:從 124M、355M 到 774 million 參數模型的分階段發佈,連同模型共享協議和發表規範協調經驗,呈現 GPT-2 後續開放與社羣協作的脈絡。

2019年4月25日週四
  1. OpenAI News63

    OpenAI 創建 MuseNet 音樂生成模型

    OpenAI 創建 MuseNet,這個深度神經網絡可生成長達 4 分鐘、使用 10 種樂器的樂曲,並融合從鄉村音樂到 Mozart、The Beatles 的風格。

    推薦理由:MuseNet 以數十萬個 MIDI 檔案的下一個 token 預測學習和聲、節奏與風格模式,並沿用 GPT-2 的通用無監督技術,呈現其音樂生成方法。

2019年2月14日週四
  1. OpenAI News70

    OpenAI 訓練更強大的語言模型並探討其影響

    OpenAI 訓練出一個大型無監督語言模型,可生成連貫段落,並在多項語言建模基準上取得最先進表現。該模型無需針對特定任務訓練,亦能進行初步閲讀理解、機器翻譯、問答和摘要。

    推薦理由:它把語言建模基準表現與閲讀理解、翻譯、問答和摘要能力集中在同一個無需針對特定任務訓練的模型中,呈現大型無監督語言模型的能力範圍。