跳到正文
2024年12月3日週二
  1. Runway:News(網頁)40

    創意即搜尋:以圖結構探索潛在空間

    Runway 展示一款以影片關鍵影格為核心的原型,透過圖結構探索生成模型的潛在空間。圖中的圖片節點代表探索路徑上的位置,連接節點的影片邊則呈現兩張圖片之間的轉換;用戶可建立分支、預覽非線性時間線,並匯出影片。

2024年10月23日週三
  1. Runway:News(網頁)67

    Runway 發佈 Act-One 角色表演生成工具

    Runway 發佈 Act-One,這款整合於 Gen-3 Alpha 的工具可用演員的影片和聲音表演生成角色動畫。它無需額外設備,並能保留視線方向、微表情、節奏和演繹方式,也可將表演轉移至比例不同的角色。Act-One 現已在 Gen-3 Alpha 提供;Runway 同時加入偵測並阻止生成公眾人物內容、核實 Custom Voices 聲音使用權等安全措施。

2024年9月26日週四
  1. Runway:News(網頁)60

    Runway 推出 Hundred Film Fund,資助 AI 輔助電影項目

    Runway 推出 Hundred Film Fund,為處於前期或後期製作、需要資金的 AI 輔助電影項目提供資助。基金現有 $5M,並有可能增至 $10M;資助額由 $5K 至 $1M+,另將發放 $2M 的 Runway credits。所有電影形式均可申請,包括長片、短片、紀錄片、實驗作品及音樂影片等,申請現已開放。

2024年9月18日週三
  1. Runway:News(網頁)63

    Runway 與 Lionsgate 合作以專有片庫定製 AI 模型

    Runway 與 Lionsgate 宣佈合作,將共同建立並訓練一款以 Lionsgate 專有片庫定製的 AI 模型,協助 Lionsgate Studios 及其創作團隊拓展工作流程。模型可生成電影感影片,並透過 Runway 的可控工具套件進一步迭代。Runway 亦正考慮以授權或其他方式,把這些模型作為模板提供予有意建立及訓練自有專有模型的個人創作者。

2024年9月16日週一
  1. Runway:News(網頁)45

    Runway 推出 Gen-3 Alpha Turbo API

    Runway 宣佈推出 Gen-3 Alpha Turbo API,讓開發者可將該模型整合至不同應用程式和產品。API 現正分階段開放予指定合作夥伴,包括 Omnicom,並預計在未來數週逐步開放予更多用戶。

2024年6月17日週一
2024年5月14日週二
  1. Gemini API:更新日誌66

    Gemini API 更新加入 2M 上下文窗口、按用量付費及 File API 支援

    Gemini API 更新為 Gemini 1.5 Pro 引入 2M 上下文窗口(候補名單),並為 Gemini 1.0 Pro 推出按用量付費。Gemini 1.5 Pro 和 Gemini 1.5 Flash 的計費將稍後推出;Gemini 1.5 Pro 即將推出的付費層級亦提高速率限制。File API 新增內置影片及純文字支援,並支援平行函數調用,一次返回多個調用。

2024年5月10日週五
  1. Runway:News(網頁)45

    Runway 與 Tribeca Festival 2024 合作呈現 AI 電影創作節目

    Tribeca Festival 與 Runway 合作呈現電影創作中 AI 工具的多種應用,並展映以 AI 製作的短片,探討科技如何改變敍事方式。節目涵蓋劇本創作、剪輯、視覺效果及聲音設計,並安排電影人參與延長問答環節。起用節目於 6 月 8 日中午 12:30 在 SVA 2 舉行,憑門票免費入場。

2024年4月12日週五
  1. Lilian Weng:Lil'Log59

    擴散模型如何生成影片:方法與架構梳理

    Lilian Weng 梳理了擴散模型生成影片的主要方法,涵蓋從頭訓練、改造預訓練圖像模型,以及免訓練適配。文章以跨影格時間一致性為核心問題,介紹 3D U-Net、DiT、Lumiere 的時空架構,以及透過跨影格注意力維持一致性的做法。Imagen Video 由 7 個擴散模型組成,文中提到實驗將每個模型蒸餾至 8 個取樣步驟,感知品質沒有明顯損失。

2024年4月4日週四
2024年3月25日週一
2024年3月21日週四
  1. Runway:News(網頁)38

    Runway 與 Musixmatch 合作提升全球音樂體驗

    Runway 與 Musixmatch 合作,讓 Musixmatch 超過 1M 名藝術家組成的社羣可使用 Gen-2 及其他 Runway 模型,製作配合歌詞的影片。合作令歌詞音樂影片的生成更快捷、更具獨特性及更易使用,豐富藝術家和全球聽眾的音樂體驗。

2024年3月11日週一
2023年12月4日週一
  1. Runway:News(網頁)45

    Runway 與 Getty Images 合作開發企業級 AI 工具

    Runway 與 Getty Images 合作開發企業級 AI 工具,結合 Runway 技術與 Getty Images 的全授權創意內容庫,推出 Runway - Getty Images Model(RGM)。企業可用自有專有數據集微調 RGM,建立影片生成自訂模型。RGM 預計於未來數月開放商業使用。

2023年11月24日週五
2023年10月4日週三
2023年9月28日週四
  1. Runway:News(網頁)53

    Runway Gen-2 的發展路徑:規模、速度與階段推進

    Runway 梳理 Gen-2 的發展路徑,從以輸入影片控制輸出結構的 Gen-1,推進至直接以文字引導影片生成的 Gen-2。Runway 最近更新模型,支援以任意起始影格生成影片;公司把生成兩小時電影作為長期目標,構想是以生成模型逐場迭代完成,而非靠單一提示詞生成整部電影。

2023年5月8日週一
  1. Hugging Face Blog68

    文字生成影片模型深入解析:技術演進、主要挑戰與 Hugging Face 工具

    Hugging Face Blog 梳理文字生成影片模型的發展,對比 GAN、Transformer 與擴散模型路線,並概述生成能力限制。空間與時間一致性、配對資料稀缺及影片描述困難,令模型訓練成本高,長影片生成亦受上下文限制。Hugging Face Diffusers 可下載、執行及微調 Text2Video-Zero 和 ModelScope,Hub 亦提供多個示範及本地運行指引。

    推薦理由:文章梳理文字生成影片模型從 GAN、Transformer 到擴散模型的演進,並交代資料與長影片生成的核心限制。

2023年3月22日週三
  1. Runway:News(網頁)55

    Runway 宣佈與 AWS 建立多年期合作以擴充內部研究基礎設施

    Runway 宣佈與 AWS 建立多年期策略研究合作,並以 AWS 作為首選雲端供應商,以擴充高效能運算叢集。Runway 表示,合作後已把所有模型開發與訓練納入內部,以加快訓練及新模型和產品的部署。Gen-2 在 AWS 上與 NVIDIA 合作訓練,是可透過文字、圖像或影片片段生成新影片的多模態 AI 系統。

2023年3月11日週六
  1. Runway:News(網頁)79

    Runway Gen-2:以文字、圖像或影片片段生成新影片

    Runway 的 Gen-2 是一套多模態 AI 系統,可透過文字、圖像或影片片段生成新影片。頁面展示 8 種模式,包括文字轉影片、文字加圖像轉影片、圖像轉影片、風格轉換、Storyboard、Mask、Render 及模型自訂。用戶研究中,Gen-2 相較 Stable Diffusion 1.5 的偏好比例為 73.53%,相較 Text2Live 為 88.24%。

    推薦理由:頁面把 Gen-2 的多種輸入與影片生成模式逐一列出,並附上兩項用戶偏好比例,能讓讀者掌握其功能範圍及比較結果。

2022年12月11日週日
  1. Runway:News(網頁)70

    Runway 介紹 Gen-1 影片生成技術

    Runway 介紹 Gen-1,這項技術將圖像或文字提示詞的構圖與風格套用到來源影片的結構,生成新影片。Gen-1 提供風格轉換、分鏡、遮罩、渲染及模型自訂五種模式。用戶研究中,Gen-1 相對 Stable Diffusion 1.5 和 Text2Live 的偏好率分別為 73.53% 和 88.24%。

2022年5月26日週四
  1. Runway:News(網頁)36

    邁向統一的關鍵影格傳播模型

    研究提出一種雙流方法,讓高頻特徵進行局部互動、低頻特徵進行全局互動,以改善關鍵影格向目標影格傳播細節的能力。應用於影片修補時,FID 和 LPIPS 評分分別提升 44% 和 26%。

2020年12月11日週五