RefVid 教學:如何製作角色跨集一致的 AI 劇集
RefVid 團隊分享一套製作角色跨集一致的 AI 劇集方法,核心是為角色保存多張參考圖,並在每個場景沿用。文中建議每名角色使用 3 至 5 張不同角度的參考圖,並把一集拆成 4 至 8 個、每段 10 至 15 秒的場景;咖啡場景示範以 Kling 3.0 Omni 生成。團隊也以四集動畫系列展示同一組角色設定的延續,並提醒發布前按平台要求標示 AI、取得真人參與者同意。
RefVid 團隊分享一套製作角色跨集一致的 AI 劇集方法,核心是為角色保存多張參考圖,並在每個場景沿用。文中建議每名角色使用 3 至 5 張不同角度的參考圖,並把一集拆成 4 至 8 個、每段 10 至 15 秒的場景;咖啡場景示範以 Kling 3.0 Omni 生成。團隊也以四集動畫系列展示同一組角色設定的延續,並提醒發布前按平台要求標示 AI、取得真人參與者同意。
Genjutsu AI 是作者推出的網頁工具,可用每人一張照片替換影片中的指定人物,無需提示詞。工具會自動分割場景並列出畫麪人物,保留原片的鏡頭順序、時間安排、剪接節奏、背景、道具和音訊,輸出為 720p。單一場景不得超過 15 秒,每 15 秒需 10 credits;Starter 首段 15 秒影片收費 $6.90,其後為 $9.99(10 credits),失敗會退還 credits。
文章提出一套用於參考影片重塑的瀏覽器端評估流程,以固定輸入集和簡短檢核表,評估生成影片是否保留動作並維持替換主體一致。檢核分為時間保真度、主體身份、物理接觸和發布適用性四項,並建議先看完整片段,再逐格檢查出問題的時間點。每次只改一項輸入並記錄可觀察問題,驗收前亦須確認來源影片、音樂及可識別人物的使用權限。
作者分享一套照片轉影片的兩步工作流:先用圖像編輯模型把上傳照片改成目標場景的首幀,再交由影片模型生成動態。文中所述流程使用 OpenAI 的 gpt-image(每張約 $0.05)及經 fal 調用的 MiniMax H3(生成 10 秒、9:16 影片,每段約 $0.25),成功生成的直接模型成本約 $0.30。
文章介紹如何用瀏覽器的 requestVideoFrameCallback 量度影片卡頓,分開記錄首幀時間、幀數及最長幀間隔,而非只看平均 FPS。兩組合成時間戳在 10 秒內都有 300 幀,但其中一組出現 1,030 毫秒間隔;作者建議分別比較原始鏡頭預覽、轉換後輸出和錄影結果,並配合本地錄影及可用的輸入影片統計定位問題。
AI漫劇回本愈來愈難,平台分賬下滑、算力成本上升,行業正處於產能出清前夜。一名創作者投入約1715元製作12集、總長約20分鐘的作品,收入僅19.64元;DataEye按5000萬播放量作測算基線,上半年22.19萬部AI新劇中只有1.3%達到盈虧平衡線。部分個人創作者透過降低生成解像度控制算力開支,部分機構則拓展角色 IP、版權和衍生業務,尋找平台分賬以外的收入來源。
文章以 Python 分析 Bama Bound 參考影片,逐幀追蹤紅色橫幅位置、畫面動態與剪接,並按半秒統計音量,整理成時間線。參考影片長 8.096 s,規格為 720x1280、24 fps,分析工具亦在兩個修改版本上接受測試。一般 ffmpeg 編輯會移除影片的 AIGC 中繼資料標籤;加入 -movflags +use_metadata_tags 才能保留。
作者用約 100 行 NumPy + ffmpeg 腳本區分影片閃爍與動態,並測試 Tiny Desk Outstanding 首頁的 8 段公開樣本。腳本先以合成片段自測、排除硬切鏡頭,再以全畫面及 4×6 區塊的亮度 RMS 和 lag-1 自相關判讀變化。8 段樣本均未見逐幀交替頻閃;全畫面 RMS 為 0.42 至 1.01 個 8-bit 灰階值,作者將較大的逐幀變化主要歸因於動態。
《NOVA新星》讓 AI 短劇、AI 偶像與原創 AI 歌曲一同走紅,觀眾的消費由看劇延伸至追星和聽歌。文章指出,AI 工具大幅壓縮原本由影視團隊、音樂人和歌手分工完成的製作流程,提升效率,但歌曲的拼接感也削弱了重複收聽的韻味。汽水音樂承接劇集以外的歌曲和專輯,讓這條消費鏈延伸至劇情之外。
美團 LongCat 發佈開源音訊驅動人物影片生成框架 LongCat-Video-Avatar 1.6,改善唇音同步、動作協調與長影片視覺一致性,並優化推理效率。材料稱其可生成超過 10 分鐘的影片;在人類偏好比較中,該版本在六個系統中排名第二,Bradley–Terry Elo 評分為 1068.1,研究收集了 33,051 份有效投票。
一段 Python 腳本比對旁白與字幕的開始時間,標示時間軸編輯後偏移的字幕。示例中,result 字幕早了 0.45s,容差設為 0.05s;腳本需以 Python 3.10 或更新版本執行。更新時間後,還要播放匯出的影片,確認畫面動作清晰可見,原有音訊連貫。
這篇 FFmpeg 教程指出,`-c copy` 只能在關鍵影格切割,因此 `-segment_time 2` 不代表每段恰好 2 秒。作者以 243 幀、10.125 秒的測試片示範使用 segment muxer 按場景無損分割;若要等分,則需重編碼並在邊界強制加入關鍵影格。
文章分析紅果短劇何以吸引不同年齡與職業的觀眾,指出其以善惡有報、普通人翻身等簡單敍事承接現實焦慮與情緒需求。文中批評不少 AI 短劇套用重複劇本和台詞,也提到投入更多成本與時間的作品能呈現不同創作面貌。文章最後指出,紅果短劇與真人綜藝吸引的是普通人有限的注意力。
AI-KSK 分享 SCAIL 2 長篇參考編輯的四套工作流,涵蓋單人、雙人、單一生物及雙生物的長影片處理。工作流在每段邊界重新錨定參考,處理影片變長後參考漂移、身份弱化及身體比例偏移的問題。雙主體版本保留兩條獨立條件流,直到 sampler 才合併;作者亦提供工作流 JSON 和教學影片連結。
Nodejs Express 可透過五項設計選擇,建立取消執行中影片生成工作的可控流程。文章建議在確認接受工作前,先儲存請求 ID 與生成工作 ID 的關聯,再以經驗證的取消操作處理工作,並記錄操作者及結果;外部取消呼叫可交由 Go 控制平面工作程序執行。
AI-KSK 分享一套以 LTX 2.3 為基礎的 MSR 多圖參考影片生成工作流,並加入三階段渲染流程。MSR 讓不同主體保持分開,而非混合成平均臉;渲染依次分為結構、細化和紋理階段,每階段使用更少的去噪預算。
作者以 9,000 段 Shorts 測試過濾器,現行模型攔截率為 99.98%;舊版模型則放過 8,667 段,漏攔率為 96.3%。過濾器先抽取每段影片的 8 個畫面並去重,再進行文字稿與視覺嵌入處理;若省略去重,成本約為現行方式的 12 倍,攔截率相同。
PanDWM將六個攝影機視角拼接成360°全景帶,並以蒸餾因果學生模型和前饋式3D Gaussian解碼器生成一致的4D駕駛場景。於nuScenes的單一拼接視角評測中,其FID和FVD均低於多攝影機基線,速度為基線的8-46倍。相比50步教師模型,PanDWM維持FID,並將FVD降低22-25%。
AURA 2.0 是串流影片大語言模型,能在沒有用戶提問時主動開啟對話、調用工具,並進行互動式視覺定位。模型加入 Model-Initiated Conversation(MIC)、Stream-Aware Tool Calling(SATC)、Interactive Visual Grounding(IVG)及長期互動記憶,並採用三階段訓練方案。
Zaqero AI 建立並測試一套無需綠幕的產品標籤追蹤及印字替換流程,以單一參考影格追蹤標籤,避免逐格追蹤累積誤差。流程在一段蠟燭罐測試影片中錄得 0.04-0.05 px RMS 抖動;標籤處理尚未投入生產,產品照片不經重繪及改用 24 fps 渲染則已上線。
作者在 TikTok、YouTube Shorts 和 Instagram 測試程式生成的短數據影片,發現 Instagram 影片達 25 秒或以上,觀看次數均不超過 129。TikTok 五條短片有 44% 至 62% 的觀眾在第 3 秒前離開;由第 0 秒開始有鏡頭移動的 3D 影片,首秒留存率為 75% 至 88%。作者提醒,測試規模小,而且短片的製作亦較佳,結果並非受控實驗。
1080p 影片升頻至 4K 後,檔案可由 200 MB 增至 1.6 GB,但檔案變大不代表資訊增加八倍,判斷畫質更應看 bitrate。參考數值為 1080p30 需 8–12 Mbps、4K30 需 35–45 Mbps;H.265 在畫質相同時可節省 30–40% bitrate。
華語科幻AI影像聯盟在成都成立,首批啟動何夕《天年》等四部科幻作品的影視開發。聯盟由海南壹天視界、青春你好傳媒和完美世界影視共同發起,旨在整合科幻IP、影視創作、AI技術及產業資本等資源,推動科幻文學作品轉化為影視內容。
1080p 影片升頻至 4K 後,檔案可能大八倍,但通常不會因此增加八倍資訊;檔案大小並非畫質指標,位元率才是關鍵。1080p30 建議使用 8–12 Mbps,4K30 則需 35–45 Mbps。測試中,720p 影片升頻至 4K、38 Mbps 後,畫面與 1080p、12 Mbps 幾乎無異,檔案卻大三倍。
影片翻譯應以同一份轉錄稿產生字幕、配音音訊和加字幕影片,避免不同流程造成內容不一致。文章建議只執行一次 ASR 和翻譯,再輸出 SRT、MP3 配音及 MP4 加字幕影片。LinguaReel 支援 12+ 種語言,免費試用涵蓋 60 秒及 100 MB,無需帳戶。
Kino AI 是一款程式碼優先的影片編輯器,讓 Claude Code 或 Codex 透過 MCP 讀取和修改時間軸。它整合素材儲存、影片編輯與審閲連結,並支援即時協作;素材亦可轉錄、生成嵌入向量及描述,並進行人臉偵測。
Claude Meetings 進入 beta,讓 Claude 以可見參與者身分加入視像會議、跟進對話並開始處理工作。目前支援 Google Meet,並正向 Team 和 Enterprise 方案逐步推出;Claude 會整理會議筆記和行動事項,也可在會議中與團隊即時建立文件、白板等內容。
中專生影視後期出身的創作者 foyege 製作馬爾福 AI 二創系列短片,海外全網播放量已突破 3000 萬。作品將德拉科·馬爾福改寫為女性角色「馬爾芙」,描寫她與哈利在對立中逐漸生出情愫。foyege 自行撰寫劇本和分鏡,提示詞具體設定景別、焦點及人物位置,並在 LibTV 中反覆生成、篩選和微調畫面。
五名子女分享勸父母少看 AI 短劇的經歷,刪除小程式、限制付款和陪伴散步等做法大多未能奏效。文中引述數據稱,2026年第一季全國集中上線12.8萬部微短劇,其中95%產自 AI;截至2026年2月,短劇 App 的50歲以上用戶月活規模已突破4600萬。受訪者提到的困擾包括熬夜、眼睛不適、短劇扣費及照看孩子時分心,也有人嘗試增加陪伴或安排其他活動。
作者以 NumPy 和 ffmpeg 分析 Tiny Desk Outstanding 網站的 8 個公開樣本,發現三段完整重製片保留參考片的三個鏡頭及排列次序,剪接點延後 0.08 至 0.50 秒。
作者以 PSNR、SSIM 等指標比較不同升頻編碼流程,發現無損轉碼不會改變解碼畫面,而相同 bits-per-pixel 下升頻後再編碼的 PSNR 高 0.6–1.4 dB。無損中間檔適用於保留色度餘量或多次編輯,不能清除壓縮瑕疵;鋭化應放在最後一次有損編碼之後。
分析 Tiny Desk Outstanding 的 8 段公開樣本後,作者發現 3 段完整重製保留原片三個鏡頭的次序,切點則延後 0.08 至 0.50 秒。三段重製片均於 14.75 至 15.0 秒切回桌邊畫面,片長為 17.4 至 17.7 秒。作者建議剪輯時使用重製片自身的切點;這項 12 fps 分析不能辨別縮放或旋轉。
第36章梳理剪映草稿生成流水線,由 Request/Result、Pipeline、Recipe/Steps 和 Session 四個角色協作,將 clips 組裝成剪映草稿。流程包括準備素材、依序執行建立草稿、上傳切片及鋪設字幕三個步驟,再驗證並返回 draft_url;切片 tar 打包或上傳失敗不會阻斷草稿結果。
五位子女表示,父母沉迷 AI 短劇後,刪除小程序、關閉免密支付、限制使用和陪伴勸説等做法往往難以奏效,持續觀看亦影響睡眠、身體狀況和家庭相處,個別案例還影響照顧幼兒。
Pika-H3-Flex 是面向 AI 漫劇本地推理的影片生成模型,支援多人角色同步遷移及循環影片續寫,並可在 8G 顯存的 NVIDIA 顯卡上離線運行。模型支援 GGUF 量化、顯存分層調度和原生 API 呼叫,亦可接入 ComfyUI、LocModel 的素材輸出目錄。文章提供安裝配置、批量生成、影片拼接及故障排查指南。
Cicadas.ai 作者分享從公開短片取得可編輯字幕檔的方法,建議將語音轉成帶時間碼的 SRT 或 VTT,再匯入編輯器或 YouTube Studio。以連結處理時,影片須可在未登入的情況下公開瀏覽;私人帳戶、Close Friends 及已過期 Stories 不適用。語音轉寫不會可靠還原畫面文字,匯入前應校對專有名詞、數字、時間、開頭片段、重疊對話及背景噪音。
Peiguan 以兩類合成影格比較 ffmpeg 將 480p 放大至 1080p 的濾鏡,結果顯示表現會隨畫面類型和評分指標而異。平滑照片類畫面中,Bicubic 和 Lanczos 得分接近;硬邊畫面中,Lanczos 加輕度 unsharp 的 PSNR 最高(21.04 dB),但 SSIM 低於 Bicubic(0.761 對 0.7866)。
EthanBrooks111 説明影片生成工作應分開處理任務提交、狀態輪詢、下載和私有儲存,並在驗證目的物件後才清理供應商資產。文章建議記錄 submitted、rendering、copying、stored 四個狀態,為提交及儲存寫入使用冪等鍵,並避免把 API bearer token 傳給預簽下載 URL。
這篇 FFmpeg 教學示範如何為影片和音訊加入淡入淡出,並以最後一格的時間設定影片淡出起點,而非使用檔案總長度。文中指出使用濾鏡時不能搭配 stream copy,並以一段 12 秒、289 格的測試片説明影片和音訊串流的結束時間不同。文章提供 Python 包裝程式及五項 pytest 測試,檢查首尾畫面、音量、片長和格數。
Google 示範 Gemini 4 Hydrogen 按照簡單要求及自訂影片組裝技能,搜尋公有領域檔案影片,並製作一段介紹氫元素、配有旁白的連貫短片。文章指出,這是使用公有領域素材的特定流程,並非所有營銷影片都可免人工完成;企業仍須審核內容準確性、素材權利及品牌訊息。