ComfyUI 漫劇自動質檢流水線:本地 AI 審片腳本批量篩選異常鏡頭、降低返工成本
ComfyUI 漫剧自动质检流水线|本地 AI 画面审片脚本,批量过滤崩坏镜头,降低返工成本
這套本地漫劇質檢流水線整合 ComfyUI、YOLO、量化版 Qwen-VL、FFmpeg 及自動分類腳本,可批量抽取關鍵影格、檢測畫面缺陷和比對分鏡描述。流水線可在 8G 顯存環境運行,並輸出 JSON 報告,按風險分數將鏡頭分類。
2026-11-19 9
版权
版权声明:
本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
简介: 这是一套轻量级漫剧质检流水线,仅需8G显存即可运行。集成ComfyUI、YOLO人脸/肢体检测、量化版Qwen-VL语义校验、FFmpeg抽帧及自动分拣脚本,支持批量审片、风险打分、报告生成与镜头智能归类,大幅提升女频/古言漫剧质检效率。(239字)
一、方案说明与硬件适配
这套质检流水线不需要很高显存,8G 显卡可以和视频生成链路分开跑,也可以在渲染间隙调度运行。 核心组件:
- ComfyUI + 视觉检测节点(YOLO、FaceAnalysis)
- 本地 Qwen-VL 量化版,图文理解,判断画面是否符合漫剧分镜描述
- Python 批量检测脚本(读取成片目录,输出检测报告)
- FFmpeg 帧抽取工具,截取视频关键帧送入检测模型
- 自动分类脚本,把合格镜头、待复核镜头、直接丢弃镜头分到不同文件夹
质检链路逻辑: 批量遍历视频片段 → FFmpeg 抽取关键帧 → 人脸检测 + 肢体关键点检测 → Qwen-VL 语义校验(对比分镜 prompt) → 打分输出 JSON 报告 → 自动移动文件到对应目录,标记风险类型
话不多说,先上资源,边看边做,事半功倍:https://pan.quark.cn/s/6422b249063a
二、依赖安装
pip install opencv-python ultralytics facenet-pytorch torch pillow numpy三、核心脚本 1:视频抽帧脚本(extract_keyframe.py)
作用:遍历漫剧镜头 mp4,每隔固定帧数抽一张图,送给视觉模型检测,避免逐帧检测速度太慢
import cv2 import os def extract_frame(video_path, out_dir, interval=12): os.makedirs(out_dir, exist_ok=True) cap = cv2.VideoCapture(video_path) fps = cap.get(cv2.CAP_PROP_FPS) frame_count = 0 save_idx = 0 while True: ret, frame = cap.read() if not ret: break if frame_count % interval == 0: save_name = os.path.join(out_dir, f"frame_{save_idx}.jpg") cv2.imwrite(save_name, frame) save_idx += 1 frame_count += 1 cap.release() return save_idx if __name__ == "__main__": video_folder = "./shot_video" frame_out = "./detect_frames" for fname in os.listdir(video_folder): if fname.endswith(".mp4"): video_p = os.path.join(video_folder, fname) frame_sub = os.path.join(frame_out, fname.replace(".mp4","")) extract_frame(video_p, frame_sub, interval=12) print("全部视频抽帧完成")
四、核心脚本 2:人脸 + 肢体缺陷检测(detect_defect.py)
用 YOLO 做人体、手部检测,搭配 FaceAnalysis 识别是否存在多个人脸、扭曲人脸、缺脸等问题,输出风险分数
import os import json from ultralytics import YOLO from facenet_pytorch import MTCNN from PIL import Image model_yolo = YOLO("yolov8n.pt") mtcnn = MTCNN(keep_all=True) def check_image(img_path): img = Image.open(img_path).convert("RGB") # 人脸检测 faces, probs = mtcnn.detect(img) face_num = 0 if faces is not None: face_num = len(faces) # 目标检测 res = model_yolo(img) box_info = res[0].boxes hand_count = 0 person_count = 0 for box in box_info: cls = int(box.cls) if cls == 0: person_count +=1 if cls == 77: hand_count +=1 risk = 0 risk_msg = [] if face_num ==0: risk += 30 risk_msg.append("无对应人脸") if face_num >2: risk += 35 risk_msg.append("人脸数量异常,多余人脸") if hand_count > 6: risk += 25 risk_msg.append("手部数量异常,多指畸形") if person_count ==0: risk += 20 risk_msg.append("画面无人物") return { "face_count": face_num, "person_count": person_count, "hand_count": hand_count, "risk_score": risk, "risk_msg": risk_msg } if __name__ == "__main__": frame_root = "./detect_frames" report = {} for vid_name in os.listdir(frame_root): sub_p = os.path.join(frame_root, vid_name) if not os.path.isdir(sub_p): continue max_risk = 0 msg_list = [] for f in os.listdir(sub_p): if f.endswith(("jpg","png")): ret = check_image(os.path.join(sub_p,f)) if ret["risk_score"]>max_risk: max_risk = ret["risk_score"] msg_list.extend(ret["risk_msg"]) report[vid_name] = { "max_risk": max_risk, "risk_info": list(set(msg_list)) } with open("check_report.json","w",encoding="utf-8") as f: json.dump(report,f,ensure_ascii=False,indent=2) print("检测报告 check_report.json 已生成")
五、核心脚本 3:Qwen-VL 语义校验(scene_verify.py)
读取分镜 JSON 里的画面描述,和抽取出来的图片做语义比对,判断画面内容和剧本是否匹配(比如剧本写女主在房间,结果画面跑到户外)
import json from transformers import AutoModelForVision2Seq, AutoProcessor from PIL import Image processor = AutoProcessor.from_pretrained("./qwen-vl-chat") model = AutoModelForVision2Seq.from_pretrained( "./qwen-vl-chat", torch_dtype="auto", device_map="auto" ) def verify_scene(img_path, prompt_desc): image = Image.open(img_path).convert("RGB") msg = [ {"role":"user", "content": [ {"type":"image","image":image}, {"type":"text","text":f"判断这张图是否符合描述:{prompt_desc},只输出【符合】或者【不符合】,简短说明理由"} ]} ] text = processor.apply_chat_template(msg, tokenize=False, add_generation_prompt=True) inputs = processor(text=[text], images=[image], return_tensors="pt").to("cuda") out = model.generate(**inputs, max_new_tokens=64) res_text = processor.decode(out[0], skip_special_tokens=True) return res_text if __name__ == "__main__": with open("comfy_storyboard.json","r",encoding="utf-8") as f: story_data = json.load(f) with open("check_report.json","r",encoding="utf-8") as f: base_report = json.load(f) final_report = {} for shot in story_data["shot_list"]: shot_id = shot["shot_id"] vid_key = f"shot_{shot_id}.mp4" if vid_key not in base_report: continue first_frame = f"./detect_frames/{vid_key}/frame_0.jpg" if os.path.exists(first_frame): vl_result = verify_scene(first_frame, shot["action_desc"]) base_report[vid_key]["scene_check"] = vl_result final_report[vid_key] = base_report[vid_key] with open("final_audit_report.json","w",encoding="utf-8") as fw: json.dump(final_report, fw, ensure_ascii=False, indent=2) print("语义校验完成,生成最终审片报告")
六、文件自动分类脚本(auto_sort.py)
根据风险分值自动分拣镜头,不用人工手动筛选
import json import shutil import os def make_dir(path): os.makedirs(path, exist_ok=True) if __name__ == "__main__": src_dir = "./shot_video" pass_dir = "./video_pass" review_dir = "./video_review" bad_dir = "./video_bad" make_dir(pass_dir) make_dir(review_dir) make_dir(bad_dir) with open("final_audit_report.json","r",encoding="utf-8") as f: rep = json.load(f) for name, item in rep.items(): src = os.path.join(src_dir, name) if not os.path.exists(src): continue score = item["max_risk"] if score < 10: shutil.copy(src, pass_dir) elif 10 <= score <30: shutil.copy(src, review_dir) else: shutil.copy(src, bad_dir) print("镜头分拣完成!合格/待复核/报废镜头已分类存放")
七、FFmpeg 辅助检测指令
检测视频是否存在黑帧
ffmpeg -i shot_01.mp4 -vf blackdetect=d=0.2:pix_th=0.1 -f null -检测视频平均亮度,判断是否大面积黑屏发白
ffmpeg -i shot_01.mp4 -vf signalstats -f null -批量提取音频,检测静音片段(台词丢失)
ffmpeg -i shot_01.mp4 -vn -af silencedetect -f null -八、ComfyUI 可视化质检节点工作流说明
你可以把这套检测逻辑封装进 ComfyUI:
- 视频输出节点 → 抽帧节点
- 图片送入 YOLO 缺陷检测 + Qwen-VL 节点
- 输出风险标签,在界面上标红提示
- 搭配队列暂停逻辑:高风险镜头直接停止流水线,等待人工确认,避免继续渲染一堆废片
参数参考:
- 风险阈值自定义:0~10 直接放行;10~30 人工复核;≥30 直接丢弃
- 适合场景:女频对话漫剧、古言漫剧,对人脸一致性要求高的题材
- 不适合:奇幻怪物、无人物空镜,这类场景需要修改检测规则
九、避坑要点
- Qwen-VL 显存占用偏高,8G 显卡建议用 GGUF 量化版,单独跑,不要和视频生成模型同时加载
- 抽帧间隔不要太小,间隔太小检测速度极慢;对话镜头 10~15 帧抽一张足够
- 检测只是辅助,不能完全替代人工,部分微妙的表情崩坏、画风跳变,模型识别不出来
- 可以自己扩充风险标签:画面有水印、文字、画风突变等,在 detect_defect.py 里增加判断逻辑
十、配套资源说明
资源包里包含:完整 ComfyUI 质检工作流 json、全套 py 脚本、yolov8n 权重、检测报告模板、批量执行 bat 脚本,直接导入 ComfyUI,对接你现有的漫剧渲染流水线,实现渲染完自动审片。
文章标签:
相关文章
|
5天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
5387 10 23
|
7天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
1768 3 4
|
7天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
1647 0 0
|
5天前
|
人工智能 安全 网络安全
|
20天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
6004 69 280
|
3天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
936 0 1
來源:阿里雲開發者社區 AI · developer.aliyun.com