vLLM 官方博客· NVIDIA Computer Vision Team (NVCV)·· 18 天前AI 評分58
PyNvVideoCodec 與 vLLM 以硬件解碼提升多 GPU 影片字幕生成吞吐量
Scaling Multi-GPU Video Captioning with PyNvVideoCodec and vLLM
AI 導讀
vLLM 整合 PyNvVideoCodec,支援使用 NVIDIA GPU 解碼影片,將影片解碼工作從 CPU 移走,以擴展多 GPU 影片字幕生成吞吐量。在 8 張 H100 的測試中,GPU 解碼吞吐量比 CPU 解碼高逾一倍,且大型負載的 CPU 瓶頸消除。PyNvVideoCodec 已包含於標準 CUDA 版 vLLM;自訂安裝需加入 PyNvVideoCodec==2.0.4。
來源:vLLM 官方博客 · vllm.ai