CIViC: Evidence Gates for Audio-Conditioned Visual Prediction on Proxy Tasks
CIViC提出由四道關卡組成的檢查協議,用以評估音訊條件視覺預測是否運用了預期的音訊資訊。合成音訊特徵混合任務中,加入條件的模型在 1,000 步時 RMSE 為 0.1807,高於僅用音訊模型的 0.1707;SpeakerVid 代理任務中,五項低階音訊摘要歸零的模型整體影格灰階 RMSE 較低,但對齊音訊的片段漂移誤差較低。結果顯示,不同代理任務中的輸出啟動、留出誤差及端點控制支持不同解讀。