【免费下载链接】Causal-Forcing[ICML 2026] Official codebase for Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation Causal Forcing项目地址https://gitcode.com/gh_mirrors/ca/Causal-Forcing点击查看免费下载Causal-Forcing 是面向实时交互视频生成的高效扩散蒸馏方案其官方 Web Demo 让你在浏览器中输入提示词视频帧就能实时逐帧推送播放。本文带你完成 Causal-Forcing 实时 Web Demo 的完整部署并深入解析低显存动态换出机制与 TensorRT、TAEHV、FP8 等加速选项帮助你在单张显卡上跑通高质量实时视频生成。 Causal-Forcing Web Demo 是什么Causal-Forcing 通过自回归扩散蒸馏Causal ODE / Causal Consistency Distillation驱动非对称 DMD在同等训练预算和推理效率下显著优于 Self Forcing并原生统一了 T2V 与 I2V。官方仓库提供了一个开箱即用的 Web 前端 Demo核心特性如下特性说明实时帧推送每个 block 去噪 解码完成后帧立即编码为 base64 经 SocketIO 推送到浏览器低显存模式空闲显存 40 GB 时自动启用动态换出dynamic swap加速开关前端可一键切换 TAEHV 轻量解码器、FP8 量化、torch.compileTensorRT 支持通过--trt参数加载预构建的 INT8 VAE 引擎整个推理与训练管线如下图所示 环境安装5 步搞定Demo 的推理环境与 Self Forcing 相同在 Linux NVIDIA GPU 上执行git clone https://gitcode.com/gh_mirrors/ca/Causal-Forcing cd Causal-Forcing conda create -n causal_forcing python3.10 -y conda activate causal_forcing pip install -r requirements.txt pip install githttps://github.com/openai/CLIP.git pip install flash-attn --no-build-isolation python setup.py develop关键点requirements.txt 中已包含 Demo 依赖flask、flask-socketio、torchaoFP8 量化用、onnx/onnxruntimeTensorRT 构建用需要系统安装ffmpegDemo 结尾会用它将逐帧 JPEG 合成为 MP4 模型权重下载# Wan 底座VAE / 文本编码器 / 因果 Transformer 基础 hf download Wan-AI/Wan2.1-T2V-1.3B --local-dir wan_models/Wan2.1-T2V-1.3B # Causal Forcing frame-wise 4-step 蒸馏模型Demo 默认 hf download zhuhz22/Causal-Forcing framewise/causal_forcing.pt --local-dir checkpoints # Causal Forcing 1-step / 2-step延迟更低 hf download zhuhz22/Causal-Forcing causal-forcing/framewise-2step.pt --local-dir checkpoints hf download zhuhz22/Causal-Forcing causal-forcing/framewise-1step.pt --local-dir checkpoints TAEHV 轻量解码器的权重taew2_1.pth无需手动下载——首次勾选 TAEHV 时demo.py 会自动拉取到checkpoints/目录。 启动命令一行跑起来python demo.py \ --checkpoint_path checkpoints/framewise/causal_forcing.pt \ --config_path configs/causal_forcing_dmd_framewise.yaml \ --port 5001启动后访问http://localhost:5001输入提示词即可开始生成。如果已构建好 TensorRT 引擎追加--trt即可python demo.py --checkpoint_path ... --config_path ... --trt启动时 Demo 会打印当前空闲显存并据此决定策略显存充足≥ 40 GB文本编码器直接常驻 GPU显存紧张 40 GB自动安装DynamicSwapInstaller进入低显存模式生成流程参考 configs/causal_forcing_dmd_framewise.yaml21 个 latent 帧按 framewise 模式切成 7 个 block每个 block 走 4 步去噪denoising_step_list: [1000, 750, 500, 250]默认帧率 6 fps。顺带一提同一仓库的 inference.py 还支持 I2V只需--i2v --data_path prompts/i2v以下就是 I2V 条件首帧示例 低显存动态换出机制全解析这是 Demo 最精巧的部分核心代码在 demo_utils/memory.py借鉴自 FramePack。DynamicSwapInstaller参数级按需搬砖它会对模型的每个子模块打补丁重写__getattr__当你访问某个weight/buffer时自动执行.to(gpu)再返回也就是说权重平时躺在 CPU 内存里用到的那一瞬间才搬上 GPU用完被 CUDA 缓存机制自然淘汰在 demo.py 中这样启用low_memory get_cuda_free_memory_gb(gpu) 40 if low_memory: DynamicSwapInstaller.install_model(text_encoder, devicegpu)move_model_to_device_with_memory_preservation带预留的搬运每次编码文本前Demo 会调用该函数把文本编码器搬上 GPU但始终为后续去噪预留空闲显存 5 GB逐模块搬运一旦剩余显存低于预留线就立即停止并empty_cache()。这保证了 T5 文本编码器bf16与因果 Transformerfp16永远不会互相挤爆显存。效果单卡 24 GB 级别的消费级显卡即可跑通完整 Demo代价仅是文本编码阶段稍慢。⚡ 四大加速选项深度对比加速项作用对象显存收益速度收益开启方式TAEHVVAE 解码器显著权重小一个量级快逐帧串行解码前端勾选运行时热切换TensorRT INT8VAE 解码器中最快启动参数--trtFP8 量化Transformer约省一半权重显存中前端勾选首次生效torch.compileTransformer VAE基本不变首次编译 5-10 分钟之后稳定提速前端勾选1️⃣ TAEHV轻量解码器热切换TAEHVTiny AutoEncoder for Hunyuan Video实现于 demo_utils/taehv.py。Demo 会在运行时把 pipeline 的 VAE 直接换成 TAEHVdecode_video(latents, parallelFalse)parallelFalse是低显存模式逐时间步串行处理只用 O(1) 级额外显存切换无重启成本勾选后下一次生成即生效进度条会提示 Switching VAE decoder...2️⃣ TensorRT INT8 引擎启用--trt时demo_utils/vae.py 中的VAETRTWrapper会加载预构建引擎checkpoints/vae_decoder_int8.trt逐帧调用execute_async_v3解码。没有现成引擎仓库提供了完整构建脚本 demo_utils/vae_torch2trt.py流程是用 dummy 输入1 个 latent 帧 32 个ZERO_VAE_CACHE缓存张量定义见 demo_utils/constant.py把 PyTorch 解码器导出为 ONNX用 TensorRT 解析器构建 INT8 引擎引擎放入checkpoints/后即可用--trt启动3️⃣ FP8 动态量化勾选后Demo 调用torchao对 Transformer 做一次动态 FP8 激活 权重量化Float8DynamicActivationFloat8WeightConfig(granularityPerTensor())。量化只发生一次fp8_applied标记防止重复此后每次生成都享受更小的权重带宽。4️⃣ torch.compile对 Transformer 与 VAE 使用max-autotune-no-cudagraphs模式编译。注意首次生成会阻塞 5-10 分钟做编译进度条会明确提示之后每个 block 都更快。TAEHV / TRT 模式下会自动跳过 VAE 编译。 实时帧推送是怎么做到的Demo 的边生成边播放依赖一条非阻塞流水线生成线程每完成一个 block 的去噪与 VAE 解码把每帧像素 tensor 投入frame_send_queue发送线程frame_sender_worker后台线程持续消费队列调用 demo.py 中的tensor_to_base64_frame把帧编码为 JPEG base64通过 SocketIO 的frame_ready事件推给浏览器前端收到帧立即渲染实现帧到达即播放而非等整段视频生成完前端还可随时stop_generation中止生成全部帧发完后ffmpeg会把保存的 JPEG 序列合成为 MP4 存入videos/目录。 常见问题与调优建议首帧偏慢勾选 torch.compile 后第一次生成包含编译时间属正常现象第二次起恢复显存不够 OOM优先勾选 TAEHV仍紧张则确认low_memory模式已生效启动日志会显示空闲显存追求最低延迟换用 Causal Forcing 的 1-step / 2-step 权重记得加--use_ema推理配置Demo 直接加载generator_ema画质 vs 速度TAEHV 速度最快但细节略弱于原生 VAETRT INT8 引擎兼顾两者精度提示若发现生成画面模糊不收敛README 建议检查是否误用低精度必要时切换 FP32 相关文件速查路径说明demo.pyWeb Demo 主入口Flask SocketIOdemo_utils/memory.py低显存动态换出实现demo_utils/taehv.pyTAEHV 轻量视频解码器demo_utils/vae.py流式 VAE 解码器与 TensorRT 封装demo_utils/vae_torch2trt.pyONNX → TensorRT INT8 引擎构建脚本demo_utils/constant.pyVAE 流式缓存常量定义configs/causal_forcing_dmd_framewise.yamlframewise 4-step 推理配置pipeline/causal_inference.py因果推理管线KV cache 分块生成prompts/demos.txt示例提示词一句话总结低显存动态换出让你跑得起来TAEHV / TensorRT / FP8 / torch.compile 让你跑得快——四件套组合消费级显卡也能体验 ICML 2026 水准的实时交互视频生成。赞分享【免费下载链接】Causal-Forcing[ICML 2026] Official codebase for Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation Causal Forcing项目地址https://gitcode.com/gh_mirrors/ca/Causal-Forcing点击查看免费下载相关推荐PyTorch3D模型部署终极指南ONNX导出与TensorRT加速实践PyTorch3D模型部署终极指南ONNX导出与TensorRT加速实践 PyTorch3D是Facebook AI ResearchFAIR推出的专业3人工智能深度学习计算机视觉图形学DUSt3R移动端部署实战ONNX转换与TensorRT加速指南DUSt3R移动端部署实战ONNX转换与TensorRT加速指南 还在为3D重建模型在移动端部署困难而烦恼本文将手把手教你如何将DUSt3R模型转换为ONN人工智能深度学习计算机视觉预训练点云Skyvern自动化工具终极指南零基础快速上手完整教程Skyvern自动化工具终极指南零基础快速上手完整教程 还在为重复的网页操作烦恼吗每天登录网站、填写表单、下载文件这些看似简单却耗时耗力的任务现在有了完美人工智能AI Agent浏览器控制GUI 自动化RPA后端前端上一篇Whosthere 网络发现工具完全指南如何免 root 快速识别局域网中的所有设备下一篇little-coder Plan Mode深度解析研究-提问-计划三步流如何大幅提升复杂任务成功率创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考