zh-CN/tutorials/video/wan/wan2-2-s2v

[giscus[bot]]

zh-CN/tutorials/video/wan/wan2-2-s2v

这是一个基于 ComfyUI 的 Wan2.2-S2V 音频驱动视频生成原生工作流示例。

https://docs.comfy.org/zh-CN/tutorials/video/wan/wan2-2-s2v

[ericshi-godlike]

wan2.2_t2v_lightx2v_4steps_lora_v1.1_high_noise.safetensors
lora有下载资源吗

[nonoDamn]

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged

[ericshi-godlike]

好的感谢大佬

[ericshi-godlike]

大佬求助，如果我用一个3s的音频文件怎么控制视频生成也是3s，可以直接控制length吗

[comfyui-wiki]

扩展部分禁用，只用Ksampler 部分的采样，然后length 设置成对应帧数x秒数

[lianglinyi]

音频编码器，有没有中文版本的 wav2vec2_large_chinese_fp16.safetensors 的模型可以下载？要safetensors格式哦

[comfyui-wiki]

目前官方仓库也只有一个 English 的哈

[NiuStar]

下载demo的workflow提示node type:866cdb67-cb97-4a54-8738-e9ece4f5f25f不存在呢

[comfyui-wiki]

更新一下你的 ComfyUI 版本，这个节点是子图节点需要新版本前端支持

[LYH-RAIN]

最新版官方工作流中WanSoundImageToVideo有bug。输出的cfg为非浮点数，输出的length为非整数。
以下为错误信息
WanSoundImageToVideoExtend 79:76:

• Return type mismatch between linked nodes: length, received_type(FLOAT) mismatch input_type(INT)

• KSampler 79:77:
  • Return type mismatch between linked nodes: cfg, received_type(INT) mismatch input_type(FLOAT)

[sdqq1234]

这个只能生成16帧每秒的帧率么，如果我想生成25帧每秒的，我需要改什么

[comfyui-wiki]

可以修改最后保存视频的帧率，但是可能会让视频看起来过快，16fps 是对应推理代码里的

[C0524]

你好，Tesla V100 16G显卡支持fp8吗？

[xixijinjinpingping-hash]

你好，希望生成28秒视频，在Template基础上又加了三个“Video S2V Extend subgraph nodes”， batch size设为6，但还是只能生成14秒视频。请问是少了什么步骤吗？谢谢

[markesi50-png]

请问一下，在我一共增加30个“Video S2V Extend”扩展模块，扩展模块采样计算完毕后，VEA解码时，出现一下错误提示：“VAE decoding. Allocation on device This error means you ran out of memory on your GPU. TIPS: If the workflow worked before you might have accidentally set the batch_size to a large number. show report. help fix this” 我的理解是VEA解码时候，显存大小不足导致溢出错误。请问除了减少扩展模块数量这个办法外，还有其他办法解决这个错误吗。（因为我希望能一次性生成足够长的视频来匹配音频时长，我用的显卡是2080TI 11G版本）

[markesi50-png]

我自己查询了一下CHATGPT，这个办法似乎可行：“✅ 二、除了减少扩展模块，还有以下优化方案
方案1️⃣：分批解码（最推荐）
你可以保留 30 个扩展模块不变，只是 在解码阶段分批进行 VAE decoding。
方法：
在 ComfyUI 中找到你的 “VAE Decode” 节点。
复制多个 VAE Decode 节点，例如每 10 个 “Video S2V Extend” 接一个。
分段解码后再拼接视频。
💬 优点：不改变生成逻辑，不牺牲分辨率。
🧠 你可以把这理解为：“latent 阶段批量生成，解码阶段分段进行”。”

[comfyui-wiki]

你的显卡对于这个模型来说性能不足，而且一分多钟的时长对于大多数消费级 GPU 来说都很难顺利完成一次性解码，另一个思路是把音乐分段，然后把不同分段的生成拼接起来，当然这种分段也会有卡顿

[markesi50-png]

你的意思是不是指：音乐分段匹配，然后分别解码后在合并视频，产生的各段视频合并起来后会不连贯卡顿？

[comfyui-wiki]

只是提供了一种思路，把长序列的生成拆分成短序列的，然后再合并起来，分段生成再合并，但是这样没法很好地保持多段的动态连续性所以会有卡顿，

[markesi50-png]

我尝试很多次，大概发现极限情况下可以增加“Video S2V Extend”模块一次性可以出1分25秒左右长视频（不会显存溢出），但是也带来一个问题，不管如何调整SEED参数，视频长度超过20秒后，动作就开始明显加速，我觉得可能是算法问题，现在又回到最初默认得模板状态一次出最多19秒也就是添加3个“Video S2V Extend”模块，出来的视频效果是最佳得。不知道是不是我的显卡本身得性能缺陷。