🌉 VideoLingo: 连接世界的每一帧

中文 | English

b站演示

QQ群：875297969

🌟 能做什么

• 🍖 全自动视频搬运工，生成 Netflix 品质的字幕！

• 🎤 克隆自己的声音进行配音!

• ✨ 在 streamlit 中点击-完成！

看看效果吧！💪

ted_demo_sub.mp4

还可以用GPT-SoVITS配上自己的声音！

ted_demo_dubbing.mp4

特点

• 使用 NLP 和 LLM 进行字幕分割

• 智能术语知识库，实现上下文感知翻译

• 三步翻译过程：直接翻译 - 反思 - 改进

• 精确的单词级字幕对齐

• 仅需 1 元即可创作 5 分钟的 Netflix 级双语字幕

• GPT-SoVits 高质量的个性化配音

• 开发者友好：逐步结构化文件，便于自定义 : 英文文档 | 中文文档（待更新）

硬件要求

• 在 Mac M1 Pro 16G 及 Win10 RTX4060 上测试通过

• Win11 可能存在 numpy 版本依赖问题 😭 尝试修复了需要好心人帮忙测试

快速体验

• 本项目已部署在 趋动云-VideoLingo，新注册用户赠送等额 35h 免费使用，具体教程 点击这里

本地部署

0. windows 环境确保安装 Cmake 和 Visual Studio 并重启 (gpu 版 torch 需要)

1. 克隆仓库：

   git clone https://github.com/Huanshere/VideoLingo.git
   cd VideoLingo

2. 设置并激活 Conda 虚拟环境：

   conda create -n videolingo python=3.12.0
   conda activate videolingo

3. 配置 config.py

4. 执行安装脚本：

   python install.py

5. 🎉启动streamlt!

   streamlit run st.py

🙏 致谢

感谢以下开源项目的贡献:

• whisper: OpenAI的开源自动语音识别系统
• whisper-timestamped: 为Whisper添加时间戳功能的扩展
• yt-dlp: 用于下载YouTube视频和其他网站内容的命令行工具
• GPT-SoVITS & GPT-SoVITS-Inference: 基于GPT和SoVITS的语音合成系统及推理库
• FFmpeg: 用于处理多媒体内容的完整多平台解决方案
• Ultimate Vocal Remover GUI v5 (UVR5): 用于分离音乐中的人声和伴奏的工具
• json_repair: 超无敌的 修复解析 gpt 的 json 输出的库，无缝替代 json.loads

Star 历史