究竟是什么魔力,让川普说起了中文,却让罗翔老师飙起了英文很多人好奇怎样制作这种外国人说中文的视频,或者是中国人说英文的视频,还有的老司机有一些非常奇怪的想法
HeyGen 视频翻译
HeyGen 软件官网 https://app.heygen.com/
第一种简单易用,就是使用网页版的在线视频翻译工具,首先就是 HeyGen 的视频翻译功能,进入 HeyGen 官网用邮箱注册一个免费的账户
登录以后打开左侧的 Video Translate 选项,这样就进入到视频翻译界面
在这里上传一段 30 秒到一分钟的视频素材,付费会员最高可以支持五分钟,下方选择你想要转换生成的视频语言,目前支持中文、英文、日语等十几个国家的语言
但是目前免费用户需要排队等待一两天的时间,付费会员可以跳过排队等待的时间,最低订阅价格是每月 25 美刀
rask.ai 翻译
rask.ai 翻译官网https://zh.rask.ai/
同样进入官方网站后,使用邮箱注册一个免费的试用账户
这里支持上传小于 20 分钟并在 100 MB 以内的视频素材,同时支持粘贴 YouTube 和谷歌网盘里的视频链接
说话人数和视频的原始语言选择自动就行,在下方选择一个准备翻译生成的语言
目前已经支持 130 多种语言,基本上常见的语言都在这里了
最后再点击翻译按钮,接下来等待 AI 来处理就可以了,大概等上不到一分钟的时间,这条视频就已经翻译完成了
MyHeyGen翻译
MyHeyGen 是一个平民版的视频翻译工具,他集成了音频翻译、翻译校正,以及视频唇纹合成的全流程解决方案
MyHeyGen 项目地址 https://github.com/AIFSH/MyHeyGen
他参考的项目有三个分别是 HeyGenClone、TTS、Video-retalking,首先部署的环境要求是安装 python 3.10,GPU 内存在 16G 以上
环境准备
- 在huggingface 申请 token, 放在 config.json 的 HF_TOKEN 参数下
- 在 百度翻译申请 APPKey用于翻译字幕放在 config.json 的 TS_APPID 和 TS_APPKEY 参数下
- 下载
weights
drive 夸克 放在 MyHeyGen 目录下,下载checkpoints
drive 夸克 放在 video-retalking 目录下, 从 weights 复制 GFPGANv1.4.pth 到 checkpoints,如下图
安装
git clone https://github.com/AIFSH/MyHeyGen.git
cd MyHeyGen
bash install.sh
或者拉取 docker 镜像
docker pull registry.cn-beijing.aliyuncs.com/codewithgpu2/aifsh-myheygen:o3U7yjrWg5
测试
python translate.py /root/MyHeyGen/test/src.mp4 'zh-cn' -o /root/MyHeyGen/test/out_zh.mp4
自己使用
python translate.py 原视频文件路径 想要翻译成的语言代码 -o 翻译好的视频路径
## 语言代码可以选择这些中之一:['en', 'es', 'fr', 'de', 'it', 'pt', 'pl', 'tr', 'ru', 'nl', 'cs', 'ar', 'zh-cn', 'ja','hu','ko']
## 分别对应 [ 英语、西班牙语、法语、德语、意大利语、葡萄牙语、波兰语、土耳其语、俄语、荷兰语、捷克语、阿拉伯语、中文(简体
云端部署
首先我们来到 AutoDL 这个算力租界平台:https://www.autodl.com/home
先用手机号注册一个账号,随后点击上方的算法社区
在搜索框里面输入 MyHeyGen,就可以找到这个已经打包好的 docker 镜像
点击创建 AutoDL 实例这个按钮,然后就是等待 GPU 服务器拉取 MyHeyGen 的镜像文件,等待几分钟之后,镜像资源就自动配置好了点击快捷工具下方的 jupyterLab,就可以进入这个项目的界面
将 config.json 文件下载到我们本地电脑上,用记事本打开后编辑
再次打开终端在输入框中输入这个命令运行测试
bash dubbing.sh