近期,一段泰勒·斯威夫特(霉霉)用中文流畅自然地讲述自己游历的视频在网络上疯传。在这段视频中,霉霉没有生硬僵硬的翻译腔,而是以地道的语气和自然的嘴型完美地表达了自己的游历经历,效果堪称绝佳。
这段视频的走红,吸引了许多人开始使用这款名为 HeyGen 的 AI 工具。令人惊讶的是,这个工具竟然是由国内的一个初创团队开发的。
关于 heygen
在 2020 年 12 月,HeyGen 背后的公司诗云科技在深圳成立,成为关键力量。
通过人工智能生成内容,使用户能够以更低的成本完成内容创作。这一愿景吸引了众多风险投资机构的关注和投资,其中包括红杉中国、真格基金等,累计投资金额接近千万。
HeyGen 要做 AI 视频创作领域的 Midjourney,在团队方面与 Midjourney 有一些相似之处。目前,HeyGen 的团队规模约为 30 人,遍布全球各地,采取远程办公的方式展开合作。
HeyGen 的前身是一款名为 "Movio" 的 AI 视频翻译平台,其背后依托的是自家的多模态内容生成引擎 "Surreal Engine"。
在 2022 年 7 月,诗云科技发布了多模态内容生成引擎 Surreal Engine,将内容制作过程分为三个关键步骤:Understanding(理解)、Framing(视角构建)、Rendering(渲染)。与市面上的两大 3D 内容创作领头企业——Epic Games 的 Unreal Engine 和 Nvidia 的 Omniverse 相比,Surreal Engine 让普通用户也能轻松进行高维度和可交互的内容创作。
得益于此,HeyGen 最新版本的 Joshua Avatar 2.0 在实时生成人物视频方面的逼真度表现出色。
除此之外,HeyGen 的产品正式上线不到一年的时间里,创始人 Joshua Xu 发表了一篇博文,宣称 HeyGen 在仅仅 7 个月内实现了 100 万美元的 ARR(年度经常性收入),并且保持了连续 9 个月 50% 的月环比增长率。
目前,HeyGen 支持 50 多种语言和 300 多种不同的音色,用户可以上传自己的照片进行个性化形象定制,同时 HeyGen 还提供了上百款数字人素材和模板,为用户提供更贴心的选择。
就盈利模式而言,HeyGen 主要以 C 端客户为主要收费对象。视频生成的付费模式分为“创作者(Creator)”和“商务(Business)”两种,最低价格为每月 24 美元。此外,HeyGen 还支持单独付费的“声音克隆”和“人像精调”功能。未来,HeyGen 还计划逐步开放 API 接口,提供团队协作和企业功能。
翻译视频教程
第一步:保存或录制一段视频素材(支持 30 秒 - 5 分钟的视频时长)
第二步:打开 Heygen,官网地址:https://app.heygen.com/,点击左侧的 Video Translate 功能,将视频上传到这里
第三步:选择转换为其他输出语言,目前支持中文、英语、日语、法语等十几个国家语言
第四步:等待视频翻译完成后,导出到其他编辑工具中剪辑
工作原理
首先,HeyGen 利用 AI 技术来克隆人物的声音,它不仅能模仿音色,还能模仿语调和情感。
接着,通过实时的转换,HeyGen 可以将原始语言转化为其他语言,比如中文、英文、韩文、日文等等。
然后,通过庞大的模型和大量的数据训练,在转换语言的同时修正嘴型,使视频中的角色流畅、自然地说出各种国家的语言,最终输出完整的转换的视频。
真正让 AI 取得成功的是其能为人们提供实际价值的能力。以 ChatGPT 为例,它能够满足程序员的需求,生成特定文本并过滤指定信息的脚本;同时也能为文案工作者提供帮助,列举类似于指定主题的典型例子。这种实用性使得人们能够从 AI 中获得有益的回应,这也是 ChatGPT 得到广泛应用的原因。
同样地,对于 HeyGen 而言,它不能仅仅局限在有趣的层面上。对个人用户而言,数字人可能是一个有用的出路。HeyGen 的个性化形象定制功能可以为用户提供帮助和创造力,并带来实际的应用价值。
因此,AI 的成功需要深思熟虑其实用性和如何满足用户的需求,这才能在实际应用中取得成功。