公众号：AI应用帮
「 文中提供获取方式 」
▼
本期带来根据音频生成对嘴型视频工具整合包 —— LatentSync
LatentSync 是字节跳动推出的一种基于音频条件的端到端唇同步技术，通过潜在扩散模型和时间表示对齐技术（TREPA），实现高质量、时间一致的动态视频生成，并优化了 SyncNet 的收敛问题，使唇同步的准确性达到更高水平。
实际测试下来，英文效果还行，但是中文效果欠佳，下方有测试的示例可以自行查看，总体来说就是凑活能用，追求中文高度唇形同步的就不用下载了。
2024.1.9更新：在原版基础上增加提升视频清晰度，上传视频时长短于音频时长时，采用正序→倒序→正序→倒序……的循环方式，让视频更连贯自然。
开源地址：https://github.com/bytedance/LatentSync
视频教程
# 软件功能：
端到端唇同步框架：无需中间运动表示，直接根据音频生成同步的唇部动作。
高质量视频生成：利用 Stable Diffusion 技术，生成动态逼真的说话视频，适用于各种场景。
SyncNet 优化：通过优化训练流程，提高 SyncNet 在复杂场景下的收敛性和准确性。
灵活的噪声建模：采用混合噪声模型，确保输入噪声的时间一致性，提升生成效果。
# 应用场景：
影视制作与后期：帮助制作高质量的配音视频，轻松实现角色的唇部动作同步。
虚拟人物和数字人：在虚拟主播、智能助理等场景中生成自然、同步的唇部动作。
教育和培训视频：为教学内容或在线培训视频生成高质量的配音和唇部同步效果。
社交媒体和短视频创作：提供用户友好的音频驱动动画功能，增强创作者的表达能力。
研究与技术开发：为视听结合、生成建模和人机交互等领域提供新的技术解决方案。
电脑需满足以下配置：
操作系统：Windows 10/11 64位
显卡：至少8G显存的英伟达（NVIDIA）显卡 CUDA >= 12.1
整个包解压之后约18.9G，留足硬盘空间 电脑如未安装CUDA可以查看安装教程：https://aiyy.info/requirements/
打开任务管理器 点击"性能" 点击"GPU" 右上角可以看到显卡型号，下方可以看到显存大小
① 打开下载页面（https://aiyy.info/latentsync/）点击页面右侧下载按钮，下载整合包之后解压，建议使用winrar解压（解压软件在文件包中，或者可以自己下载安装，下载地址：https://www.winrar.com.cn/）
不要用Windows自带解压！！不要用360解压！！
注意：文件夹路径和文件名称（包括视频、图片、音频等文件名称）不要出现中文字符，否则部分软件会因识别不出而报错
更多AI软件获取方式
关注下方公众号
及时获取更多资讯
没有评论:
发表评论