2024年6月15日星期六

FRESCO:视频一键重绘,支持将视频转换为多种不同的风格,操作简单,整合包一键启动

公众号:AI应用帮

 文末提供获取方式 

北京大学推出的一款创新的视频风格转换工具——FRESCO,旨在简化和提升视频转视频的处理流程。FRESCO 支持将视频转换为多种不同的风格,并且可以选择性地转换视频中的特定部分。

      视频教程     


# 软件功能:

FRESCO 在设计上引入了帧内和帧间对应关系,构建了一个稳定的时空约束机制。这一改进显著提高了视频中跨帧语义内容的连贯性,使得转换后的视频在视觉上更加一致和连贯。该方法不仅增强了注意力机制的作用,还包括特征的显式更新,进一步确保结果视频在时空两个维度上的一致性。

核心特性

  • 时空一致性:通过结合帧内和帧间约束,FRESCO 在连贯性和覆盖范围上相比单独使用光流技术有显著提升。与之前的作品 Rerender-A-Video 相比,FRESCO 使用帧内和帧间约束,比单独使用光流具有更好的一致性和覆盖率。

  • 操作简单:无需训练或微调即可使用,极大简化了操作流程。

  • 灵活性:与现有的模型(如 ControlNet、LoRA)兼容,支持定制化转换,满足不同用户的需求。

FRESCO 的推出为视频风格转换提供了高效便捷的解决方案,不仅适用于科研领域,还为视频制作和编辑提供了强大的工具。


# 配置要求:

建议电脑满足以下配置:

  • 操作系统:Windows 10/11 64位
  • 显卡:至少16G显存的英伟达(NVIDIA)显卡


 如何查看显卡品牌型号和显存:

  • 打开任务管理器
  • 点击"性能"
  • 点击"GPU"
  • 右上角可以看到显卡型号,下方可以看到显存大小

 # 使用教程:


① 打开下载页面(https://aiyy.info/fresco/)点击页面右侧下载按钮,下载整合包之后解压,建议使用winrar解压(解压软件下载地址:https://www.winrar.com.cn/)
注意:文件夹路径和文件名称不要出现中文字符,否则部分软件会因识别不出而报错

② 双击"一键启动.exe",稍等片刻会在浏览器中自动打开操作界面

③ 上传视频,输入提示词,选择模型,软件默认重绘前100帧,如需重绘整个视频,需要将这个帧数拖至最高值,点击"run all"即可开始重绘,

④ 结果会生成在右侧,上方为关键帧画面,下方为完整视频,点击下载按钮即可将视频保存至指定文件夹

⑤ 其他设置保持默认即可,如需要调整,可将网页翻译成中文,方便理解,下方为对应选项功能作用

单帧处理的高级选项
  1. 帧分辨率:将视频短边调整为512。

  2. ControlNet相关:

    • ControlNet 强度:输出与输入控制边缘的匹配程度

    • 控制类型:HED边缘,Canny边缘,深度图

    • Canny 低/高阈值:低值可获得更多边缘细节

  3. SDEdit相关:

    • 去噪强度:重绘程度(低值使输出看起来更像原始视频)

    • 保留颜色:保留原始视频的颜色

  4. SD相关:

    • 步骤:去噪步骤

    • CFG 尺度:输出与提示的匹配程度

    • 增加提示/否定提示:补充提示

  5. FreeU相关:

    • FreeU 第一/第二阶段骨干因子:=1 不执行任何操作;>1 增强输出颜色和细节

    • FreeU 第一/第二阶段跳跃因子:=1 不执行任何操作;<1 增强输出颜色和细节

FRESCO 约束的高级选项
  1. 关键帧相关
    • 帧数:需要翻译的帧总数
    • 批次中的帧数:为避免内存不足,请使用较小的批次大小
    • 最小关键帧间隔(s_min):至少每 s_min 帧检测一次关键帧
    • 最大关键帧间隔(s_max):最多每 s_max 帧检测一次关键帧
  2. FRESCO 约束
    • 空间引导优化:选中以启用空间引导优化
    • 时间引导优化:选中以启用时间引导优化
    • 空间引导注意力:勾选以启用空间引导注意力
    • 跨框架注意力:勾选即可启用高效的跨框架注意力
    • 时间引导注意力:勾选以启用时间引导注意力
    • FRESCO 引导的注意力:
    • FRESCO引导的优化:
  3. 背景平滑:选中以启用背景平滑(最适合静态背景)

完整视频翻译的高级选项

  1. 梯度混合:应用泊松混合来减少重影伪影。可能会减慢进程并增加闪烁。
  2. 并行进程数:多进程加速进程。建议使用较大的值(4)。
案例展示:

以上就是本期分享的内容,所需工具在下方网址中👇👇👇可以自取👇👇👇

后期持续分享AI应用、AI落地项目及实用工具

      更多AI软件获取方式     

👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇
aiyy.info
(浏览器地址栏中输入上方网址,或点击左下角【阅读原文】可直接跳转)

关注下方公众号

及时获取更多资讯

菜单栏可见Ai应用集合

--------收集不易先点 在看 后 领取--------
版权声明:本公众号尊重原创。所获取资源,皆由本公众号在网络上收集整理,仅供交流学习用,禁止商用,版权属于原作者。若因为种种原因,未能与原作者联系的,若涉及版权问题,敬请原作者联系我们,本公众号立即撤下资源并进行相应处理。

👇 点击下方【阅读原文】可直接进入

没有评论:

发表评论

企业级智能助手平台开源:一个完整的智能助手、医疗、PDF、旅行规划等

一个完整的智能助手、医疗、PDF、旅行规划等源代码https://www.gitpp.com/grandpp/ 一个完整的智能助手、医疗、PDF、旅行规划等 源代码 https://www.gitpp.com/grandpp/grand-ai-hub 可以私有化部署,为企业内...