整体工作流如图,看着很多其实很有章法,听我慢慢拆解来输入一个title,比如:草船借箭,大模型根据title创作故事,大模型提示词具体如下具体我会整理一下,文末获取,继续往下看,大模型需要做一个设置,就是生成长度,我们调成最大,如下2、接下来是 生成主角人物图提示词和分镜头文案,咱们一个一个说(1)、主角人物图的提示词根据故事去获取,输入就是 【故事创作】这个节点的输出这个节点输出 就是 主角的描述词了,然后根据 这个提示词去做 文生图【图像生成】模型使用 通用模型,设置如下,输入就是上个节点的输出接下来 为了做出 人物和背景的分离效果,需要 对人物进行抠图,这个直接用抠图节点,设置如下分镜制作的输入还是【故事创作】节点的输出,然后根据提示词去生成分镜和字幕(具体提示词文末获取);注意这里大模型也需要,设置长度为最长。接下来根据你分镜字幕去生成每个分镜的场景图片提示词,也是利用大模型的能力,配置如下输出的是数组,每个元素是 字典【分镜字幕、分镜图片提示词】,效果如下第二条线最后是循环生成故事图片和分镜字幕转语音,这里使用一个循环完成首先看看循环的输入,是啥,哈哈,就是上一个节点的输出,如下图循环体中有三个节点,【生图、文本转语音、代码节点】这里的的 desc_prompt 就是在循环读取,场景图片的提示词,具体 看一下这里边 text就是 循环中cap 这个元素,speed_ratio 是说话速度,你这自己调整,voice_id 是声音,这里可以自己选择,里边有很多预制声音,如下async def main(args: Args) -> Output:
params = args.params
# 构建输出对象
ret: Output = {
"key0": params['input']
}
return ret
其实就是把字幕输出,这样最终就输出了【图片集合、声音集合、字幕集合】,就是最开始图上的循环的输出。1、获取时间线的节点是【插件-剪映小助手数据生成器-audio_timelines】节点的输入是,循环输出中的声音的集合,这个集合是一个url集合,具体如下节点输出 有两个,【timelines、all_timelines】,timelines中存储每一段音频的起始时间点,all_timelines是整个音频的起点和终点,后续根据这个去合并【图片集合、声音集合、字幕集合】因为视频开头我们需要做特殊处理,所以我们还需得到第一段语音的起始时间async def main(args: Args) -> Output:
params = args.params
# 构建输出对象
ret: Output = {
"key0": [params['input'][0]]
}
return ret
节点输入是 timelines,这样我们就可以获取 第一个元素获取了时间线和【图片集合、声音集合、字幕集合】,接下来就应该做关联了,这里主要使用的就是【剪映小助手数据生成器】这个节点中的工具函数、按照上图从上到下我们一个一个讲1、根据时间线制作字幕图片(imgs_infos)三个输入分别是【循环输出中的-data_list、时间线输出中的-timelines、形变缩小|缩小|折叠开幕】,这个就是将图片按照时间线添加到视频中,同时图片的特效在【形变缩小|缩小|折叠开幕】这三个选择中随机选择首先,因为 关联时间线时,输入需要是数组,所以这里使用 str_to_list节点,将图片链接转成数组形式,输入如下第二个节点是 【根据时间线制作人物图片(imgs_infos)】输入如下3、根据时间线制作字幕音频(audio-infos)输入分别是:【循环输出的声音、timelines、声音大小3】这个节点在插件中搜,参数就是你想使用的音乐的名字,然后下一个节点是【根据时间线制作背景音乐(audio-infos)】,这个节点的输入 是背景音乐,如下5、接下来是 【根据时间线制作字幕(caption_infos)】6、接下来是 在视频首页 添加 主题,就是"草船借箭"首先是代码节点,将主题 str类型转成 list,这里没有使用 str_to_list,也是为了让大家学习一下,哈哈接着就是 【根据时间线制作题目(caption_infos)】,输入如下:ok,到这 整个视频的 【图片集合、声音集合、字幕集合】都做了关联,可以创建草稿了这一步没有太多参数,就是将上一步的关联 都 添加到视频上,我一个一个说一下2、add_images(字幕图片),后边每个节点的 draft_url都是一样的好了,整体就是这些,执行完毕后 输出的是一个json结尾的链接然后使用 【剪映小助手】 去下载就好了,剪映小助手的下载链接如下:自己去下载一下,主要,这个要配合剪映使用,主要是【剪映小助手】的保存路径和剪映草稿的位置一致,草稿位置在剪映设置中查看大家可以按照我这教程复现一下,创作不易,看在我搭建和写保姆教程的份上打赏一杯奶茶吧,哈哈,不想自己搞得也可以拉你进入我的扣子空间(非免费)欢迎咨询
没有评论:
发表评论