点击上方卡片关注 不要错过精彩文章
读完这篇文章,别忘记给舰长点一个关注!舰长的智能体搭建文章,不仅是节点的构建,也有思路的分享。智能体搭建最重要的就是思路。最希望,能给大家带来不一样的搭建思路和方法。
点一点上方的🔵蓝色小字关注,你的支持是我最大的动力!🙏谢谢啦!🌟"
视频效果
大家好!我是舰长🙏 用Coze工作流做视频,好像已经搞了好多种方案了,看来看去都是图片的叠加,没意思,能否动起来呢?大家对Ai视频肯定有所耳闻,但是Coze中接入AI视频,此类的工作流还比较少,就算有开发者在做,但没有公开呀。
正巧,群里的一位群友来分享了一个案例
浅浅的在群里开个玩笑,同学们居然开始众凑,那就做一个出来吧!
在开始工作流细节分享前,有些事情要先给大家申明一下,做这个工作流非常需要耐心,和一步不能错,每个节点我也会分享出我的思考点和注意事项。另外不用太担心视频生成的成本,目前价格比市面的较低。
所以抓住机会,这种类型的视频在某红书平台上也是一个爆款,凭借工作流的状态,压低创作时间成本的浪费。
接下来先进行思路分享:
如果想直接做出一个视频,很明显需要借助插件【剪映小助手】来辅助合成视频,这个思路不是我们优先考虑的。
重点是,如何生成视频啊???
当然这也难不倒咱各位同学,直接搜索插件就行。
但是好用的插件还有一个讨厌的地方:需要提交生成视频的任务,如何等待后台生成,再通过另外一个插件查询任务,把视频查出来。
这一个视频2分钟的生成时间,工作流怎么跑啊,插件几秒钟跑完,后台视频任务生成要2分钟,根本没办法及时获得视频如何进行剪辑呀。
灵机一动,直接让代码进行缓存50秒(60s会时长错误),在把代码放到循环里面去判断任务有没有出,没有出视频再去缓存50秒
既然困难的地方了解清楚了,那就开始工作流的搭建吧!本次分享只有工作流,为不影响输出效果,使用和体验也只在工作流里面运行。
开始节点
默认设置,接收古诗句
大模型生成内容板块
【1】大模型节点:古诗分割
作者有话说:这个节点就是把传递接收的古诗按照符号进行一句一句切割输出
输入:引用开始节点的输出
只有系统提示词:
古诗词内容:{{input}}
## 任务:
根据符号进行古诗词分割输出
输出:改为Array<srting>
【2】大模型节点:图像提示词生成
作者有话说:接收每句古诗,对每个古诗的场景进行分析输出
操作步骤:选择批处理——用Deepseek V3模型——批处理引用节点【1】——输入引用节点【2】的item1
粘贴提示词到系统提示词处,其余不用修改调整
# 任务一
请根据用户提供的一句话,去描述场景,只需输出场景词。
场景描述词示例:樱花树下、窗前、太阳、月亮、小溪,枫叶、此类能简单描述出场景的词汇即可。
## 限制
需要严格注意不要输出人物,比如农民,只描述环境植物和动物,
## 最终输出
周围的环境为:[根据句子生成的场景词]
用户提供内容:{{input}}
【3】视频动作词生成
作者有话说:接收每句古诗,对每个古诗的人物动作进行描述,增加生成AI视频的效果
操作步骤:选择批处理——用Deepseek V3模型——批处理引用节点【1】——输入引用节点【3】的item1
粘贴提示词到系统提示词处,其余不用修改调整
我的画面上有一个小男孩,请根据我提供的古诗,为小男孩输出动作词,比如故事"抬头望明月"则可以输出"抬头"。
故事句{{input}}
## 限制
只输出动作词,不用输出其余内容
【4】插件:语音合成 |工具名"speech_synthesis"
作者有话说:通用用语音合成插件把古诗给阅读出,并返回音频。这个插件可选择的音色较多
操作流程:选择批处理——批处理引用节点【1】——text引用【4】的item1——最后选择音色即可。
【5】插件:建议小助手|工具名get_audio_duration
作者有话说:有了音频之后是需要把音频时长给计算出来方便我们后续制作视频的时候使用。
操作流程:选择批处理——批处理引用节点【4】——mp3_url引用的是【5】中的link
【6】代码节点:时间轴规划
工作流全部代码都是用的python代码,需要改代码语言逻辑,coze默认为JavaScript
有关代码资料的因为格式不兼容的问题,在公众号复制无法使用,所以整理好需要大家领取一下,领取方式在文章结尾。
作者有话说:
这个时间需要给大家补一个知识点,就是时间轴的概念。
我们在用剪映小助手时候,大部分都运用到,叫打轴,打时间轴。
用剪映剪辑视频时,前几秒需要什么内容、中间需要什么内容,结束需要什么内容这些都是剪辑的基本。
而开始占比时间是两秒,那从第0秒到第2秒就是放开始的素材,而这段素材用代码转换一下就是,start(开始时间)为"0"秒,end(结束时间)为"2"秒,第二段素材的开始时间就是"2"秒...
不理解也没关系,按照工作流做就可以
0────3,192,000────7,128,000────10,200,000────13,632,000
│ 段1 │ 段2 │ 段3 │ 段4 │
输入:参数名必须设置为"input",引用【5】的输出outputlist
输出:参数名为result,变量为Array,对应添加子项并设定名字为"start"和"end"
【7】豆包图像生成大模型|工具名称seed_edit
作者有话说:其实在文章的效果展示中,相信不难发现每个视频片段中的人物都是同一个人物,这样的效果在生成图像的时候就已经在控制了。
需要先准备一个人物形象(随便),即梦一键生成。
操作流程:选择批处理——批处理引用节点【2】的outputlist——在image_url中上传用即梦生成的图片——prompt引用【7】的item1
【8】代码节点:提取图片链接
作者有话说:这个代码节点也是迫于无奈,后面的视频生成节点必须要"srting"的格式,而节点【7】出的是一个列表
输入参数:必须设置为"input"引用【7】的输出
输出参数:必须设置为"result"变量类型为Array
【9】插件:海螺图生视频|工具名st_create_task_list
作者有话说:终于写到这个节点了,这个就是本次的核心了,用于提交视频任务
操作流程:选择批处理——item1引用【8】的输出——outputList引用【3】的输出
输入:
api_token:网址https://ts.fyshark.com/#/login?user_id=7560注册获取token就行
image_url:选址【9】的item1
prompt:选址【9】中的outputlist的output
【10】插件:当前时间|工具名get_current_datetime
【11】提取最后一个任务id
引用【9】的输出
{{String1[3].data.id}}
异步时间循环流程
循环设置改为无限循环就行
【12】代码节点:异步50s时间
输入参数名为"time"引用【10】的输出
输出参数名为"result"变量类型为srting
【13】插件:海螺图生视频|工具名st_get_task_info
作者有话说:这个节点是用来查询视频有无生成的,在第【11】节点提取的是最后一个视频的任务ID,只要最后一个视频生成成功,前面的视频也差不多了。
输入:引用【11】的输出
【14】选择器
作者有话说:如果【13】中的这个值为null时,走上面的分支,不为null的时候走下面的分支
【15】和【16】
作者有话说:这两个节点上循环中特有,只能在循环中添加,上面分支就继续循环,下面分支就终止循环
【17】插件:海螺图生视频|工具名st_get_task_info
作者有话说:循环里的是判断任务有没有完成的,而这个就是直接输出返回的视频,这两个是一样的插件,只是这样做可以单独输出,流程也很好处理。当然也需要批处理去处理四个视频的任务ID
操作流程:选择批处理——item1引用【9】的输出——outputList
输入:tsad_id引用【17】的"id"
合成剪辑出视频流出
这里主要运用到剪映小助手插件把视频合起来,跟着咱学过剪映小助手的小伙伴应该理解,每个传输节点就要用代码转换格式,代码太多,大家学习起来也很累,所以这次合成视频把所愿内容都导入一个代码中。接下来继续一步一步实操吧~
【18】代码节点:输出对应格式
输入有四个分别是video_url(视频URL导入)、time(根据音频输出的时间轴)、audio_url(音频url链接)、text(古诗句子)。
video_url(视频URL导入):引用【17】的output list
time(根据音频输出的时间轴):引流【6】的result
audio_url(音频url链接):引用【4】的output list
text(古诗句子):引用【1】的output
在点开IDE中编辑,选址python代码,在粘贴舰长提供的文档资料中的代码到节点中
代码的主要功能就是根据这些输入值输出成后面插件所需要的格式,所以所对应的输出有三个:音频(audio_url)、视频(video_url)、字幕(text)/输出类型都是Srting
【19】插件:剪映小助手|工具名create_draft
该插件是创建草稿插件,必须要要有配置如下:
【20】插件:剪映小助手|工具名add_audios
该插件是批量添加音频到草稿中,配置如下:
audio_infos:引用【18】的输出audio_url
draft_url:引用【19】的draft_url
【21】插件:剪映小助手|工具名add_videos
该插件是批量添加视频到草稿中,配置如下: draft_url:引用【19】的draft_url
audio_infos:引用【18】的输出video_url
【22】插件:剪映小助手|工具名add_captions
该插件是批量添加字幕到草稿中,配置如下:
captions:引用【18】的输出text
draft_url:引用【19】的draft_url
transform_y:输入-721即可
结束节点
draft_url:引用【19】的draft_url
今天就到这里吧,有关文章中格式问题的资料已经打包好,麻烦您一键三连评论区留言"古诗代码",扫码文章底部舰长微信,发送截图与"古诗代码" 文字,获取吧
关注公众号并添加舰长微信,领取智能体学习资料,并参与Coze技术直播讲解
另外非常欢迎大家加入[唐舰长AI落地智能体交流群],主要交流群每周都会进行公益直播教大家搭建AI智能体工作流
没有评论:
发表评论