通义万相官方最近发布了一份《AI 视频生成使用指南》,系统讲解了提示词的底层原理与撰写技巧:
https://alidocs.dingtalk.com/i/nodes/jb9Y4gmKWrx9eo4dCql9LlbYJGXn6lpz
我们将基于这份官方指南,构建一个自动提示词生成工作流,实现"输入主题 → 自动生成高质量视频提示词"的能力,甚至还能通过图片或视频反推提示词!
第一步:获取官方指南
建议使用 Google Chrome 浏览器 打开上述链接,然后将其保存为 PDF,便于后续本地调用。
第二步:训练 AI 理解提示词规范
将下载好的 PDF 提供给大模型(如通义千问、DeepSeek、豆包等),并输入以下提示词:
这是《通义万相 AI 视频生成使用指南》。请认真学习其中的提示词编写方法,掌握后请回复:"我学会了"。
当 AI 回复"我学会了"后,继续引导它提炼提示词的结构公式:
根据你的学习成果,提炼万相提示词的构成公式,参考以下格式:
提示词 = 主体(主体描述) + 场景(场景描述) + 运动(运动描述) + 美学控制 + 风格化
接着,让 AI 基于该公式,生成一个"提示词生成器"的 Prompt:
请将《万相提示词指南》提炼为一个提示词工程:只要我输入一个主题,AI 就能自动生成符合万相规范的完整提示词。最终输出一个可直接使用的"提示词生成器"Prompt。
现在AI完美完成了任务,生成了我们想要的提示词生成器Prompt
第三步:优化并测试提示词生成器
为了让交互更自然,我们将生成器的最后一句稍作修改:
"现在,请向我请求主题,生成符合上述规范的提示词。"
这样,AI 会先主动询问主题,再根据你的输入生成提示词。
我们给它一个主题,"未来城市中的飞行汽车"
主题:"未来城市中的飞行汽车"
→ AI 迅速输出一段结构完整、细节丰富的视频提示词。
将该提示词接入 ComfyUI 的文生视频工作流,生成的视频中飞行汽车极具未来感。
测试案例 2:
主题:"一个女孩在城市的街道里跳舞"
→ 生成的提示词同样精准,视频效果良好。
将AI生成的提示词给comfyui工作流。
第四步:集成到 ComfyUI 自动工作流
我们在 ComfyUI 中搭建了一个自动提示词生成工作流。下图红框处该模块即为上述 AI 生成的提示词生成器,仅对末尾语句做了适配性修改:
"请根据我给的主题,生成符合上述规范的提示词,提供的主题为:某某"
工作流左侧设有一个手动输入节点,用于指定主题;左下角还有一个半自动切换开关:
开启:全自动模式,随机生成主题并输出提示词;
关闭:半自动模式,使用你输入的主题生成提示词。
示例主题:
"都市女白领在晨光中骑共享单车通勤"
AI 生成的提示词如下:
晨光初升,日光,柔光,侧光,暖色调,中近景,对称构图,中焦距镜头,低角度拍摄,镜头缓慢跟随移动,写实摄影风格。一位身穿浅灰色职业套装的年轻都市女白领,身材修长,黑色短发利落,面带专注神情,骑着一辆明黄色共享单车穿行在城市街道上。背景是清晨的高楼大厦,玻璃幕墙反射着金色阳光,街道两旁点缀着绿色行道树,空气中弥漫着清新的晨雾。女白领的影子被晨光拉长,伴随车轮转动,阳光在地面形成斑驳光影,整个画面展现出都市清晨的宁静与活力。
将该提示词接入文生视频工作流的提示词编码器,生成的视频与主题高度契合,细节丰富、氛围感强。
第五步:图片/视频反推提示词(进阶功能)
除了文本生成,我们还实现了基于图片或视频反推提示词的工作流。
图片反推:结合输入图像与主题,生成匹配的视频提示词;
视频反推:使用 MiniCPM-4-V Advanced 节点,分析参考视频内容,输出结构化提示词。
限于篇幅,本文仅简要介绍反推工作流的使用逻辑。后续将单独详解其搭建方法。
结语
借助大模型 + ComfyUI,我们实现了从"手动写提示词"到"AI 自动化生成 + 反推优化"的全流程升级。无论是新手还是老手,都能更高效地创作高质量 AI 视频。
快试试用一个主题,让 AI 为你写出惊艳的提示词吧!
(文中用到的工作流在文末,提示词在工作流中)
----------我是分割线----------
【如何获取工作流】
https://www.runninghub.cn/post/1971918446537666562
https://www.runninghub.cn/post/1967609614747525122
https://www.runninghub.cn/post/1970315752047865858
END
感谢您的阅读,麻烦点个赞+在看吧!
没有评论:
发表评论