2025年9月27日星期六

告别手动写提示词!AI 自动为你生成万相AI视频提示词,支持图片/视频反推|ComfyUI 教程

通义万相官方最近发布了一份《AI 视频生成使用指南》,系统讲解了提示词的底层原理与撰写技巧:

网址:

https://alidocs.dingtalk.com/i/nodes/jb9Y4gmKWrx9eo4dCql9LlbYJGXn6lpz

图片

我们将基于这份官方指南,构建一个自动提示词生成工作流,实现"输入主题 → 自动生成高质量视频提示词"的能力,甚至还能通过图片或视频反推提示词!

第一步:获取官方指南

建议使用 Google Chrome 浏览器 打开上述链接,然后将其保存为 PDF,便于后续本地调用。

图片

第二步:训练 AI 理解提示词规范

将下载好的 PDF 提供给大模型(如通义千问、DeepSeek、豆包等),并输入以下提示词:

这是《通义万相 AI 视频生成使用指南》。请认真学习其中的提示词编写方法,掌握后请回复:"我学会了"。

图片

当 AI 回复"我学会了"后,继续引导它提炼提示词的结构公式:

根据你的学习成果,提炼万相提示词的构成公式,参考以下格式:
提示词 = 主体(主体描述) + 场景(场景描述) + 运动(运动描述) + 美学控制 + 风格化

图片

接着,让 AI 基于该公式,生成一个"提示词生成器"的 Prompt:

请将《万相提示词指南》提炼为一个提示词工程:只要我输入一个主题,AI 就能自动生成符合万相规范的完整提示词。最终输出一个可直接使用的"提示词生成器"Prompt。

图片

现在AI完美完成了任务,生成了我们想要的提示词生成器Prompt

图片

第三步:优化并测试提示词生成器

为了让交互更自然,我们将生成器的最后一句稍作修改:

"现在,请向我请求主题,生成符合上述规范的提示词。"

这样,AI 会先主动询问主题,再根据你的输入生成提示词。

图片

我们给它一个主题,"未来城市中的飞行汽车"

图片
测试案例 1:
主题:"未来城市中的飞行汽车"
→ AI 迅速输出一段结构完整、细节丰富的视频提示词。
图片

将该提示词接入 ComfyUI 的文生视频工作流,生成的视频中飞行汽车极具未来感。

图片

若效果不理想,可进一步要求 AI 修改提示词,或多次生成以"抽卡"优化结果。

测试案例 2:

主题:"一个女孩在城市的街道里跳舞"

→ 生成的提示词同样精准,视频效果良好。

图片

将AI生成的提示词给comfyui工作流。

图片

如需调整人物特征(如改为中国人、更换服装或背景),只需让 AI 微调提示词即可。

第四步:集成到 ComfyUI 自动工作流

我们在 ComfyUI 中搭建了一个自动提示词生成工作流。下图红框处该模块即为上述 AI 生成的提示词生成器,仅对末尾语句做了适配性修改:

"请根据我给的主题,生成符合上述规范的提示词,提供的主题为:某某"

图片

工作流左侧设有一个手动输入节点,用于指定主题;左下角还有一个半自动切换开关:
开启:全自动模式,随机生成主题并输出提示词;
关闭:半自动模式,使用你输入的主题生成提示词。

示例主题:
"都市女白领在晨光中骑共享单车通勤"

AI 生成的提示词如下:

晨光初升,日光,柔光,侧光,暖色调,中近景,对称构图,中焦距镜头,低角度拍摄,镜头缓慢跟随移动,写实摄影风格。一位身穿浅灰色职业套装的年轻都市女白领,身材修长,黑色短发利落,面带专注神情,骑着一辆明黄色共享单车穿行在城市街道上。背景是清晨的高楼大厦,玻璃幕墙反射着金色阳光,街道两旁点缀着绿色行道树,空气中弥漫着清新的晨雾。女白领的影子被晨光拉长,伴随车轮转动,阳光在地面形成斑驳光影,整个画面展现出都市清晨的宁静与活力。

图片

将该提示词接入文生视频工作流的提示词编码器,生成的视频与主题高度契合,细节丰富、氛围感强。

图片

第五步:图片/视频反推提示词(进阶功能)

除了文本生成,我们还实现了基于图片或视频反推提示词的工作流。

图片反推:结合输入图像与主题,生成匹配的视频提示词;

图片
图片

视频反推:使用 MiniCPM-4-V Advanced 节点,分析参考视频内容,输出结构化提示词。

图片
实测表明,反推生成的提示词能高度还原原图/视频的风格、构图与动态特征,生成的新视频与参考素材相似度极高。
图片

限于篇幅,本文仅简要介绍反推工作流的使用逻辑。后续将单独详解其搭建方法。



结语

借助大模型 + ComfyUI,我们实现了从"手动写提示词"到"AI 自动化生成 + 反推优化"的全流程升级。无论是新手还是老手,都能更高效地创作高质量 AI 视频。


快试试用一个主题,让 AI 为你写出惊艳的提示词吧!

(文中用到的工作流在文末,提示词在工作流中)



----------我是分割线----------


【如何获取工作流】

目前RunningHUB可以说是插件和模型更新最快的网站了,如果想体验 ComfyUI最新版的功能,可以到RunningHUB上面去体验。
如果通过我的邀请码注册,可以获得1000点积分,这些积分可以白嫖很长时间了,每日登录还能再获得100积分。
注册链接:
https://www.runninghub.cn/?inviteCode=3qo65owt
邀请码:3qo65owt
我的很多工作流也都上传到了RunningHUB平台上面,在平台上面搜索"青橙"就能搜到,这些工作流可以免费下载到本地,也可以用刚刚注册时送的积分免费在平台上面体验。
根据主题生成提示词工作流:

https://www.runninghub.cn/post/1971918446537666562

反推图片、结合主题生成提示词工作流:

https://www.runninghub.cn/post/1967609614747525122

反推视频、结合主题生成提示词工作流:

https://www.runninghub.cn/post/1970315752047865858

图片


END




感谢您的阅读,麻烦点个赞+在看吧!

没有评论:

发表评论

NeurIPS 2025! 一个LoRA实现秒级万能图像编辑?浙大哈佛图像编辑模型GitHub狂揽2k星!

点击下方 卡片 ,关注" AI生成未来 " 如您有工作需要分享,欢迎联系: aigc_to_future 作者:Zechuan Zhang等 解读:AI生成未来 在五一假期期间,Hugging Face上出现了一款爆火的图像编辑模型,号称用一个LoRA就可...