2025年10月15日星期三

一句话让"AI操作电脑"屏幕,无需复杂编程,让你真正的自动化办公


点击上方卡片关注 不要错过精彩文章




📌

持续更新有关Agent的最新搭建思路和工作流分享,希望能给您带来帮助,点一点上方的🔵蓝色小字关注,你的支持是我最大的动力!🙏谢谢啦!🌟" 


大家好,我是舰长🙏

自从上次影刀更新魔法指令之后已经过去5个月了,就在最近影刀更新了一项新的功能:自定义AI操作屏幕

舰长也是在第一时间实测了该功能并给大家分享一下,该功能在效率层面:能自动处理重复操作,减少人工操作耗时,在办公、数据处理等场景,降本提效明显; 门槛层面:降低学习复杂操作成本,新手小白也能快速上手专业RPA软件,但需要依靠精准提示词,误操作风险需注意; 边界层面:是辅助工具而非替代人,仍需结合人类判断把控方向。

RPA的技术一直在不断迭代,同上手门槛也在不断降低



演示视频


视频中可以看到,我们的RPA机器人是在软件上实现的功能,这与魔法指令有很大的不同,魔法指令基于网页展开的一系列AI自动化操作,花费很便宜而局限性很大,只能在网页层面操作。

自定义AI操作屏幕,做到了通过AI来识别屏幕上的信息来完成我们给他的提示词,这需要很强大先进的视觉大模型支撑,同时也极大地扩展了操作的空间,不仅仅局限于网页,软件层面的RPA操作也能实现。


案例实操

我们需要对这篇文章的点赞、转发、收藏和评论数进行统计计算。

当文章点赞、转发、收藏、评论总数超过100时,点赞

当文章点赞、转发、收藏、评论总数超过500时,点赞并回复"你好,我可以转发此文章吗?"

低于100时,我们什么也不做。


Image


首先

在打开的影刀RPA设计页里,到左侧的指令栏中找到AI,找到下栏的自定义AI操作屏幕

Image


双击进入自定义AI操作屏幕的设计页面。左图是指令视图,右图是浮窗视图,通过切换视图转换。

示例:可以提供一些提示词模板供大家使用。

指定最大执行步数:设置 AI 可连续执行的最大步骤数,用于防止因错误循环导致过度消耗。输入范围:1 - 100默认 50

切换视图:切换编辑页的视图。


Image


与AI对话

指令视图

我们点击了模板,通用模板格式如下。

若我们没有很好的想法,可以参考下通用模板,然后进行修改,有很好的想法的话,也可以套用模板让我们的提示词更加的规范化。

Image


浮窗视图

下方的调试日志窗格,可以方便我们在运行中看AI是如何理解我们的提示词并作出操作的,途中如果AI的操作失误,我们可以在输入需求中实时修改提示词,让AI重新执行我们的操作。


Image


提示词

舰长这边的提示词也奉给大家。

判断屏幕是否满足 [判断条件],并执行对应操作。判断条件1:文章点赞、转发、收藏、评论总数超过100时,点赞。判断条件2:文章点赞、转发、收藏、评论总数超过500时,点赞并回复"你好,我可以转发此文章吗?"不满足执行:结束


大家在使用的同时也要注意次数的消耗,尽量将提示词写的精细化一点,在调试方面不要运行太多次,防止在使用时,出现次数不够的情况。

Image

目前的额度太少了不够大规模使用,不过基于自定义AI操作屏幕的指令出现不久,相信以后额度一定会够用的。


注意事项


1.当AI遇到无法判断的情况时,他会选择报错,在一些情况下我们可以选择让AI忽略报错。

Image


2.额度有限,我们写提示词要精细化,结构要优化。屏幕的分辨率也要调整,因为自定义AI操作屏幕是基于先进的视觉大模型来执行的,若图片太模糊,字太小,容易造成AI识别不到,白白浪费额度。


总结

自定义AI操作屏幕聪明思考的Agent听话稳定的RPA结合,让我们在面对一些非结构化非标准化的场景时,不用再耗费时间精力去搭建复杂的流程,与AI对话,让AI思考,AI用RPA去实现,就可以解决难题。

RPA作为一款实现简单重复工作的自动化工具,可以应用在我们生活中的各个场景中。

RPA让我们告别简单重复的机械式工作,把有限的精力用在更有意义的事!



关注公众号并添加舰长微信,领取智能体学习资料,并参与智能体技术直播讲解

Image

另外非常欢迎大家加入[唐舰长AI落地智能体交流群],主要交流群每周都会进行公益直播教大家搭建AI智能体工作流

Image

没有评论:

发表评论

这两个免费商用字体库,建议收藏

我是阿木易,一个啥都会点的设计师🎨,正在研究AI编程,想自己造点不一样的东西。 我是阿木易, 一个啥都会点的设计师🎨,正在研究AI编程,想自己造点不一样的东西。👀   字数 775,阅读大约需 4 分钟 别再为字体和图片侵权发愁了,这两个宝藏网站让你安全感拉满! 欸,今...