本文介绍LibTV新功能3D导演台,通过3D建模控制AI演员动作和镜头,解决AI视频中人物空间错乱、动作僵硬问题。适合AI视频创作者和抽卡用户。功能支持素模预设、多机位、首尾帧截图等。当前活动:创作会员低至3.7折,送Seedance 2.0条数,VIP低至0.36元/秒。
Tags:
前几天我刷 AI 短剧的时候,发现有人分享了这样一张图:
我略一推测,应该是抽卡师不小心把废片放到正片里去了。
画面也太掉san了,看得我浑身起鸡皮疙瘩....
这两年手搓过 AI 视频的人都知道,单镜头的画质和人物一致性其实已经卷得差不多了。
Seedance 2.0、可灵这些顶级模型,单出一段人物特写的视频,质感堪比电影截图。
但只要你想往「长视频」上再走一步,生成那种有复杂动作和长叙事的场景,痛苦立刻就来了。
AI 马上开始降智,出现与上面那张图相似的诡异画面。
你哪怕老老实实把分镜写在提示词里,它给你生成出来的东西也常常是乱七八糟的。人物站位上一秒还在左边,下一秒就蹦到了右边。
前一镜还在原地说话,下一镜直接切到一个完全不存在的地方,连最基本的空间关系都对不上。
人物姿势也很僵硬,除了张嘴说台词还算自然,想精控一点别的动作就难了。
折腾下来你会发现,单个画面是漂亮的,但整段视频下来,一有复杂动作就出戏。
解决这个问题的办法有两个,要么你手绘分镜,一帧一帧地指导 AI 生成。要么你就直接用 blender 建模,限定 AI 的生成逻辑。
说实话,这两种方式对小白来说都不是很友好,毕竟不是所有抽卡师都有手绘或建模基础。
有没有一种功能,能直接让普通人精控 AI 视频呢?
这两天,LibTV 刚上线了一个新功能「3D导演台」,就打算深度解决这件事,我赶紧去试了试。
体验链接:
https://www.liblib.tv/
一、傻瓜式操作
这个功能操作起来很傻瓜,基本没什么难度...
在 LibTV 画布上双击空白处,新建一个「导演台」节点,点进去就是一个完整的 3D 工作区。
左边是空间里所有元素的清单,右边是属性面板,整个布局跟 Blender 有几分神似,但是更简洁一些。
下一步,你只需要简单粗暴地往里面加模型就行了,官方有现成的人体素模,涵盖了各种年纪体态的人物,还有基础几何体,可以当作家具或道具。
如果要求实在很高,还可以本地上传 3D 文件。
加完模型之后,就可以按照你的需要,调整人物和物品的位置了!
侧边栏的「属性」有基本的位置调整功能,嫌麻烦的话,直接拖拽模型也可以。
「姿势」则可以调整人物模型的动作。
官方有给到现成的姿势预设挺多的,站立、坐姿、蹲下、倚靠、抱臂、看手机这些日常情境都有,不用从零开始调。
还想要进一步精控,下滑到「姿势调节」,就能看到每个身体部位都有一根滑动条;需要什么角度,直接拖数值。
再也不用敲文字 prompt 敲到键盘冒火星了....
位置调好了,接下来可以架相机了。
放置相机也和放置模型一样简单。正面、侧面、越肩、俯拍、仰拍,想架在哪儿就架在哪儿。更妙的是,相机不限制数量,你可以在同一个 3D 空间里同时架好几台,分别对准不同的人物。
先把相机固定好,就不需要在做人物正反打的时候,反复抽卡抽到手酸了。
我个人比较喜欢细节是,这个功能在调机位的时候,可以在同一个视图,实时预览相机正在拍摄的画面。
不用来回切视窗,也不用反复调整...
「导演视角」和「机位视角」还能丝滑切换,也就是说支持一边调相机,一边调模型。
太细了,对于我这种一点建模基础都没有的手残党来说,简直是直接把饭喂到嘴边的程度!
另外,如果觉得画面太广或太窄,右侧栏的「摄像机属性」里能调焦段,挺方便的。
要精控场景,可以先在图片节点生成普通的场景图,一键转化成 720° 场景图。
然后加入导演台节点作背景,从源头保持视频生成空间的稳定。
这个功能,特别适合对一致性要求比较严苛的 AIGC 深度创作者使用。
模型制作完毕后,就能一键截图发送到画布,作为参考图生成了!!
最后,我录了一段操作视频,新手可以直接跟着我的教程做:
下面是我自己实跑的几个案例,咱们直接看效果。
二、实测案例
首先,我先拿一个很简单的双人场景,测试它能不能辅助模型看懂人物站位关系。
这是它给的结果:
这是我的辅助图:
常常做短剧抽卡的小伙伴都知道,下跪这个动作很容易畸变,有时候控不好,人物就容易莫名其妙地变矮变小。
因为用导演台精控了一下,男主的身高维持在正常的区间,下跪的动作也很自然。
最难得的是,正反打画面的时候,没有出现男主一下在左边,一下在右边的诡异场景,人物的空间关系一直是连续的。
接着,我开始上难度了。
测了一下特殊角度的镜头,这是我的辅助图:
说实话,这种刁钻的镜头不上参考图,只用文字 prompt 描述,很可能跑一整天也跑不出来。
就算跑出来了,也有很大概率发生形变,因为这种非常规视角本来就少,模型只能瞎编。
下面是精控后的结果:
一次成型,基本没怎么抽卡。角度还原得很准,人物也没有发生形变。
然后,我顺手测了一下人物的特殊姿势,用素模摆出了游戏里常见的待机 pose:
不太会捏模,求轻喷....
测试的重点是看导演台能不能把两个人的体型差、动作差异完全还原。
由于姿势比较复杂,除非找到特别合适的参考图,一般情况下,两个人动作很容易互相串。
结果,导演台一次生成的结果,就能1:1还原模型姿势了,我还是比较满意的。
生成视频的时候,我发现字幕识别有错误。
没想到 LibTV 还内置了智能去字幕功能,能一键擦除字幕。
太贴心了,连这种边角料的活儿都替你想到了....
这是最终成片:
最后,我做了一个三人场景的 40s 小短片,测试在长叙事场景下,功能是否能稳定使用。
这是我的成片结果:
我的方法是先用导演台功能跑一个故事板,逐帧生成 5s 的画面,最后拼接在一起。
这是基础的人物站位俯视图,素模这里本意是想放一张长桌,但是后面觉得不太美观,就改掉了。
为了让画面更丰富,我尝试了很多机位:
现实中为了避免穿帮,多机位需要拍很多遍,但是在 libTV 导演台里,「机位视角」是看不到别的摄像机的。
只用摆好模型,切换机位直接截图,一套分镜几分钟就跑出来了,爽哉爽哉。
成片整体表现还不错。女主、男主、女仆的位置关系基本稳定,镜头上,我用素模截图提示过的中景、正反打和特写都跑了出来,能看出是画面是在按逻辑往前推进,没有跑着跑着就开始放飞自我。
虽然个别动作衔接还有点跳,但已经比纯用参考图跑的结果要好很多了,已经有了基本的空间约束关系。
我在跑短片的时候有一个感受:真正影响成片观感的,并不是分镜设计有多精美,而是每个镜头之间能不能衔接得自然。
LibTV 这个工作流比较顺手的地方,就在于它的节点关系很直观,每一步之间怎么连接,哪个画面影响哪个镜头,很清楚地顺着链路看出来,后期调整也比较方便。
另外,首尾帧一键截图这个功能也挺实用。跑长叙事的时候,直接截首尾帧去对齐画面细节,比反复靠文字描述要省事很多。
没有这个功能,纯硬跑,我不知道要浪费多少时间....
不得不说,Libtv,还是你懂创作者。
三、絮叨
这两年 AI 视频生成的战场,已经在悄悄换地方了。
最早大家都在卷画面。现在顶级模型出一段特写镜头,质感堪比电影截图。
画质这一仗,基本已经打完了,接下来要拼的,是谁更"听话"。
衡量一个视频生成工具好不好,最终还是废片率能否压下去。跑十条废九条,再便宜也是贵;十条能用八条,再贵也值。
可惜的是,视频模型更擅长在时间上把画面继续下去,却对真实的空间结构没什么概念。所以视角一换,空间关系就全部乱套了。
于是“精控”成了今年人人都关注的重点,可灵卷运镜、Runway 上运动笔刷,各家都在加相机控制。但这些也并没有给到模型一副三维骨架。
LibTV这个方向,我认为是正确的:
它把空间约束这个步骤,交回到创作者自己手里。模型不用猜,你可以直接告诉它什么是对的,什么是错的。
把三维世界搭好再生成,对要求准确性、追求镜头精控的人来说,是从源头少走弯路。
对要走量产的人来说,省下来的钱也不止一星半点。
当然,工具好不好用,光看别人说没意义,还得自己上手跑。
我把体验链接放下面了,感兴趣的可以去试试。尤其是常年被抽卡折磨的朋友,真的建议去跑一下。
最近正好有活动,创作会员低至 3.7 折,最多送 160 条 Seedance 2.0;要是团队作业,团队版最多能送到 2000 条。另外 LibTV 内置的 Seedance 2.0 开了 VIP 不用排队,算下来低至 0.36 元/秒。
体验链接:
https://www.liblib.tv/
没有评论:
发表评论