AI视频制作迎来新革命!“力提示”技术让你秒变动画大神!
还在羡慕别人的酷炫动画视频?还在为复杂的3D建模头疼?别担心!谷歌DeepMind团队联合布朗大学,推出了一个超给力的黑科技——“力提示”(force prompting)!这项技术简直就是手残党的福音,让你告别繁琐的操作,轻松生成逼真的运动效果,而且完全不需要啥3D模型和物理引擎!简直是AI视频生成领域的一大突破!
想让视频里的物体动起来?就像玩游戏一样简单!
有了“力提示”技术,你就是视频里的上帝!想让旗帜飘扬?想让小球滚动?只需简单地指定力的方向和强度,AI就能帮你搞定!你可以控制全局的力,比如模拟整体的风力,也可以控制局部的力,比如模拟敲击某个点。力量以矢量场的形式输入系统,然后AI会把它转换为自然流畅的运动,让你的视频瞬间充满活力!
技术解析:ControlNet + Transformer,打造丝滑动画体验
这个神奇的技术是怎么实现的呢?研究团队基于CogVideoX-5B-IV视频模型,还加入了ControlNet模块来处理物理控制数据。信号通过Transformer架构,最终生成视频。每段视频有49帧,而且训练过程只用了4台 Nvidia A100GPU,一天就能搞定!
训练数据全是“人造”?效果却出奇的好!
更让人惊讶的是,训练数据居然全是合成的!包括1.5万段不同风力下旗帜飘动的视频,1.2万段滚动球体的视频,还有1.1万段花朵受冲击反应的视频。这些数据让模型学会了 “风”、“气泡” 等物理术语背后的力与运动关系。
虽然训练数据量不大,但这模型展现出了强大的泛化能力!能适应新物体、新材质和新场景,甚至还掌握了一些简单的物理规则,比如轻的东西在相同力量下会移动得更远。厉害了我的 AI!
用户实测:效果超越传统方法!
用户测试表明,“力提示”技术在运动匹配度和真实感方面,都比那些只靠文本或运动路径控制的模型要好!甚至比基于真实物理模拟的PhysDreamer还要强!当然,也不是完美无缺。在复杂场景中,比如烟雾有时无法正确地受到风力影响,人体手臂的运动偶尔会像布料一样飘逸。
DeepMind CEO:AI正在学习物理世界!
DeepMind 的大佬 Demis Hassabis 说,下一代 AI 视频模型(比如 Veo3)正在逐步理解物理规则,不再只会处理文本和图像,而是开始理解世界的物理结构。这是迈向更通用AI的重要一步!未来的AI有望通过经验学习,在模拟环境中不断优化和提升能力!
github地址:https://force-prompting.github.io/