AITOP100平台获悉,9月11日下午,生数科技联合清华大学研发的视频大模型Vidu迎来重大更新,全球首发“主体参照”(Subject Consistency)功能,标志着视频生成技术进入一个全新阶段,AI视频人物一致性就这样被VIDU解决了!
Vidu视频大模型崭露头角
自4月底全球发布以来,Vidu视频大模型凭借其快速推理、精确语义理解、高动态性和极致动漫风格等优势,在7月底正式上线并全面开放使用,迅速成为全球视频大模型领域的佼佼者。
全球首创“主体参照”功能,实现任意主体一致性生成
9月11日,生数科技举办媒体开放日活动,正式推出“主体参照”功能。
所谓“主体参照”技术就是用户上传一张任意主体的图片,Vidu便能精确锁定该主体形象,并允许通过文字描述来变换场景,从而生成视频中主体形象保持一致的作品。这一功能不仅限于单一对象,而是适用于各类主体,包括人物、动物、商品,甚至是动漫角色和虚构形象,确保了视频生成过程中的高度一致性和可控性。Vidu作为全球首个具备此能力的视频大模型,能够确保无论是真实人物还是虚构角色,在多样化的环境和镜头转换中,其形象都能保持连贯统一。
在视频大模型领域,虽然“图生视频”和“角色一致性”等技术已有所发展,但Vidu的“主体参照”功能在保持一致性方面取得了重大突破。
以下是三项技术的对比分析:
(1)图生视频(Image to Video)技术:这种技术依赖于首帧画面的连续生成,无法直接创造目标场景,从而限制了视频内容的丰富性和场景的灵活性。
(2)角色一致性(Character to Video)技术:这种技术主要关注于人物面部特征的一致性,但在保持人物整体形象稳定方面存在挑战。
(3)主体参照(Subject Consistency)技术:Vidu的这项技术不仅限于人物,而是适用于任意主体。在处理人物主体时,用户可以选择保持面部一致,或是保持人物整体形象的高度一致,并通过输入文字描述来灵活地生成目标场景。
以科比的角色为例,使用Vidu的“主体参照”功能,输入“在现代餐厅喝茶”的描述,我们可以清晰地看到,科比的形象在现代场景中得到了精确保留,视频输出的场景既自然又真实。
改变视频创作“游戏规则”,提升创作效率
在视频大模型领域,虽然新模型不断涌现,但普遍存在一个问题:难以保持视频内容的一致性。这在对特定角色或物体进行视频创作时尤为明显,因为它们的形象需要在整个视频中保持连贯。现有模型在这方面表现不佳,尤其是在复杂动作和交互场景中,主体形象容易崩溃。此外,视频输出的随机性和对细节如镜头、光影效果的掌控不精确,限制了创作完整视频内容的能力。传统AI视频制作方法繁琐且缺乏创意。
Vidu的“主体参照”功能颠覆了这一现状。它简化了流程,允许用户上传主体图片并输入场景描述,直接生成视频素材,极大地减少了工作量,并解放了创作者的想象力。这一技术革新不仅提升了视频创作的自由度,还开辟了新的创新空间。
支持多样角色类型
Vidu的最新功能扩展了对角色类型的支持,不仅包括真人,还涵盖了2D动画角色和3D建模角色。这一创新技术极大地丰富了创作工具箱,使得电影制作人、游戏开发者以及广告创意专家能够在多样化的项目中进行角色的一致性管理和场景转换,确保角色在各个场景和时间线中的连贯性和真实感。
应用场景广泛
Vidu的“主体参照”视频生成技术为艺术创作和商业广告领域带来了革命性的进步。它不仅能够满足艺术家对于创作高度个性化艺术作品的需求,同时也能满足商业广告在高效制作上的要求,为这两个领域提供了前所未有的技术支持和创作自由。无论是追求独特视觉体验的艺术项目,还是需要快速响应市场的商业宣传,VIDU的技术都能助力创作者实现他们的创意愿景。
“主体参照”功能指引文档
为了便于用户掌握和使用VIDU的“主体参照”视频生成功能,我们精心准备了详细的功能指南。用户可通过以下链接查阅和下载该指南,全面了解如何运用VIDU进行视频创作,以及相关技巧。
指南链接:https://pkocx4o26p.feishu.cn/docx/Mb77dt8VxoskqvxgFiMcfwwsnNe?from=from_copylink。
Vidu AI视频工具官网:【点击登录】
“主体参照”功能的上线,标志着AI视频创作迈向更高效、更灵活的阶段。生数科技表示,将继续探索精确控制多主体交互、风格统一、多变场景稳定切换等复杂元素,以满足更高层次的叙事需求。未来,视频创作行业将因AI技术的颠覆性变革而焕发新生。