AI让照片“复活”:图生视频技术兴起
在过去,让静态的照片或图画拥有“生命力”,似乎是天方夜谭。但AI技术的飞速发展,让模糊照片变清晰,让静态图片动起来成为了可能。近日,AI复原历史人物引发热议,人们对AI生成动态视频的需求也日益增长。
即梦AI近期上线的“动作模仿”功能备受关注。用户只需上传一张人物图片和一段参考视频,AI就能生成模仿该视频动作的动态视频,甚至能还原人物的情绪。
《IT时报》记者选取了即梦AI、海螺AI和Vidu三款应用,对它们的图生视频能力进行了全面测试。
海螺AI:创意运镜大师
海螺AI(原海螺问问)由MiniMax开发,提供互动对话、声音克隆和智能创作等功能。在AI视频生成方面,海螺AI强调运动感和运镜技巧。其AI视频生成页面提供“如何控制运镜”的教程链接,方便用户学习。
测试中,记者上传了一张竹叶静图,设置“左移、上升”的运镜,并输入提示词“竹叶缓缓飘动,让人感觉到风的存在”。海螺AI优化提示词后,生成了一段6秒的视频。
随后,记者又测试了一张宠物狗图片,设置“左移,跟随”的运镜,提示词为“小狗朝着看向的地方欢快地跑去”,同样生成了6秒的视频。
最后,记者上传了一张人物在红墙前微笑的照片,设置运镜为“推出、上升、下摇”,提示词是“女生放下拍照时用的‘剪刀手’,朝镜头走来”。
使用体验
海螺AI在竹叶飘动和宠物狗跑动场景下的表现令人满意,画面自然流畅。人物动作也较为自然,但在人物走向镜头时,面部细节有所失真,还有提升空间。
Vidu:富有想象力的AI
Vidu是生数科技与清华大学联合推出的视频大模型,以长时长、高一致性和高动态性为特点。Vidu能够模拟真实物理世界,并具备丰富的想象力。Vidu 2.0版本提升了生成速度,非会员可生成4秒视频,会员可生成8秒无水印视频。
Vidu提供详细的使用指南,强调避免主体过多或叙述过于文学化。它还具有联想能力,能根据基础词自动构图,并提供详细的环境描述。
记者使用与海螺AI相同的素材和提示词,对比两者的生成效果,分别测试了竹叶图、小狗图和人像图。
使用体验
海螺AI和Vidu各有优势。海螺AI擅长运镜,Vidu AI则注重细节处理。在竹叶图测试中,Vidu的镜头按照提示词进行,但缺少运动感。当不加任何提示词时,Vidu展现出联想能力,生成了阳光下竹叶轻轻摇动的画面。
小狗图的测试结果略显不足,视频仅展现了“左移”的提示,未能表现出跟随动作,小狗也没有跑动。相比之下,海螺AI生成的视频更为丰富逼真。但Vidu在细节方面表现出色,例如小狗吐舌头、耳朵晃动等处理得令人满意。
在人像图方面,Vidu的肢体动作自然,人物面貌与本人更贴近。不足之处是人物笑容略显僵硬,希望Vidu在人物表情方面能有更多提升。
即梦AI:趣味动作模仿秀
即梦AI的“动作模仿”功能为图生视频带来了新玩法。用户通过“数字人”入口,上传人物图片和参考视频,即可生成动态视频。该功能支持不同画幅,并提供四个官方动作模板。
记者在即梦AI电脑端体验了对口型功能,上传了一张孩童荡秋千的图片,输入台词“妈妈,秋千真好玩”,选择“小男孩”音色,生成了一段2秒的短视频。
记者还尝试了动作模仿功能,上传了两张全身像,体验了流行的“李曦承进行曲”舞步模板,感受了一把“模仿秀”的乐趣。
即梦AI生成的视频最长为30秒,平台提醒用户上传拥有合法授权的素材,并对视频内容进行审核,添加“AI生成”水印。
使用体验
对口型功能在一定程度上还原了幼童说话的神态,但音色选择较少,动作略显浮夸。希望后续能扩展音色模板,覆盖更多年龄段。
动作模仿功能带来了一定的惊喜,图片中的人物跟随音乐律动起来,动感较强。但人物形象有所失真,表情略显僵硬,逼真度有待提升。