生成式AI领域再掀波澜,2024年6月17日晚上,知名的生成式人工智能公司Runway通过其官方网站推出了最新一代的文本到视频生成模型——Gen-3 Alpha。
Runway官网
地址: https://www.aitop100.cn/tools/detail/1593.html
Gen-3 Alpha在继承Gen-2的基础上,对视频生成的各项指标进行了全面升级,包括画质、色彩精度、饱和度、光影处理、文本理解与转换、镜头运用、动作连贯性和场景转换等方面均显著优化。与此同时,Gen-3 Alpha加入了Sora、可灵、Dream Machine和抖音的Dreamina等模型的行列,成为一个能够精准模拟现实世界物理反应的世界模型,能够逼真地再现物体下落、碰撞、接触、风力作用、生物成长和降雨等各种自然现象。
Gen-3 Alpha是Runway在新的基础设施上训练的一系列模型中的第一个,这个基础设施是为了大规模多模态训练而建立的。Gen-3 Alpha将支持Runway的文本到视频、图像到视频和文本到图像工具,以及现有的控制模式,如运动画笔、高级相机控制和导演模式,未来还将推出更多用于更细致控制结构、风格和运动的工具。
Gen-3 Alpha 经过视频和图像联合训练,将为 Runway 的文本转视频、图像转视频和文本转图像工具、现有控制模式(如运动画笔、高级相机控制、导演模式)以及即将推出的工具提供支持,以更精细地控制结构、风格和运动。Gen-3 Alpha 将发布一套新的保护措施,包括我们全新改进的内部视觉审核系统和 C2PA 出处标准,以确保该模型不被用于生成有害内容。
目前Gen-3 Alpha尚未面向公众进行广泛测试,但Runway已经邀请了影视制作和软件开发等领域的人员参与内测,泄露出的视频片段显示其生成的视频效果令人印象深刻,能够一次性生成长达11秒的视频内容。
我们AITOP100平台精选了一些官网上Gen-3 Alpha生成的具有代表性的视频片段,并对其卓越之处进行了详细的分析和解读。
案例一:
火车在飞速行驶中,车窗外的霓虹灯照在女人的脸上,仔细看在她的脸颊、鼻子上都有不同层次的灯光反射效果,同时她受到外界霓虹灯光的刺激后,还会自然地眨眼,这一点很人性化、很了不起。
案例二:
火车在轨道上行驶,列出两旁的房屋和电线往后移动,非常的丝滑,列车驾驶室的各个指针仪表细微的跳动让一切看来很真实
Gen-3Apha几大亮点
亮点1.细粒度的时间控制
Gen-3 Alpha 已接受过高度描述性、时间密集的字幕训练,能够实现富有想象力的过渡和场景中元素的精确关键帧
亮点2.逼真的人类
Gen-3 Alpha 擅长创造具有多种动作、手势和情感的富有表现力的人类角色,从而开启新的故事讲述机会。
亮点3.为艺术家而生,由艺术家而生
训练 Gen-3 Alpha 是一支由研究科学家、工程师和艺术家组成的跨学科团队的合作成果。它旨在诠释各种风格和电影术语。
此次发布,Runway不仅兑现了联合创始人今年2月25日的承诺——做出比Sora更好的文生视频,更标志着其在视频生成领域的重要进步。作为新的基础设施上训练的一系列模型中的第一个,Gen-3 Alpha将支持Runway的文本到视频、图像到视频和文本到图像工具,以及现有的控制模式,如运动画笔、高级相机控制和导演模式,未来还将推出更多用于更细致控制结构、风格和运动的工具。
Runway的Gen-3 Alpha发布,无疑为视频生成领域带来了新的突破,也为广大用户提供了更多优质、逼真的视频体验。在未来,Runway将继续致力于AI技术的创新与发展,为行业带来更多惊喜。
AITOP100平台资讯专区: https://www.aitop100.cn/infomation/index.html