Sync Labs 又整了个啥活儿?Lipsync-2 闪亮登场!
各位小伙伴注意啦!最近,人工智能技术公司 Sync Labs 在推特上炸开了锅,宣布推出了他们家的最新宝贝——Lipsync-2。这玩意儿号称是“全球首个零-shot口型同步模型”,啥意思呢?就是说,它压根儿不用提前学,就能直接让视频里的人,张嘴闭嘴跟你说的话一模一样,而且还能保留人家自己的风格,简直不要太神奇!听说这技术在真实度、表现力、控制力、质量和速度上都大大提升了,无论是真人视频、动画片,还是AI生成的内容,都能用得上。
Lipsync-2 的那些“黑科技”
根据 Sync Labs 在 4 月 1 号发的推特,Lipsync-2 最牛的地方就是它的“零-shot”能力。简单来说,就是不用给它喂大量的数据去训练,它自己就能学会,然后根据视频里的人的说话方式,自动生成匹配的口型。这下可厉害了,以前搞口型同步,得准备一大堆训练数据,现在有了它,效率嗖嗖地往上涨!
而且,Sync Labs 还说,Lipsync-2 在各个方面都做了升级。不管是真人视频,还是动画角色,或者是 AI 生成的人物,都能让口型看起来更真,更有表现力。
新增“温度”控制:想咋样就咋样!
更厉害的是,Lipsync-2 还增加了一个叫做“温度”(temperature)的控制功能。你可以通过这个参数来调节口型同步的程度,想要自然一点的,还是夸张一点的,都能自己说了算。不过,目前这个功能还在小范围测试,只有付费用户才能先体验。
这玩意儿能干啥?教育、创作,潜力无限!
Sync Labs 在 4 月 3 号的推特里,还展示了 Lipsync-2 的一些应用场景,说它“在准确性、风格和表现力上都非常出色”,还提出了一个“让每场讲座都能用各种语言呈现”的愿景。有了这个技术,不仅可以做视频翻译,还可以编辑字幕,甚至能让角色重新动起来,还能支持逼真的 AI 用户生成内容(UGC),绝对能给教育、娱乐和营销领域带来一场革命。
行业都炸锅了,未来可期!
Lipsync-2 一发布,立马就引起了行业的关注。Sync Labs 说,他们已经在 fal 平台上开放体验了,大家可以去 fal 的模型库里看看。从 4 月 1 号发布到现在,推特上关于 Lipsync-2 的讨论就没停过,大家都觉得这玩意儿的应用潜力太大了。
Sync Labs 作为人工智能视频技术的领头羊,通过 Lipsync-2 再次证明了他们在创新领域的实力。随着这项技术的普及,内容创作的门槛可能会进一步降低,咱们也能享受到更自然、更沉浸式的视听体验啦!