腾讯混元3D——首个同时集成文生和图生的3D开源模型。
腾讯在3D生成领域取得了突破性进展,推出了Hunyuan3D-1模型,这不仅是3D生成开源界的首个同时支持文字和图像转换为3D的模型,而且效果达到了最先进的SOTA级别。腾讯此次宣布,将同时开源轻量版和标准版两个版本的Hunyuan3D-1模型,极大地推动了3D技术的普及和应用。
腾讯混元3D:【点击链接】
Hunyuan3D-1模型的创新之处
- 极速3D生成: Hunyuan3D-1模型能够实现端到端的快速生成,最快仅需10秒,极大地缩短了3D资产的制作时间。
- 多视角重建技术: 模型首先生成六个多视角图像,然后通过多视角重建技术,迅速构建出360度无死角的3D资产。
- 细节呈现: 无论是人物形象还是复杂结构如葡萄等,Hunyuan3D-1都能以惊人的细节呈现出来,包括薄如枫叶的物体和镂空雕刻花纹。
- 性能提升: 在实验中,Hunyuan3D-1在定性和定量评估中均超越了之前的SOTA开源模型,推理性能显著提升,轻量版在A100 GPU上的生成时间约为10秒,标准版约为25秒。
- 全面开源: Hunyuan3D-1的模型权重、推理代码和模型算法等已全部开源,为全球开发者和企业提供了强大的工具。
技术实现细节
- 多视图生成与重建: Hunyuan3D-1采用多视图生成、多视图重建的两阶段生成方法。输入图像后,使用多视角扩散模型合成六个新视角图像,然后输入基于Transformer的稀疏视角大规模重建模型。
- 自适应CFG: 第一阶段多视图生成采用了自适应CFG,为不同视角和时间步设置不同的CFG尺度值,以保证生成控制和真实性。
- 混合输入处理: 第二阶段多视图重建结合了已校准和未校准的混合输入,通过专门的视角无关分支整合条件图像信息,提升生成图像中的不可见部分精度。
- SDF隐式表示: Hunyuan3D-1采用Signed distance function(SDF)的隐式表示,通过Marching cube算法在三维空间进行采样查询得到signed distance,输出3D mesh。
应用前景
腾讯混元3D大模型的应用正在逐步落地,例如腾讯地图基于该模型发布了自定义3D导航车标功能,腾讯元宝APP上线了“3D角色梦工厂”,支持个性化的UGC 3D人物生成。
腾讯Hunyuan3D-1模型的开源,为3D生成领域带来了革命性的变化。它不仅提升了3D资产生成的效率和质量,还降低了技术门槛,使得更多的开发者和企业能够参与到3D技术的创新和应用中来。
更多AI行业最新资讯信息请关注AI人工智能网站--AITOP100平台--AI资讯专区:https://www.aitop100.cn/infomation/index.html