家人们AITOP100平台获悉,阿里通义实验室在3D人体重建领域取得重大进展,其研发的LHM(大型可动画人体重建模型)技术,为该领域带来新的突破和广阔的应用前景。
单图3D人体重建的挑战
从单张图像重建可动画的3D人体模型一直以来都是一个极具挑战性的任务,存在几何、外观和变形分离的模糊性等难题。现有研究多集中于静态人体建模,且依赖合成3D扫描数据进行训练,限制了其在真实场景中的泛化能力。基于视频优化的方法则对捕获条件要求苛刻,计算量大,难以满足实际应用需求。
LHM模型:多模态Transformer架构
为解决上述难题,LHM模型应运而生。该模型创新性地采用了多模态Transformer架构,通过强大的注意力机制,有效地编码人体位置特征和图像特征。LHM不仅能精准重建人体的几何形状,还能精细地保留服装的几何细节和纹理,为用户呈现更加真实细腻的3D人体模型。
头部特征金字塔编码方案
LHM还提出了头部特征金字塔编码方案,通过聚合头部区域的多尺度特征,提升了模型对人体头部细节的捕捉能力,使生成的3D人体模型在头部表现上更加逼真。LHM具有极高的效率,能够在短时间内生成可动画的人体模型,无需复杂的后期处理,显著节省时间和人力成本。
实验验证及优势
大量实验验证表明,LHM在重建精度和泛化能力方面均优于现有方法。无论在复杂场景还是不同光照条件下,LHM都能稳定输出高质量的3D人体重建结果。
详情请点击:阿里通义实验室LHM技术地址