3D人体生成模型HumanGaussian实现原理
来源：公众号 机器之心 授权
在 3d 生成领域，根据文本提示创建高质量的 3d 人体外观和几何形状对虚拟试穿、沉浸式远程呈现等应用有深远的意义。传统方法需要经历一系列人工制作的过程，如 3d 人体模型回归、绑定、蒙皮、纹理贴图和驱动等。为了自动化 3d 内容生成，此前的一些典型工作（比如 dreamfusion [1] ）提出了分数蒸馏采样 (score distillation sampling)，通过优化 3d 场景的神经表达参数，使其在各个视角下渲染的 2d 图片符合大规模预训练的文生图模型分布。然而，尽管这一类方法在单个物体上取得了不错的效果，我们还是很难对具有复杂关节的细粒度人体进行精确建模。
为了引入人体结构先验，最近的文本驱动 3d 人体生成研究将 sds 与 smpl 等模型结合起来。具体来说，一个常见的做法是将人体先验集成到网格（mesh）和神经辐射场（nerf）等表示中，或者通过将身体形状作为网格 / 神经辐射场密度初始化，或者通过学习基于线性混合蒙皮（linear blend skinning）的形变场。然而，它们大多在效率和质量之间进行权衡：基于 mesh 的方法很难对配饰和褶皱等精细拓扑进行建模；而基于 nerf 的方法渲染高分辨率结果对时间和显存的开销非常大。如何高效地实现细粒度生成仍然是一个未解决的问题。
最近，3d gaussian splatting（3dgs）[2] 的显式神经表达为实时场景重建提供了新的视角。它支持多粒度、多尺度建模，对 3d 人体生成任务非常适用。然而，想要使用这种高效的表达仍有两个挑战：1) 3dgs 通过在每个视锥体中排序和 alpha - 混合各向异性的高斯来表征基于图块的光栅化，这仅会反向传播很少一部分的高置信度高斯。然而，正如 3d 表面 / 体积渲染研究所证实的那样，稀疏的梯度可能会阻碍几何和外观的网络优化。因此，3dgs 需要结构引导，特别是对于需要层次化建模和可控生成的人体领域。2）朴素的 sds 需要一个较大的无分类器指导（classifier-free guidance）来进行图像文本对齐（例如，在 dreamfusion [1] 中使用的 100）。但它会因过度饱和而牺牲视觉质量，使真实的人类生成变得困难。此外，由于 sds 损失的随机性，3dgs 中原始的基于梯度的密度控制会变得不稳定，导致模糊的结果和浮动伪影。
在最近的一项工作中，香港中文大学、腾讯 ai lab、北京大学、香港大学、南洋理工大学团队推出最新有效且快速的 3d 人体生成模型 humangaussian，通过引入显式的人体结构引导与梯度规范化来辅助 3d 高斯的优化过程，能够生成多样且逼真的高质量 3d 人体模型。目前，代码与模型均已开源。
核心方法
（1）structure-aware sds
研究者基于 smpl-x 网格形状初始化 3d 高斯中心位置：
1）以前的研究使用运动结构点（structure-from-motion）或 shap-e [3] 和 point-e [4] 等通用文本到点云先验。然而，此类方法通常在人体类别中存在点过于稀疏或身体结构不连贯等问题。
2）作为 smpl 的扩展，smpl-x 补充了人脸和手部的形状拓扑，有利于进行具有细粒度细节的复杂人体建模。基于这些观察，研究者提出了在 smpl-x 网格表面均匀采样点作为 3dgs 初始化。他们对 3dgs 进行缩放和变换，使其达到合理的人体尺寸并位于 3d 空间的中心。
由于 smpl-x 先验仅用作初始化，因此需要更全面的指导来促进 3dgs 训练。研究者提出使用一个同时捕获纹理和结构联合分布的 sds 源模型，而不是从仅学习外观或几何形状的单一模态扩散模型中学习 3d 场景。他们使用结构专家分支扩展预训练的 stable diffusion 模型，以同时对图像 rgb 和深度图进行去噪：
借助这种方式，研究者获得了一个统一的模型，可以捕获外观的图像纹理和前景 / 背景关系的结构，该模型可以在 sds 中用于促进 3dgs 学习。
通过生成空间对齐图像 rgb 和深度的扩展扩散模型，可以从结构和纹理方面同时指导 3dgs 优化过程：
这种结构正则化有助于减少几何失真，从而有利于具有稀疏梯度信息的 3dgs 优化。
（2）annealed negative prompt guidance
为了促进文本与 3d 生成内容之间的对齐，dreamfusion [1] 使用较大的无分类器引导尺度来更新 3d 场景优化的分数匹配差异项：
在这个公式中，可以自然地将分数匹配差异分解为两部分，其中前一项是将图像推向更真实的流形的生成分数；后一项是将样本与隐式分类器对齐的分类器分数。然而，由于生成分数包含高方差的高斯噪声，它提供了损害训练稳定性的随机梯度信息。为了解决这个问题，dreamfusion 特地使用较大的无分类器引导尺度，使分类器分数主导优化，导致模式过度饱和。相反，研究者仅利用更清晰的分类器分数作为 sds 损失。
在文生图和文生 3d 领域中，负文本被广泛用于避免生成不需要的属性。基于此，研究者提出增加负文本分类器分数以实现更好的 3dgs 学习。
根据经验，研究者发现负文本分类器分数会在小时间步长内损害质量，因此使用退火的负文本引导来结合两个分数进行监督：
实验结果
研究者与通用的文生 3d 和 3d 人体生成领域的模型进行对比。可以看到，humangaussian 取得了优越的性能，渲染出更真实的人体外观、更连贯的身体结构、更好的视图一致性、更细粒度的细节捕捉:
此外，研究者还通过消融实验验证了各个模块的有效性。可以看出，smpl-x 提供的人体结构先验可以给 3dgs 优化提供初始化信息；负文本引导可以确保逼真的人体纹理外观；图像 rgb 与深度图双分支的 sds 监督约束可以同时对人体的几何和纹理进行优化；最后根据高斯大小进行剪枝可以去除雾状的伪影：
更多样本请参考文章的项目主页以及 demo 视频。
总结与未来工作
本文提出 humangaussian，一种有效且快速的框架用于生成具有细粒度几何形状和逼真外观的高质量 3d 人体。humangaussian 提出两点核心贡献：
（1）设计了结构感知的 sds，可以显式地引入人体结构先验，并同时优化人体外观和几何形状；
（2）设计了退火的负文本引导，保证真实的结果而不会过度饱和并消除浮动伪影。总体来说，humangaussian 能够生成多样且逼真的高质量 3d 人体模型，渲染出更真实的人体外观、更连贯的身体结构、更好的视图一致性、更细粒度的细节捕捉。
未来工作：
由于现有的文生图模型对于手部和脚部生成的性能有限，研究者发现它有时无法高质量地渲染这些部分；
后背视图的渲染纹理可能看起来模糊，这是因为 2d 姿势条件模型大多是在人类正面视图上训练的，而人类后视图的先验知识很少。
果蔬农残快速检测仪的应用优势是什么
RS-485通信中地址扩展转换器的应用
音响频率响应多少好_频率响应大好还是小好
去离子器基本原理及应用概述
变频器的应用领域？
3D人体生成模型HumanGaussian实现原理
诺基亚6与小米5哪个好
半导体集成电路封装的技术层次和分类详细介绍！
电视显示未连接路由器原因分析
英威腾HT11系列产品提供电力保障 华润微电子获江苏省科学技术奖
HMC8120可变增益放大器
用于RKE和TPMS系统的UHF远程控制接收器
汽车电子打造安全、舒适、环保汽车的行车环境
针对恶劣工业环境选择以太网的三大注意事项
百度通过云智一体特色能力实现元宇宙与实体经济的虚实融合
中国多城5G基站建设时间表出炉 基站数至少超过800万个
小米双折叠屏手机首秀遭柔宇科技高管炮轰
gds在线监控报警系统需要取得哪些认证
全部国产手机笑了，高通骁龙660来了，下周发布，性能超乎想象
空调双雄由价格战打到专利战 竞争激烈多元化
在 3d 生成领域，根据文本提示创建高质量的 3d 人体外观和几何形状对虚拟试穿、沉浸式远程呈现等应用有深远的意义。传统方法需要经历一系列人工制作的过程，如 3d 人体模型回归、绑定、蒙皮、纹理贴图和驱动等。为了自动化 3d 内容生成，此前的一些典型工作（比如 dreamfusion [1] ）提出了分数蒸馏采样 (score distillation sampling)，通过优化 3d 场景的神经表达参数，使其在各个视角下渲染的 2d 图片符合大规模预训练的文生图模型分布。然而，尽管这一类方法在单个物体上取得了不错的效果，我们还是很难对具有复杂关节的细粒度人体进行精确建模。
为了引入人体结构先验，最近的文本驱动 3d 人体生成研究将 sds 与 smpl 等模型结合起来。具体来说，一个常见的做法是将人体先验集成到网格（mesh）和神经辐射场（nerf）等表示中，或者通过将身体形状作为网格 / 神经辐射场密度初始化，或者通过学习基于线性混合蒙皮（linear blend skinning）的形变场。然而，它们大多在效率和质量之间进行权衡：基于 mesh 的方法很难对配饰和褶皱等精细拓扑进行建模；而基于 nerf 的方法渲染高分辨率结果对时间和显存的开销非常大。如何高效地实现细粒度生成仍然是一个未解决的问题。
最近，3d gaussian splatting（3dgs）[2] 的显式神经表达为实时场景重建提供了新的视角。它支持多粒度、多尺度建模，对 3d 人体生成任务非常适用。然而，想要使用这种高效的表达仍有两个挑战：1) 3dgs 通过在每个视锥体中排序和 alpha - 混合各向异性的高斯来表征基于图块的光栅化，这仅会反向传播很少一部分的高置信度高斯。然而，正如 3d 表面 / 体积渲染研究所证实的那样，稀疏的梯度可能会阻碍几何和外观的网络优化。因此，3dgs 需要结构引导，特别是对于需要层次化建模和可控生成的人体领域。2）朴素的 sds 需要一个较大的无分类器指导（classifier-free guidance）来进行图像文本对齐（例如，在 dreamfusion [1] 中使用的 100）。但它会因过度饱和而牺牲视觉质量，使真实的人类生成变得困难。此外，由于 sds 损失的随机性，3dgs 中原始的基于梯度的密度控制会变得不稳定，导致模糊的结果和浮动伪影。
在最近的一项工作中，香港中文大学、腾讯 ai lab、北京大学、香港大学、南洋理工大学团队推出最新有效且快速的 3d 人体生成模型 humangaussian，通过引入显式的人体结构引导与梯度规范化来辅助 3d 高斯的优化过程，能够生成多样且逼真的高质量 3d 人体模型。目前，代码与模型均已开源。
核心方法
（1）structure-aware sds
研究者基于 smpl-x 网格形状初始化 3d 高斯中心位置：
1）以前的研究使用运动结构点（structure-from-motion）或 shap-e [3] 和 point-e [4] 等通用文本到点云先验。然而，此类方法通常在人体类别中存在点过于稀疏或身体结构不连贯等问题。
2）作为 smpl 的扩展，smpl-x 补充了人脸和手部的形状拓扑，有利于进行具有细粒度细节的复杂人体建模。基于这些观察，研究者提出了在 smpl-x 网格表面均匀采样点作为 3dgs 初始化。他们对 3dgs 进行缩放和变换，使其达到合理的人体尺寸并位于 3d 空间的中心。
由于 smpl-x 先验仅用作初始化，因此需要更全面的指导来促进 3dgs 训练。研究者提出使用一个同时捕获纹理和结构联合分布的 sds 源模型，而不是从仅学习外观或几何形状的单一模态扩散模型中学习 3d 场景。他们使用结构专家分支扩展预训练的 stable diffusion 模型，以同时对图像 rgb 和深度图进行去噪：
借助这种方式，研究者获得了一个统一的模型，可以捕获外观的图像纹理和前景 / 背景关系的结构，该模型可以在 sds 中用于促进 3dgs 学习。
通过生成空间对齐图像 rgb 和深度的扩展扩散模型，可以从结构和纹理方面同时指导 3dgs 优化过程：
这种结构正则化有助于减少几何失真，从而有利于具有稀疏梯度信息的 3dgs 优化。
（2）annealed negative prompt guidance
为了促进文本与 3d 生成内容之间的对齐，dreamfusion [1] 使用较大的无分类器引导尺度来更新 3d 场景优化的分数匹配差异项：
在这个公式中，可以自然地将分数匹配差异分解为两部分，其中前一项是将图像推向更真实的流形的生成分数；后一项是将样本与隐式分类器对齐的分类器分数。然而，由于生成分数包含高方差的高斯噪声，它提供了损害训练稳定性的随机梯度信息。为了解决这个问题，dreamfusion 特地使用较大的无分类器引导尺度，使分类器分数主导优化，导致模式过度饱和。相反，研究者仅利用更清晰的分类器分数作为 sds 损失。
在文生图和文生 3d 领域中，负文本被广泛用于避免生成不需要的属性。基于此，研究者提出增加负文本分类器分数以实现更好的 3dgs 学习。
根据经验，研究者发现负文本分类器分数会在小时间步长内损害质量，因此使用退火的负文本引导来结合两个分数进行监督：
实验结果
研究者与通用的文生 3d 和 3d 人体生成领域的模型进行对比。可以看到，humangaussian 取得了优越的性能，渲染出更真实的人体外观、更连贯的身体结构、更好的视图一致性、更细粒度的细节捕捉:
此外，研究者还通过消融实验验证了各个模块的有效性。可以看出，smpl-x 提供的人体结构先验可以给 3dgs 优化提供初始化信息；负文本引导可以确保逼真的人体纹理外观；图像 rgb 与深度图双分支的 sds 监督约束可以同时对人体的几何和纹理进行优化；最后根据高斯大小进行剪枝可以去除雾状的伪影：
更多样本请参考文章的项目主页以及 demo 视频。
总结与未来工作
本文提出 humangaussian，一种有效且快速的框架用于生成具有细粒度几何形状和逼真外观的高质量 3d 人体。humangaussian 提出两点核心贡献：
（1）设计了结构感知的 sds，可以显式地引入人体结构先验，并同时优化人体外观和几何形状；
（2）设计了退火的负文本引导，保证真实的结果而不会过度饱和并消除浮动伪影。总体来说，humangaussian 能够生成多样且逼真的高质量 3d 人体模型，渲染出更真实的人体外观、更连贯的身体结构、更好的视图一致性、更细粒度的细节捕捉。
未来工作：
由于现有的文生图模型对于手部和脚部生成的性能有限，研究者发现它有时无法高质量地渲染这些部分；
后背视图的渲染纹理可能看起来模糊，这是因为 2d 姿势条件模型大多是在人类正面视图上训练的，而人类后视图的先验知识很少。
果蔬农残快速检测仪的应用优势是什么
RS-485通信中地址扩展转换器的应用
音响频率响应多少好_频率响应大好还是小好
去离子器基本原理及应用概述
变频器的应用领域？
3D人体生成模型HumanGaussian实现原理
诺基亚6与小米5哪个好
半导体集成电路封装的技术层次和分类详细介绍！
电视显示未连接路由器原因分析
英威腾HT11系列产品提供电力保障 华润微电子获江苏省科学技术奖
HMC8120可变增益放大器
用于RKE和TPMS系统的UHF远程控制接收器
汽车电子打造安全、舒适、环保汽车的行车环境
针对恶劣工业环境选择以太网的三大注意事项
百度通过云智一体特色能力实现元宇宙与实体经济的虚实融合
中国多城5G基站建设时间表出炉 基站数至少超过800万个
小米双折叠屏手机首秀遭柔宇科技高管炮轰
gds在线监控报警系统需要取得哪些认证
全部国产手机笑了，高通骁龙660来了，下周发布，性能超乎想象
空调双雄由价格战打到专利战 竞争激烈多元化