一张照片生成3D头像！苹果新模型击败StyleGAN2
随便一张照片，就可生成3d头像。而且光线真实，任意角度可调。
这是苹果的最新黑科技生成框架facelit。
正如其名，facelit的特色就是可以将人脸“点亮”。
“自带光环”的facelit在易用性上也不输同类，甚至更胜一筹——
进行3d建模时，需要的照片素材无需专门选择角度，数量上也只需一张。
甚至对表情、发型、眼镜等元素进行调节时，也不需要额外素材。
而传统的头像合成工具或者需要多张图片才能工作，或者对照片角度有刁钻的要求。
正是凭借这一创新，facelit获得了3.5的fid评分，较同类产品直接高出了25%。
改进式eg3d合成人像，光线信息单独处理
下面就来看一下facelit具体是如何实现头像合成的。
总的来说，苹果采用了将人物本体与光线分别处理再进行叠加的策略。
早期的三维人像合成工具在转换过程中可能产生形变。
而爆火的nerf通过将场景拆分成具体因素，提高了3d图像合成效果，改善了这一问题。
但苹果团队认为，在可控性方面，nerf仍存有不足之处。
于是，在eg3d框架的基础上，苹果创造了facelit的合成模型。
eg3d通过三平面解码器，赋予了二维卷积神经网络生成渲染3d模型所需深度参数的能力。
苹果团队对标准的eg3d训练方式进行了扩展，并将之转化成了facelit框架。
△facelit与传统eg3d渲染流程对比图
标准的ed3g使用相机位置p参数作为基本输入参数。
在建立gan2操作时，苹果在eg3d的基础上加入了光照参数l。
△不同p(左→右)与l(上→下)值下的初始图像
苹果选择了经过球形谐波方式简化后的phong反射模型作为处理光源的物理基础。
光照参数l就是在这一基础之上独立处理得到的。
在自然界中，反射包括镜面反射和漫反射两种形式。
△不同镜面反射率条件下的效果对比
因此，苹果在ed3g模型中加入了镜面反射解码器和漫反射解码器。
它们替代了可以直接得到颜色c、密度σ数据的三平面解码器。
△反射解码器流程示意图
通过对gan2产生的数据进行再次解码，可以得到镜面反射率ks和漫反射率kd。
然后再通过两种反射着色器得到颜色c，密度σ则由漫反射解码器计算得出。
最终，facelit以与三平面解码器相同的参数（c，w，σ）渲染图像，并进行分辨率优化。
有的放矢设计训练策略，数据无需人工标注
生成框架已有，那就来到训练阶段，其特点在于训练过程中无需人工标注。
方法论层面，在训练时，团队使用了ffhq、metfaces和celeba-hq数据集。
对于不同的数据集，苹果使用了不同的训练方式。
ffhq包含了7万余条人脸数据，其训练分为两个阶段：先在较低的分辨率下训练，再提高分辨率再次进行。
对于包含2万数据量的celeba-hq，训练不需要分阶段进行。
而对于更小的metfaces，则只需要通过ada扩容的方式，使用预训练的ffhq进行优化调整即可。
定性地看，训练结果在机位、光源和反射高光等方面都有出色的表现，图中的细节也有所增强。
△facelit生成的头像（左侧四列）唇齿部位的细节进行了明显重构
定量结果同样表明，facelit在fid、kid等指标上均优于包括标准eg3d在内的传统生成方式。
在使用ffhq作为训练集的条件下，各生成方式的表现如下表，不难看出facelit拥有最低的fid和kid值。
而相比于英伟达的stylegan2，facelit的表现依旧出色：
光线准确度方面，facelit在使用三种不同训练数据集的情况下，与人工设定的标准值平均均方误差均低于0.01。
网友：人们低估了苹果ai
消息发出后，便有网友认为“这是对更重磅产品的预热”。
更有网友直接推测，facelit的出现标示着人工智能将进军ar和vr领域，苹果的混合现实将最终实现商用……
也有网友认为，facelit不会商用，否则苹果才不会以论文的形式发表。
针对facelit本身，也有网友表示，除了llm，其他都是浮云，他们（苹果）如果不开发llm，就没有未来。
但这位网友同时也说，苹果可能已经在做（llm）了。
相应的，也有网友称人们“低估了苹果在ai领域的深度”。
所以各位网友对苹果在ai领域还有什么样的期待呢？
出货量8亿颗！阿里系芯片公司中天微发布中国自研CPU架构RISC-V处理器
输电线路避雷器在线监测装置应用研究
PTFE表面等离子改性的原理 引入活性基团 提高粘附性
美国裁定中国进口的电线电缆倾销
4-20mA转RS485/232数据采集模块简介
一张照片生成3D头像！苹果新模型击败StyleGAN2
掌握连接线HDMI2.1和HDMI2.0的区别-科兰
中国首届国际智能产业博览会开幕，高通亮相重庆，牵手首届智博会
PLC的SFC编程方法分享
C语言的发展历史
美国大流量服务器都有哪几种，它适合做什么
徐直军：华为未来十年内收入预计超2000亿美金
一加5什么时候上市：小米6抢占先机已发布！OPPOfind9即将回归，一加5性能媲美三星S8即将发布
森木磊石入选2023年东湖高新区上市“银种子”企业
5G打破网速限制 一下科技多元化发展提升竞争力
传台积电关闭4台EUV光刻机以减少产出！
Google Stadia已收购Sekiro
美图M4手机怎么样 为什么会被称为自拍神器
浮点数基础知识科普
为什么说可溯源就是区块链
这是苹果的最新黑科技生成框架facelit。
正如其名，facelit的特色就是可以将人脸“点亮”。
“自带光环”的facelit在易用性上也不输同类，甚至更胜一筹——
进行3d建模时，需要的照片素材无需专门选择角度，数量上也只需一张。
甚至对表情、发型、眼镜等元素进行调节时，也不需要额外素材。
而传统的头像合成工具或者需要多张图片才能工作，或者对照片角度有刁钻的要求。
正是凭借这一创新，facelit获得了3.5的fid评分，较同类产品直接高出了25%。
改进式eg3d合成人像，光线信息单独处理
下面就来看一下facelit具体是如何实现头像合成的。
总的来说，苹果采用了将人物本体与光线分别处理再进行叠加的策略。
早期的三维人像合成工具在转换过程中可能产生形变。
而爆火的nerf通过将场景拆分成具体因素，提高了3d图像合成效果，改善了这一问题。
但苹果团队认为，在可控性方面，nerf仍存有不足之处。
于是，在eg3d框架的基础上，苹果创造了facelit的合成模型。
eg3d通过三平面解码器，赋予了二维卷积神经网络生成渲染3d模型所需深度参数的能力。
苹果团队对标准的eg3d训练方式进行了扩展，并将之转化成了facelit框架。
△facelit与传统eg3d渲染流程对比图
标准的ed3g使用相机位置p参数作为基本输入参数。
在建立gan2操作时，苹果在eg3d的基础上加入了光照参数l。
△不同p(左→右)与l(上→下)值下的初始图像
苹果选择了经过球形谐波方式简化后的phong反射模型作为处理光源的物理基础。
光照参数l就是在这一基础之上独立处理得到的。
在自然界中，反射包括镜面反射和漫反射两种形式。
△不同镜面反射率条件下的效果对比
因此，苹果在ed3g模型中加入了镜面反射解码器和漫反射解码器。
它们替代了可以直接得到颜色c、密度σ数据的三平面解码器。
△反射解码器流程示意图
通过对gan2产生的数据进行再次解码，可以得到镜面反射率ks和漫反射率kd。
然后再通过两种反射着色器得到颜色c，密度σ则由漫反射解码器计算得出。
最终，facelit以与三平面解码器相同的参数（c，w，σ）渲染图像，并进行分辨率优化。
有的放矢设计训练策略，数据无需人工标注
生成框架已有，那就来到训练阶段，其特点在于训练过程中无需人工标注。
方法论层面，在训练时，团队使用了ffhq、metfaces和celeba-hq数据集。
对于不同的数据集，苹果使用了不同的训练方式。
ffhq包含了7万余条人脸数据，其训练分为两个阶段：先在较低的分辨率下训练，再提高分辨率再次进行。
对于包含2万数据量的celeba-hq，训练不需要分阶段进行。
而对于更小的metfaces，则只需要通过ada扩容的方式，使用预训练的ffhq进行优化调整即可。
定性地看，训练结果在机位、光源和反射高光等方面都有出色的表现，图中的细节也有所增强。
△facelit生成的头像（左侧四列）唇齿部位的细节进行了明显重构
定量结果同样表明，facelit在fid、kid等指标上均优于包括标准eg3d在内的传统生成方式。
在使用ffhq作为训练集的条件下，各生成方式的表现如下表，不难看出facelit拥有最低的fid和kid值。
而相比于英伟达的stylegan2，facelit的表现依旧出色：
光线准确度方面，facelit在使用三种不同训练数据集的情况下，与人工设定的标准值平均均方误差均低于0.01。
网友：人们低估了苹果ai
消息发出后，便有网友认为“这是对更重磅产品的预热”。
更有网友直接推测，facelit的出现标示着人工智能将进军ar和vr领域，苹果的混合现实将最终实现商用……
也有网友认为，facelit不会商用，否则苹果才不会以论文的形式发表。
针对facelit本身，也有网友表示，除了llm，其他都是浮云，他们（苹果）如果不开发llm，就没有未来。
但这位网友同时也说，苹果可能已经在做（llm）了。
相应的，也有网友称人们“低估了苹果在ai领域的深度”。
所以各位网友对苹果在ai领域还有什么样的期待呢？
出货量8亿颗！阿里系芯片公司中天微发布中国自研CPU架构RISC-V处理器
输电线路避雷器在线监测装置应用研究
PTFE表面等离子改性的原理 引入活性基团 提高粘附性
美国裁定中国进口的电线电缆倾销
4-20mA转RS485/232数据采集模块简介
一张照片生成3D头像！苹果新模型击败StyleGAN2
掌握连接线HDMI2.1和HDMI2.0的区别-科兰
中国首届国际智能产业博览会开幕，高通亮相重庆，牵手首届智博会
PLC的SFC编程方法分享
C语言的发展历史
美国大流量服务器都有哪几种，它适合做什么
徐直军：华为未来十年内收入预计超2000亿美金
一加5什么时候上市：小米6抢占先机已发布！OPPOfind9即将回归，一加5性能媲美三星S8即将发布
森木磊石入选2023年东湖高新区上市“银种子”企业
5G打破网速限制 一下科技多元化发展提升竞争力
传台积电关闭4台EUV光刻机以减少产出！
Google Stadia已收购Sekiro
美图M4手机怎么样 为什么会被称为自拍神器
浮点数基础知识科普
为什么说可溯源就是区块链