新一代图片处理技术让富士 X-Trans传感器如虎添翼
x-trans 相机与市场上的其他相机有何不同，机器学习又是如何颠覆 raw 文件的处理方式的？ dxo首席科学家 wolf hauser 探讨了 x-trans 的优缺点，以及 dxo 用于显著提高图像质量的处理方法。
富士公司向来不惮于另辟新径，他们在 2012 年推出了 x-trans 传感器。 鉴于整个相机行业几乎都在使用拜耳传感器，这可谓一个大胆的举措。在过去的十年里，关于 x-trans 的激烈讨论不绝于耳，它能否为摄影师带来切实的好处，或者仅仅是一个精心设计的营销技巧？ 正如接下来将探讨的，x-trans 兼有优缺点，而用于解读该传感器 raw 数据的算法对于获取理想结果至关重要。 富士相机的粉丝长期以来一直在寻找一款最优秀的软件来处理他们的图像，dxo photolab 5 和 dxo pureraw 2 现支持对 x-trans raw 文件的处理，让富士相机拍摄的清晰图像呈现出色的细节。
拜耳还是 x-trans，百事可乐还是可口可乐？
您可能已经注意到，讨论相机技术的微小细节会一石激起千层浪，自 x-trans 推出以来，留言板和社交媒体上关于 x-trans 优缺点的辩论便如火如荼。 然而，滤色器阵列只是用于定义相机的众多功能中的一个，鲜有客户在购买相机时将其放在首位。 使用富士相机的摄影师喜爱其相机的独特外观和质感，享受其人体工学设计和易用性，更不用说相机直出的惊艳效果。 富士的工程师是色彩方面的专家，拥有 70 多年的彩色摄影经验，品牌爱好者深爱富士依托公司悠久的胶片生产历史打造出的胶片模拟效果。
astia 和 velvia 等名称也为他们的相机赋予一种逼真感。
拜耳与 x-trans 的争论与 arm 处理器与英特尔设计的处理器之间上演的对决十分相似。 苹果的营销部门声称他们的 ipad 更好，因为其配备了他们的全新 arm 芯片，而微软则劝说大众 surface 更好，因为它使用了最新的英特尔芯片。 两家品牌的爱好者们会花无数个夜晚在论坛上激烈争辩，讨论 arm 与英特尔、risc 与 cisc 孰优孰劣——但实际上 99% 的用户对此并不关心。 他们选择平板电脑的标准，是更喜欢其中某一款的外观和质感、用户体验以及对品牌的认可。
除了系统内部的一些技术差异之外，对于大多数用户来说，选择富士还是佳能、尼康、索尼等可能与选择百事可乐还是可口可乐那样没有太大区别。
复杂性的后果
无论选择相机的标准是什么，尽可能发挥其传感器的最佳性能仍然很重要。此外，还有必要看看将图像放大到 100% 或更大时会发生什么。
我们需要牢记，最终呈现的图像不单是传感器本身作用的结果。无论是在相机内还是通过软件，都会历经各种各样的流程，尤其是去马赛克，即填补红色、绿色和蓝色通道之间空白的算法。 这些算法与滤色器阵列相结合，才决定了最终的结果。
拜耳滤色器一直占据一席之地的原因之一，便是工程师已习惯于处理它的数据。 研究人员耗费四年时间，才找到为拜耳传感器去马赛克的最佳方案，多年来开发的那些高度复杂的算法为他们放宽了许多设计方面的基本限制。 即使是相当简单的算法，例如嵌入在第一代数码相机中的算法，也能产生不错的效果。
另一方面，x-trans 模式增加的复杂性也相应带来了复杂得多的去马赛克流程。 据说富士的工程师花了五年时间才使得其相机处理能力迎头赶上其他竞品，得以于 2012 年在 x-pro1 中引入 x-trans。 与此同时，与拜耳相比，研究界发表的关于 x-trans 去马赛克的论文要少得多。它不仅是一个更复杂的问题，而且用于解决这个问题的研究数量也更少。 平心而论，当前的 x-trans 去马赛克算法距离实现理论上的最佳解决方案还有一段距离。 这也是富士的粉丝经常徘徊在不同的软件包之间寻找解决方案、以获得最佳结果的原因之一。
通过机器学习克服复杂性
今天，机器学习——特别是一项被称为卷积神经网络的技术——正在彻底改变图像处理。 这类新算法在短短几年之内便让数十年的研究工作相形见绌，它不再由研究人员和工程师手工计算得出，而是由计算机从数百万个训练示例中由经验式学习得出。 例如，在拜耳的去马赛克技术中，神经网络现在可以轻松击败人类设计出的最佳算法。
这种变革对于毕生致力于去马赛克算法的研究人员来说，固然令人沮丧，但它实际上是一个巨大的机会。 由此不仅可以获取更佳的结果，而且还提高了生产力：计算机可以在几天或几周内找到最先进的去马赛克算法，而不是几年或几十年。 当有确切的输入和预期的输出，但两者之间的映射过于复杂、无法以经典算法表达时，机器学习的优势便格外突显。 图像和语音识别便是最早的范例。机器学习确实是一种非常强大的工具，在经典算法行之有效的领域（如去马赛克），它依然被证实有用。
x-trans 的去马赛克是机器学习的绝佳对象。 由于比拜耳的去马赛克流程更为复杂，其机器学习相较于传统工程的优势，理应比在拜耳去马赛克上显现的优势更大。 我们在 adobe 的同行在 2020 年初推出由机器学习驱动的“增强细节”功能时，便清晰地证明了这一点。 测评人士得出结论是，拜耳的图像上只展现出微妙的差异，但 x-trans 的图像获得了显著改善。
在 dxo，我们使用 dxo photolab 中的机器学习解决了另一项高度复杂的任务：我们的 raw 转换技术——dxo deepprime。它使用单个巨大的卷积神经网络同时应用去马赛克和降噪。 经过 10 天的密集工作，我们的计算机开发出了一种高度复杂的算法，其表现优于我们在低 iso 条件下的传统去马赛克技术，以及我们在高 iso 条件下的传统去马赛克和降噪技术。
dxo photolab5 和 dxo pureraw2 为 x-trans 提供 dxo deepprime
拜耳传感器图像的工作完成后，做出更改以适应 x-trans 的 raw 文件便不再是一项艰巨的任务，因为只需进行少量修改就可重复使用生成训练数据的过程。 当中依然有许多困难需要克服，因为我们必须从根本上改变网络形状以适应复杂的 x-trans 模式，但它是可行的，并且具有光明的前景， 最终的结果也令人振奋。 我们来看一个例子。
这张低光室内动态照片是使用富士 x-t3 在 iso 6400 下拍摄的。 原始照片曝光不足，因此我们在后期处理过程中将其推高了两档 — 相当于 iso 25600（上图）。 jpeg 图像上无法进行如此大幅度的曝光调整，因此这里不是与相机进行比较，而是与一款著名的 raw 转换器——具有“增强细节”功能的 adobe lightroom（左下角）进行比较。 当我们放大人脸观察时，可以看到 dxo deepprime（右下，使用 dxo photolab）的图像明显更为清晰。 因为 deepprime 使用神经网络同时运行去马赛克和降噪，在降噪方面表现更佳，同时在亮度和颜色方面保留了更多细节。
不仅仅是机器学习
显然，要在像 dxo photolab 和 dxo pureraw 2 这样复杂的软件中完全支持 x-trans，需要的不仅仅是 dxo deepprime。 我们实验室用于校准每个相机机身的颜色和噪点模型的许多内部工具也必须进行调整。 其他几个处理块也必须从头开始设计，例如用户在进行调整时用于显示预览的去马赛克算法。
让您的照片也受益于技术的进步
经过一段时间的紧张研发，dxo photolab 5 和 dxo pureraw 2 现已准备就绪，可为您的 raw 文件带来显著的改进。 我们相信，摄影师会爱上我们的 dxo deepprime 技术，它能成功再现此前缺失的色彩细节，为老照片带来新的活力，提升高 iso 图像的品质。 下载免费试用版并了解 dxo deepprime 如何可以提升您的照片品质。
泄漏电流的测试方案分享
RedmiK20Pro尊享版将搭载512GB超大存储空间
一款名为Galaxy View的平板电脑，适用于想要容纳更大屏幕的人们
自举升压电路的工作原理
紫外灯管的应用范围
新一代图片处理技术让富士 X-Trans传感器如虎添翼
3DMark的AMD FSR功能测试现已可用
新零售将为LED行业创造增量市场
F-DB 中指定数据类型的变量介绍
一文详解什么是实时以太网
苹果iOS10.3刚出，今天又开始推送开发者预览版10.3.2bate1版本
物联网静俏俏改变世界
终于等到你 华为M3 Lite10 正式推出：1080p屏幕+哈曼卡顿扬声器
基于无线通信的汽车安全应用设计
高精度热插拔和电源监控
你了解LORA技术吗？没有网络怎么上传数据？多发一收低功耗，物联网技术中长距离传输
保隆科技汽车五合一光学传感器解读
根据LEAF的一些OBD收集的数据来看电池管理一些基本策略
为什么要制造工业机器人
华为、台积电在5G和晶圆制造领域干得漂亮
富士公司向来不惮于另辟新径，他们在 2012 年推出了 x-trans 传感器。 鉴于整个相机行业几乎都在使用拜耳传感器，这可谓一个大胆的举措。在过去的十年里，关于 x-trans 的激烈讨论不绝于耳，它能否为摄影师带来切实的好处，或者仅仅是一个精心设计的营销技巧？ 正如接下来将探讨的，x-trans 兼有优缺点，而用于解读该传感器 raw 数据的算法对于获取理想结果至关重要。 富士相机的粉丝长期以来一直在寻找一款最优秀的软件来处理他们的图像，dxo photolab 5 和 dxo pureraw 2 现支持对 x-trans raw 文件的处理，让富士相机拍摄的清晰图像呈现出色的细节。
拜耳还是 x-trans，百事可乐还是可口可乐？
您可能已经注意到，讨论相机技术的微小细节会一石激起千层浪，自 x-trans 推出以来，留言板和社交媒体上关于 x-trans 优缺点的辩论便如火如荼。 然而，滤色器阵列只是用于定义相机的众多功能中的一个，鲜有客户在购买相机时将其放在首位。 使用富士相机的摄影师喜爱其相机的独特外观和质感，享受其人体工学设计和易用性，更不用说相机直出的惊艳效果。 富士的工程师是色彩方面的专家，拥有 70 多年的彩色摄影经验，品牌爱好者深爱富士依托公司悠久的胶片生产历史打造出的胶片模拟效果。
astia 和 velvia 等名称也为他们的相机赋予一种逼真感。
拜耳与 x-trans 的争论与 arm 处理器与英特尔设计的处理器之间上演的对决十分相似。 苹果的营销部门声称他们的 ipad 更好，因为其配备了他们的全新 arm 芯片，而微软则劝说大众 surface 更好，因为它使用了最新的英特尔芯片。 两家品牌的爱好者们会花无数个夜晚在论坛上激烈争辩，讨论 arm 与英特尔、risc 与 cisc 孰优孰劣——但实际上 99% 的用户对此并不关心。 他们选择平板电脑的标准，是更喜欢其中某一款的外观和质感、用户体验以及对品牌的认可。
除了系统内部的一些技术差异之外，对于大多数用户来说，选择富士还是佳能、尼康、索尼等可能与选择百事可乐还是可口可乐那样没有太大区别。
复杂性的后果
无论选择相机的标准是什么，尽可能发挥其传感器的最佳性能仍然很重要。此外，还有必要看看将图像放大到 100% 或更大时会发生什么。
我们需要牢记，最终呈现的图像不单是传感器本身作用的结果。无论是在相机内还是通过软件，都会历经各种各样的流程，尤其是去马赛克，即填补红色、绿色和蓝色通道之间空白的算法。 这些算法与滤色器阵列相结合，才决定了最终的结果。
拜耳滤色器一直占据一席之地的原因之一，便是工程师已习惯于处理它的数据。 研究人员耗费四年时间，才找到为拜耳传感器去马赛克的最佳方案，多年来开发的那些高度复杂的算法为他们放宽了许多设计方面的基本限制。 即使是相当简单的算法，例如嵌入在第一代数码相机中的算法，也能产生不错的效果。
另一方面，x-trans 模式增加的复杂性也相应带来了复杂得多的去马赛克流程。 据说富士的工程师花了五年时间才使得其相机处理能力迎头赶上其他竞品，得以于 2012 年在 x-pro1 中引入 x-trans。 与此同时，与拜耳相比，研究界发表的关于 x-trans 去马赛克的论文要少得多。它不仅是一个更复杂的问题，而且用于解决这个问题的研究数量也更少。 平心而论，当前的 x-trans 去马赛克算法距离实现理论上的最佳解决方案还有一段距离。 这也是富士的粉丝经常徘徊在不同的软件包之间寻找解决方案、以获得最佳结果的原因之一。
通过机器学习克服复杂性
今天，机器学习——特别是一项被称为卷积神经网络的技术——正在彻底改变图像处理。 这类新算法在短短几年之内便让数十年的研究工作相形见绌，它不再由研究人员和工程师手工计算得出，而是由计算机从数百万个训练示例中由经验式学习得出。 例如，在拜耳的去马赛克技术中，神经网络现在可以轻松击败人类设计出的最佳算法。
这种变革对于毕生致力于去马赛克算法的研究人员来说，固然令人沮丧，但它实际上是一个巨大的机会。 由此不仅可以获取更佳的结果，而且还提高了生产力：计算机可以在几天或几周内找到最先进的去马赛克算法，而不是几年或几十年。 当有确切的输入和预期的输出，但两者之间的映射过于复杂、无法以经典算法表达时，机器学习的优势便格外突显。 图像和语音识别便是最早的范例。机器学习确实是一种非常强大的工具，在经典算法行之有效的领域（如去马赛克），它依然被证实有用。
x-trans 的去马赛克是机器学习的绝佳对象。 由于比拜耳的去马赛克流程更为复杂，其机器学习相较于传统工程的优势，理应比在拜耳去马赛克上显现的优势更大。 我们在 adobe 的同行在 2020 年初推出由机器学习驱动的“增强细节”功能时，便清晰地证明了这一点。 测评人士得出结论是，拜耳的图像上只展现出微妙的差异，但 x-trans 的图像获得了显著改善。
在 dxo，我们使用 dxo photolab 中的机器学习解决了另一项高度复杂的任务：我们的 raw 转换技术——dxo deepprime。它使用单个巨大的卷积神经网络同时应用去马赛克和降噪。 经过 10 天的密集工作，我们的计算机开发出了一种高度复杂的算法，其表现优于我们在低 iso 条件下的传统去马赛克技术，以及我们在高 iso 条件下的传统去马赛克和降噪技术。
dxo photolab5 和 dxo pureraw2 为 x-trans 提供 dxo deepprime
拜耳传感器图像的工作完成后，做出更改以适应 x-trans 的 raw 文件便不再是一项艰巨的任务，因为只需进行少量修改就可重复使用生成训练数据的过程。 当中依然有许多困难需要克服，因为我们必须从根本上改变网络形状以适应复杂的 x-trans 模式，但它是可行的，并且具有光明的前景， 最终的结果也令人振奋。 我们来看一个例子。
这张低光室内动态照片是使用富士 x-t3 在 iso 6400 下拍摄的。 原始照片曝光不足，因此我们在后期处理过程中将其推高了两档 — 相当于 iso 25600（上图）。 jpeg 图像上无法进行如此大幅度的曝光调整，因此这里不是与相机进行比较，而是与一款著名的 raw 转换器——具有“增强细节”功能的 adobe lightroom（左下角）进行比较。 当我们放大人脸观察时，可以看到 dxo deepprime（右下，使用 dxo photolab）的图像明显更为清晰。 因为 deepprime 使用神经网络同时运行去马赛克和降噪，在降噪方面表现更佳，同时在亮度和颜色方面保留了更多细节。
不仅仅是机器学习
显然，要在像 dxo photolab 和 dxo pureraw 2 这样复杂的软件中完全支持 x-trans，需要的不仅仅是 dxo deepprime。 我们实验室用于校准每个相机机身的颜色和噪点模型的许多内部工具也必须进行调整。 其他几个处理块也必须从头开始设计，例如用户在进行调整时用于显示预览的去马赛克算法。
让您的照片也受益于技术的进步
经过一段时间的紧张研发，dxo photolab 5 和 dxo pureraw 2 现已准备就绪，可为您的 raw 文件带来显著的改进。 我们相信，摄影师会爱上我们的 dxo deepprime 技术，它能成功再现此前缺失的色彩细节，为老照片带来新的活力，提升高 iso 图像的品质。 下载免费试用版并了解 dxo deepprime 如何可以提升您的照片品质。
泄漏电流的测试方案分享
RedmiK20Pro尊享版将搭载512GB超大存储空间
一款名为Galaxy View的平板电脑，适用于想要容纳更大屏幕的人们
自举升压电路的工作原理
紫外灯管的应用范围
新一代图片处理技术让富士 X-Trans传感器如虎添翼
3DMark的AMD FSR功能测试现已可用
新零售将为LED行业创造增量市场
F-DB 中指定数据类型的变量介绍
一文详解什么是实时以太网
苹果iOS10.3刚出，今天又开始推送开发者预览版10.3.2bate1版本
物联网静俏俏改变世界
终于等到你 华为M3 Lite10 正式推出：1080p屏幕+哈曼卡顿扬声器
基于无线通信的汽车安全应用设计
高精度热插拔和电源监控
你了解LORA技术吗？没有网络怎么上传数据？多发一收低功耗，物联网技术中长距离传输
保隆科技汽车五合一光学传感器解读
根据LEAF的一些OBD收集的数据来看电池管理一些基本策略
为什么要制造工业机器人
华为、台积电在5G和晶圆制造领域干得漂亮