如何用Python语法加速C+的数值计算
rob smallshire 曾经说过，“你可以在 c ++中编写更快的代码，但是在 python 中编写代码更快。”自从它发布超过十年前， cuda 已经给 c 和 c ++程序员提供了在 nvidia gpu 上最大化其代码性能的能力。
最近， cupy 和 pytorch 等库允许解释语言的开发人员利用其他语言优化的 cuda 库的速度。这些解释语言有许多优秀的特性，包括易于阅读的语法、自动内存管理和所有函数的通用类型。
然而，有时拥有这些功能意味着由于内存管理和其他超出您控制范围的因素而付出性能代价。为了节省开发时间，性能的降低通常是值得的。不过，当性能成为一个问题时，它最终可能需要重写应用程序的某些部分。
如果你仍然可以使用 c ++来获得最大的性能，同时仍然能从解释语言中获得所有好处呢？
matx 概述
matx 是一个实验性的 gpu 加速的数值计算 c ++库，旨在跨越用户之间可能需要的最高性能之间的差距，在所有 cuda 库中使用相同的简单语法和类型。使用 cuda 11.0 中添加的 c ++ 17 支持， matx 允许您编写与 python 这样的高级语言相同的自然代数表达式，而不会带来性能损失。
张量类型
matx 包括许多流行数学库的接口，如 cublas 、 cutlass 、 cufft 和 cub ，但在所有这些库中使用一种通用数据类型（tensor_t）。这大大简化了这些库的 api ，方法是推断出它知道的关于张量类型的信息，并在此基础上调用正确的 api 。
下面的代码示例显示了一个基于 fft 的重采样器。
python
n = min(ns, ns_resamp)nyq = n // 2 + 1 # create an empty vectorsv = np.empty(ns) # real to complex fftsvc = np.fft.rfft(sv) # slicesv = svc[0:nyq] # complex to real ifftrsv = np.fft.irfft(sv, ns_resamp)
马特克斯 uint32_t n = std::min(ns, ns_resamp); uint32_t nyq = n / 2 + 1; auto sv = make_tensor({ns}); auto svc = make_tensor({ns / 2 + 1}); auto rv = make_tensor({ns_resamp}); // real to complex fftfft(svc, sv, stream); // slice the vectorauto sv = svc.slice({0}, {nyq}); // complex to real ifft
ifft(rsv, sv, stream);虽然代码长度和可读性相似，但 a100 上的 matx 版本比 cpu 上运行的 numpy 版本快约 2100 倍。与直接使用 cuda 库相比， matx 版本还有许多隐藏的好处，例如类型检查、输入和输出大小检查，以及在没有指针操作的情况下切片张量。
不过，张量类型并不限于 fft ，同样的变量也可以在其他库和表达式中使用。例如，如果您想在重采样器输出上使用 cutslass 执行 gemm ，可以编写以下代码：
matmul(resampout, resampview, b, stream);
在这段代码中， resampout 和 b 是 gemm 操作的适当大小的张量。与前面的 fft 示例一样，类型、大小、批次和步幅都由张量元数据推断。使用强类型的 c ++ api 也意味着许多运行时和编译时错误可以在不进行附加调试的情况下捕获。
除了支持优化的 cuda 库作为后端，这些相同的张量类型还可以用于代数表达式中，以执行元素操作：
(c = a * b + (d / 5.0) + cos(e)).run(stream); 惰性评估
matx 使用惰性计算在编译时创建一个 gpu 内核，表示括号中的表达式。只有在表达式上调用 run 函数时，操作才会在 gpu 上执行。支持 40 多种不同类型的运算符，可以在不同大小和类型的张量之间混合匹配，并具有兼容的参数。如果你看一下之前作为 cuda 内核编写的表达式，它看起来像这样：
__global__ void expression( float *c, const float *a, const float *b, const float *d, const float *e, int length){ for (int idx = blockidx.x * blockdim.x + threadidx.x; idx < length; idx += blockdim.x * griddim.x) { c[idx] = a[idx] * b[idx] + (d[idx] / 5.0) + cosf(e[idx]); } 虽然前面的代码并不复杂，但它隐藏了几个问题：
数据类型硬编码为浮动。要更改为其他类型，必须编辑内核签名。精明的读者会说，使用模板，让编译器为您推断类型。虽然这可能适用于某些类型，但并不适用于您可能想要使用的所有类型。例如， cosf 不是为半精度类型定义的，因此必须使用编译时条件来处理不同的类型。
对函数签名的任何微小更改都需要一个完全不同的函数。例如，如果您想在某些情况下添加张量 f ，但仍保留原始签名，该怎么办？这将是两个几乎相同的功能。
虽然 grid-stride loop 是一种很好的实践，用于处理不同大小的块和网格，但您仍然必须有代码来确保在内核启动期间有足够的线程使 gpu 保持忙碌。
假设所有输入为 1d 向量；更高的维度可能会随着不统一的步伐而断裂。
还有许多其他缺陷没有列出，包括无法广播不同大小的张量、不检查大小、需要连续内存布局等等。
显然，这段代码只在特定条件下工作，而 matx 版本解决了所有这些问题，而且通常保持与直接编写内核相同的性能。
附加 matx 功能
matx 的其他主要功能包括：
通过切片、克隆和置换现有张量创建零拷贝张量视图。
支持任意维张量。
用于动态生成数据的生成器，无需存储在内存中。常见的例子是创建线性间隔向量、汉明窗或对角矩阵。
支持 cuda 中使用的几乎所有类型，包括半精度（ fp16 和 bf16 ）和复数（全精度和半精度）。
线性解算器通过 cusolver 、使用 cub 进行排序和扫描、使用 curand 生成随机数、减少等功能实现
总结
matx 是根据 bsdv3 许可证开源的。
关于作者
cliff burdick 是 nvidia 的高级开发技术工程师，他专注于优化信号处理、数值计算以及 gpu 和网络 io 的 gpu 代码。
justin luitjens 是 nvidia 的高级开发技术经理，致力于加速 gpu 上的应用程序。他拥有犹他大学的科学计算博士学位。
adam thompson 是 nvidia 的高级解决方案架构师。他有信号处理方面的背景，他的职业生涯一直在参与和领导一些项目，这些项目专注于射频分类、数据压缩、高性能计算、统计信号处理以及管理和设计针对大数据框架的应用程序。他拥有乔治亚理工大学电子与计算机工程硕士学位和克莱姆森大学学士学位。
中国移动与中国广电已经开始700M天线测试
量子计算会成为下一代网络安全威胁？
DIY一个模型列车控制器电路
贸泽电子开始分销AmbiMate MS4系列传感器模块，只需一种PCB占位即可满足所有传感器配置
李开复：人工智能领域如何拯救人性
如何用Python语法加速C+的数值计算
Intel将在今年上半年推出下一代服务器平台CascadeLake
Google AI骗过工程师 Google团队却束手无策
为什么区块链用户认证困难重重
管道机器人的种类详解
电视和投影仪哪个更护眼，当贝X3三重权威认证
人工智能在未来空战训练中的作用是什么
嵌入式开发极致性能优化案例
压力传感器的干扰源有哪些
Skydio 研发“自主飞行”无人机 可紧跟用户进行跟拍
网络设计会因为物联网而做出改变吗
联通将推200款3G手机 携三星推互联网手机
史密斯圆图的历史和来龙去脉
华为MatePad Pro 13.2英寸发布：搭载全球首款柔性OLED屏幕，首发星闪技术
诺基亚贝尔成功完成了5G技术的数字化室内分布系统测试
最近， cupy 和 pytorch 等库允许解释语言的开发人员利用其他语言优化的 cuda 库的速度。这些解释语言有许多优秀的特性，包括易于阅读的语法、自动内存管理和所有函数的通用类型。
然而，有时拥有这些功能意味着由于内存管理和其他超出您控制范围的因素而付出性能代价。为了节省开发时间，性能的降低通常是值得的。不过，当性能成为一个问题时，它最终可能需要重写应用程序的某些部分。
如果你仍然可以使用 c ++来获得最大的性能，同时仍然能从解释语言中获得所有好处呢？
matx 概述
matx 是一个实验性的 gpu 加速的数值计算 c ++库，旨在跨越用户之间可能需要的最高性能之间的差距，在所有 cuda 库中使用相同的简单语法和类型。使用 cuda 11.0 中添加的 c ++ 17 支持， matx 允许您编写与 python 这样的高级语言相同的自然代数表达式，而不会带来性能损失。
张量类型
matx 包括许多流行数学库的接口，如 cublas 、 cutlass 、 cufft 和 cub ，但在所有这些库中使用一种通用数据类型（tensor_t）。这大大简化了这些库的 api ，方法是推断出它知道的关于张量类型的信息，并在此基础上调用正确的 api 。
下面的代码示例显示了一个基于 fft 的重采样器。
python
n = min(ns, ns_resamp)nyq = n // 2 + 1 # create an empty vectorsv = np.empty(ns) # real to complex fftsvc = np.fft.rfft(sv) # slicesv = svc[0:nyq] # complex to real ifftrsv = np.fft.irfft(sv, ns_resamp)
马特克斯 uint32_t n = std::min(ns, ns_resamp); uint32_t nyq = n / 2 + 1; auto sv = make_tensor({ns}); auto svc = make_tensor({ns / 2 + 1}); auto rv = make_tensor({ns_resamp}); // real to complex fftfft(svc, sv, stream); // slice the vectorauto sv = svc.slice({0}, {nyq}); // complex to real ifft
ifft(rsv, sv, stream);虽然代码长度和可读性相似，但 a100 上的 matx 版本比 cpu 上运行的 numpy 版本快约 2100 倍。与直接使用 cuda 库相比， matx 版本还有许多隐藏的好处，例如类型检查、输入和输出大小检查，以及在没有指针操作的情况下切片张量。
不过，张量类型并不限于 fft ，同样的变量也可以在其他库和表达式中使用。例如，如果您想在重采样器输出上使用 cutslass 执行 gemm ，可以编写以下代码：
matmul(resampout, resampview, b, stream);
在这段代码中， resampout 和 b 是 gemm 操作的适当大小的张量。与前面的 fft 示例一样，类型、大小、批次和步幅都由张量元数据推断。使用强类型的 c ++ api 也意味着许多运行时和编译时错误可以在不进行附加调试的情况下捕获。
除了支持优化的 cuda 库作为后端，这些相同的张量类型还可以用于代数表达式中，以执行元素操作：
(c = a * b + (d / 5.0) + cos(e)).run(stream); 惰性评估
matx 使用惰性计算在编译时创建一个 gpu 内核，表示括号中的表达式。只有在表达式上调用 run 函数时，操作才会在 gpu 上执行。支持 40 多种不同类型的运算符，可以在不同大小和类型的张量之间混合匹配，并具有兼容的参数。如果你看一下之前作为 cuda 内核编写的表达式，它看起来像这样：
__global__ void expression( float *c, const float *a, const float *b, const float *d, const float *e, int length){ for (int idx = blockidx.x * blockdim.x + threadidx.x; idx < length; idx += blockdim.x * griddim.x) { c[idx] = a[idx] * b[idx] + (d[idx] / 5.0) + cosf(e[idx]); } 虽然前面的代码并不复杂，但它隐藏了几个问题：
数据类型硬编码为浮动。要更改为其他类型，必须编辑内核签名。精明的读者会说，使用模板，让编译器为您推断类型。虽然这可能适用于某些类型，但并不适用于您可能想要使用的所有类型。例如， cosf 不是为半精度类型定义的，因此必须使用编译时条件来处理不同的类型。
对函数签名的任何微小更改都需要一个完全不同的函数。例如，如果您想在某些情况下添加张量 f ，但仍保留原始签名，该怎么办？这将是两个几乎相同的功能。
虽然 grid-stride loop 是一种很好的实践，用于处理不同大小的块和网格，但您仍然必须有代码来确保在内核启动期间有足够的线程使 gpu 保持忙碌。
假设所有输入为 1d 向量；更高的维度可能会随着不统一的步伐而断裂。
还有许多其他缺陷没有列出，包括无法广播不同大小的张量、不检查大小、需要连续内存布局等等。
显然，这段代码只在特定条件下工作，而 matx 版本解决了所有这些问题，而且通常保持与直接编写内核相同的性能。
附加 matx 功能
matx 的其他主要功能包括：
通过切片、克隆和置换现有张量创建零拷贝张量视图。
支持任意维张量。
用于动态生成数据的生成器，无需存储在内存中。常见的例子是创建线性间隔向量、汉明窗或对角矩阵。
支持 cuda 中使用的几乎所有类型，包括半精度（ fp16 和 bf16 ）和复数（全精度和半精度）。
线性解算器通过 cusolver 、使用 cub 进行排序和扫描、使用 curand 生成随机数、减少等功能实现
总结
matx 是根据 bsdv3 许可证开源的。
关于作者
cliff burdick 是 nvidia 的高级开发技术工程师，他专注于优化信号处理、数值计算以及 gpu 和网络 io 的 gpu 代码。
justin luitjens 是 nvidia 的高级开发技术经理，致力于加速 gpu 上的应用程序。他拥有犹他大学的科学计算博士学位。
adam thompson 是 nvidia 的高级解决方案架构师。他有信号处理方面的背景，他的职业生涯一直在参与和领导一些项目，这些项目专注于射频分类、数据压缩、高性能计算、统计信号处理以及管理和设计针对大数据框架的应用程序。他拥有乔治亚理工大学电子与计算机工程硕士学位和克莱姆森大学学士学位。
中国移动与中国广电已经开始700M天线测试
量子计算会成为下一代网络安全威胁？
DIY一个模型列车控制器电路
贸泽电子开始分销AmbiMate MS4系列传感器模块，只需一种PCB占位即可满足所有传感器配置
李开复：人工智能领域如何拯救人性
如何用Python语法加速C+的数值计算
Intel将在今年上半年推出下一代服务器平台CascadeLake
Google AI骗过工程师 Google团队却束手无策
为什么区块链用户认证困难重重
管道机器人的种类详解
电视和投影仪哪个更护眼，当贝X3三重权威认证
人工智能在未来空战训练中的作用是什么
嵌入式开发极致性能优化案例
压力传感器的干扰源有哪些
Skydio 研发“自主飞行”无人机 可紧跟用户进行跟拍
网络设计会因为物联网而做出改变吗
联通将推200款3G手机 携三星推互联网手机
史密斯圆图的历史和来龙去脉
华为MatePad Pro 13.2英寸发布：搭载全球首款柔性OLED屏幕，首发星闪技术
诺基亚贝尔成功完成了5G技术的数字化室内分布系统测试