NVIDIA Triton 系列文章（10）：模型并发执行
前面已经做好了每个推理模型的基础配置，基本上就能正常让 triton 服务器使用这些独立模型进行推理。接下来的重点，就是要让设备的计算资源尽可能地充分使用，首先第一件事情就是模型并发执行（concurrent model execution）的调试，这是提升 triton 服务器性能的最基本任务。
triton 服务器支持的模型并发能力，包括一个模型并发多个推理实例，以及多个模型的多个并发实例。至于能并发多少实例？就需要根据系统上的硬件配置，triton 支持纯 cpu 以及多 gpu 的计算环境。
gpu 是能够同时执行多个工作负载的计算引擎，triton 推理服务器通过在 gpu上同时运行多个模型，最大限度地提高性能并减少端到端延迟，这些模型可以完全相同也可以是不同框架的不同模型，显存大小是唯一限制并发运行模型数量的因素。
下图显示了两个计算模型 compute model 0 与 compute model 1 的示例，假设 triton 服务器当前处于等待状态，当 request 0 与 request 1 两个请求同时到达时，triton 会立即将这两个请求调度到 gpu 上（下图左），开始并发处理这两个模型的推理计算。
默认情况下，triton 指定系统中的每个可用 gpu 为每个模型提供一个实例，如果同一模型的多个请求同时到达，triton 将通过在 gpu 上一次只调度一个请求来串行化它们的执行（上图中）。这样的方式在管理上是最轻松的，但是执行效率并不好，因为计算性能并未被充分调用。
triton 提供了一个 “instance_group” 的模型配置选项，通过在模型配置中使用这个字段，可以更改模型的执行实例数，调整每个模型的并发执行数量。
上图右就是在 model 1 配置文件中，添加 “instance_group” 配置，并且设置 “count: 3” 的参数，这样就允许一个 gpu 上可以并发三个实例的模型计算，如果用户端发出超过 3 个推理请求时，则第 4 个 model 1 推理请求就必须等到前三个实例中的任一个执行完之后，才能开始执行。
triton 可以提供一个模型的多个实例，从而可以同时处理该模型的多条推理请求。模型配置 modelinstancegroup 属性用于指定应可用的执行实例的数量以及应为这些实例使用的计算资源。接下来就看看几个标准用法：
1. 单 cpu 或 gpu 单实例
未添加任何 instance_group 参数时，表示这个模型使用默认的配置，这时该模型可以在系统中可用的每个 gpu 中创建单个执行实例。如果用户端提出多个请求时，就会在 gpu 设备上按照串行方式执行计算，如同上图中 compute model 1 的状态。
2. 单 cpu 或 gpu 并发多实例
实例组设置可用于在每个 gpu 上或仅在某些 gpu 上放置模型的多个执行实例。例如，以下配置将在每个系统 gpu 上放置模型的两个执行实例。如果要让模型在一个 gpu 上执行多个并行实例，就将以下的内容写入模型配置文件内，这里配置的是 2 个并发实例：
instance_group [ { count: 2 kind: kind_gpu } ] 如果将上面配置的计算设备配置为 “kind:kind_cpu” ，就是指定在 cpu 可以并发两个推理计算。 3. 多 cpu 或 gpu 并发多实例 如果设备上有多个计算设备，不管是 cpu 或 gpu，都可以使用以下配置方式，为模型配置多个并发推理实例： instance_group [ { count: 1 kind: kind_gpu gpus: [ 0 ] }, { count: 2 kind: kind_gpu gpus: [ 1, 2 ] } ] 这里的内容，表示 triton 服务器至少启动 3 个 gpu 计算设备，这个推理模型在编号为 0 的 gpu 上启动 1 个并发实例，在编号为 1 与 2 的 gpu 上可以同时启动 2 个并发实例，以此类推。 以上是 instance_group 的基础配置内容，如果要对每个 gpu 设备的计算资源进行更深层的配置，还可以配合一个“比例限制器配置（rate limiter configuration）”参数设置，对于执行实例进行资源的限制，以便于在不同实例直接取得计算平衡。 这个比例限制器的配置，主要有以下两部分： 资源（reousrces）限制： 这个资源主要指的是 gpu 的显存调用，因为数据在 cpu 与 gpu 之间的交换传输，经常在整个计算环节中造成很大的影响，如果当我们需要对同一组数据进行不同的计算，或者计算过程中有流水线前后关系的话，那么将这些需要重复使用的数据保留在 gpu 显存上，就能非常有效减少数据传输次数，进而提升计算效率。 因此我们可以对模型实例提出限制，只有当系统闲置资源能满足资源需求时，才进行这个推理模型的计算。如果模型配置里没有提供任何资源限制的需求，那么 triton 服务器就认定这个模型实例的执行并不需要任何资源，并将在模型实例可用时立即开始执行。 这个配置项里有三个参数内容： （1）“name”字段：资源名称； （2）“count”字段：组中模型实例需要运行的资源副本数； （3）“global”字段：指定资源是按设备还是在系统中全局共享。 下面是一个简单的模型配置内容的 instance_group 参数组： instance_group [ { count: 2 kind: kind_gpu gpus: [ 0 ] rate_limiter { resources [ { name: r1 count: 4 } ] } }, { count: 4 kind: kind_gpu gpus: [ 1, 2 ] rate_limiter { resources [ { name: r2 global: true count: 2 } ] } } ]
第 1 组配置：可并发执行数量为 2，指定使用 gpu[0] 设备，需要名为 “r1” 的计算资源，其内容是需要 2 份设备内存的副本；
第 2 组配置：可并发执行数量为 4，指定使用 gpu[1, 2] 两个设备，需要名为 “r2” 的计算资源，其内容是需要 4 份全局共享内存的副本，
这里面的并发数量与资源配置数量并不存在线性关系，开发人员必须根据模型所需要数据的张量尺度，以及 gpu 卡显存大小去进行调配。 triton 允许我们指定要为推理提供的每个模型的副本数量，默认情况下会获得每个模型的一个副本，但可以使用 instance_group 在模型配置中指定任意数量的实例。通常拥有一个模型的两个实例会提高性能，因为它允许 cpu 与 gpu 之间的内存传输操作与推理计算重叠。多个实例还通过允许在 gpu 上并发更多推理工作来提高 gpu 利用率。 优先级（priority）设置： 因为计算资源是有限的，因此也可以在资源配置是对其进行优先级的配置，如此也会影响实例进行的先后顺序。下面是一个简单的优先级配置示范： instance_group [ { count: 1 kind: kind_gpu gpus: [ 0, 1, 2 ] rate_limiter { resources [ { name: r1 count: 4 }, { name: r2 global: true count: 2 } ] priority: 2 } } ] 上面配置组的 3 个模型实例，每个设备（0、1和2）上执行一个，每个实例需要 4 个 “r1” 和 2 个具有全局资源的 “r2” 资源才能执行，并将比例限制器的优先级设置为 2。 这三个实例之间不会争夺 “r1” 资源，因为 “r1” 对于它们自己的设备是本地的，但是会争夺 “r2” 资源，因为它被指定为全局资源，这意味着 “r2” 在整个系统中共享。虽然这些实例之间不争 “r1”，但它们将与其他模型实例争夺 “r1“，这些模型实例在资源需求中包含 “r1” 并与它们在同一设备上运行。 这是对所有模型的所有实例进行优先级排序，优先级 2 的实例将被赋予优先级 1 的实例 1/2 的调度机会数。 以上是关于 triton 服务器“模型并发执行”的基础内容，后面还有更多关于调度器（scheduler）与批量处理器（batcher）的配合内容，能更进一步地协助开发人员调试系统的总体性能。
原文标题：nvidia triton 系列文章（10）：模型并发执行
文章出处：【微信公众号：nvidia英伟达企业解决方案】欢迎添加关注！文章转载请注明出处。
智慧城市的未来将如何落地？
PSCI处理函数代码分析
博威合金助力万物互联：“云、管、端”材料推动5G高质量发展
欧拉的奇异之旅·共赴开源时代
华阳通用携手BlackBerry开发智能座舱域控制器
NVIDIA Triton 系列文章（10）：模型并发执行
数字信号处理：实时I/O的编程注意事项
固纬电子推出LCR测试仪LCR-8000G系列
手持糖度计是什么，它的设计原理是怎样的
意法半导体电热模拟器TwisterSIM守护汽车安全
苹果准备对智能家居发起新一轮攻击 三星Bixby增加支持4种新语言
珠海MES系统能够解决企业管理难题
串扰和反射影响信号的完整性
小米发布会时间 小米发布会有何亮点
关于服务器一些疑虑的解答
电信，移动，联通进行套餐规范宣布，向用户明示“限速”条款
关于光伏系统必备能力——电弧检测分析介绍
强大的布局及渲染工具
CC-Link通信初始化三种设置方法的使用与对比
科基会区块链公益大讲堂圆满结束
triton 服务器支持的模型并发能力，包括一个模型并发多个推理实例，以及多个模型的多个并发实例。至于能并发多少实例？就需要根据系统上的硬件配置，triton 支持纯 cpu 以及多 gpu 的计算环境。
gpu 是能够同时执行多个工作负载的计算引擎，triton 推理服务器通过在 gpu上同时运行多个模型，最大限度地提高性能并减少端到端延迟，这些模型可以完全相同也可以是不同框架的不同模型，显存大小是唯一限制并发运行模型数量的因素。
下图显示了两个计算模型 compute model 0 与 compute model 1 的示例，假设 triton 服务器当前处于等待状态，当 request 0 与 request 1 两个请求同时到达时，triton 会立即将这两个请求调度到 gpu 上（下图左），开始并发处理这两个模型的推理计算。
默认情况下，triton 指定系统中的每个可用 gpu 为每个模型提供一个实例，如果同一模型的多个请求同时到达，triton 将通过在 gpu 上一次只调度一个请求来串行化它们的执行（上图中）。这样的方式在管理上是最轻松的，但是执行效率并不好，因为计算性能并未被充分调用。
triton 提供了一个 “instance_group” 的模型配置选项，通过在模型配置中使用这个字段，可以更改模型的执行实例数，调整每个模型的并发执行数量。
上图右就是在 model 1 配置文件中，添加 “instance_group” 配置，并且设置 “count: 3” 的参数，这样就允许一个 gpu 上可以并发三个实例的模型计算，如果用户端发出超过 3 个推理请求时，则第 4 个 model 1 推理请求就必须等到前三个实例中的任一个执行完之后，才能开始执行。
triton 可以提供一个模型的多个实例，从而可以同时处理该模型的多条推理请求。模型配置 modelinstancegroup 属性用于指定应可用的执行实例的数量以及应为这些实例使用的计算资源。接下来就看看几个标准用法：
1. 单 cpu 或 gpu 单实例
未添加任何 instance_group 参数时，表示这个模型使用默认的配置，这时该模型可以在系统中可用的每个 gpu 中创建单个执行实例。如果用户端提出多个请求时，就会在 gpu 设备上按照串行方式执行计算，如同上图中 compute model 1 的状态。
2. 单 cpu 或 gpu 并发多实例
实例组设置可用于在每个 gpu 上或仅在某些 gpu 上放置模型的多个执行实例。例如，以下配置将在每个系统 gpu 上放置模型的两个执行实例。如果要让模型在一个 gpu 上执行多个并行实例，就将以下的内容写入模型配置文件内，这里配置的是 2 个并发实例：
instance_group [ { count: 2 kind: kind_gpu } ] 如果将上面配置的计算设备配置为 “kind:kind_cpu” ，就是指定在 cpu 可以并发两个推理计算。 3. 多 cpu 或 gpu 并发多实例 如果设备上有多个计算设备，不管是 cpu 或 gpu，都可以使用以下配置方式，为模型配置多个并发推理实例： instance_group [ { count: 1 kind: kind_gpu gpus: [ 0 ] }, { count: 2 kind: kind_gpu gpus: [ 1, 2 ] } ] 这里的内容，表示 triton 服务器至少启动 3 个 gpu 计算设备，这个推理模型在编号为 0 的 gpu 上启动 1 个并发实例，在编号为 1 与 2 的 gpu 上可以同时启动 2 个并发实例，以此类推。 以上是 instance_group 的基础配置内容，如果要对每个 gpu 设备的计算资源进行更深层的配置，还可以配合一个“比例限制器配置（rate limiter configuration）”参数设置，对于执行实例进行资源的限制，以便于在不同实例直接取得计算平衡。 这个比例限制器的配置，主要有以下两部分： 资源（reousrces）限制： 这个资源主要指的是 gpu 的显存调用，因为数据在 cpu 与 gpu 之间的交换传输，经常在整个计算环节中造成很大的影响，如果当我们需要对同一组数据进行不同的计算，或者计算过程中有流水线前后关系的话，那么将这些需要重复使用的数据保留在 gpu 显存上，就能非常有效减少数据传输次数，进而提升计算效率。 因此我们可以对模型实例提出限制，只有当系统闲置资源能满足资源需求时，才进行这个推理模型的计算。如果模型配置里没有提供任何资源限制的需求，那么 triton 服务器就认定这个模型实例的执行并不需要任何资源，并将在模型实例可用时立即开始执行。 这个配置项里有三个参数内容： （1）“name”字段：资源名称； （2）“count”字段：组中模型实例需要运行的资源副本数； （3）“global”字段：指定资源是按设备还是在系统中全局共享。 下面是一个简单的模型配置内容的 instance_group 参数组： instance_group [ { count: 2 kind: kind_gpu gpus: [ 0 ] rate_limiter { resources [ { name: r1 count: 4 } ] } }, { count: 4 kind: kind_gpu gpus: [ 1, 2 ] rate_limiter { resources [ { name: r2 global: true count: 2 } ] } } ]
第 1 组配置：可并发执行数量为 2，指定使用 gpu[0] 设备，需要名为 “r1” 的计算资源，其内容是需要 2 份设备内存的副本；
第 2 组配置：可并发执行数量为 4，指定使用 gpu[1, 2] 两个设备，需要名为 “r2” 的计算资源，其内容是需要 4 份全局共享内存的副本，
这里面的并发数量与资源配置数量并不存在线性关系，开发人员必须根据模型所需要数据的张量尺度，以及 gpu 卡显存大小去进行调配。 triton 允许我们指定要为推理提供的每个模型的副本数量，默认情况下会获得每个模型的一个副本，但可以使用 instance_group 在模型配置中指定任意数量的实例。通常拥有一个模型的两个实例会提高性能，因为它允许 cpu 与 gpu 之间的内存传输操作与推理计算重叠。多个实例还通过允许在 gpu 上并发更多推理工作来提高 gpu 利用率。 优先级（priority）设置： 因为计算资源是有限的，因此也可以在资源配置是对其进行优先级的配置，如此也会影响实例进行的先后顺序。下面是一个简单的优先级配置示范： instance_group [ { count: 1 kind: kind_gpu gpus: [ 0, 1, 2 ] rate_limiter { resources [ { name: r1 count: 4 }, { name: r2 global: true count: 2 } ] priority: 2 } } ] 上面配置组的 3 个模型实例，每个设备（0、1和2）上执行一个，每个实例需要 4 个 “r1” 和 2 个具有全局资源的 “r2” 资源才能执行，并将比例限制器的优先级设置为 2。 这三个实例之间不会争夺 “r1” 资源，因为 “r1” 对于它们自己的设备是本地的，但是会争夺 “r2” 资源，因为它被指定为全局资源，这意味着 “r2” 在整个系统中共享。虽然这些实例之间不争 “r1”，但它们将与其他模型实例争夺 “r1“，这些模型实例在资源需求中包含 “r1” 并与它们在同一设备上运行。 这是对所有模型的所有实例进行优先级排序，优先级 2 的实例将被赋予优先级 1 的实例 1/2 的调度机会数。 以上是关于 triton 服务器“模型并发执行”的基础内容，后面还有更多关于调度器（scheduler）与批量处理器（batcher）的配合内容，能更进一步地协助开发人员调试系统的总体性能。
原文标题：nvidia triton 系列文章（10）：模型并发执行
文章出处：【微信公众号：nvidia英伟达企业解决方案】欢迎添加关注！文章转载请注明出处。
智慧城市的未来将如何落地？
PSCI处理函数代码分析
博威合金助力万物互联：“云、管、端”材料推动5G高质量发展
欧拉的奇异之旅·共赴开源时代
华阳通用携手BlackBerry开发智能座舱域控制器
NVIDIA Triton 系列文章（10）：模型并发执行
数字信号处理：实时I/O的编程注意事项
固纬电子推出LCR测试仪LCR-8000G系列
手持糖度计是什么，它的设计原理是怎样的
意法半导体电热模拟器TwisterSIM守护汽车安全
苹果准备对智能家居发起新一轮攻击 三星Bixby增加支持4种新语言
珠海MES系统能够解决企业管理难题
串扰和反射影响信号的完整性
小米发布会时间 小米发布会有何亮点
关于服务器一些疑虑的解答
电信，移动，联通进行套餐规范宣布，向用户明示“限速”条款
关于光伏系统必备能力——电弧检测分析介绍
强大的布局及渲染工具
CC-Link通信初始化三种设置方法的使用与对比
科基会区块链公益大讲堂圆满结束