RetNet架构和Transformer架构对比分析
微软研究院最近提出了一个新的 llm 自回归基础架构 retentive networks （retnet）[1,4]，该架构相对于 transformer 架构的优势是同时具备:训练可并行、推理成本低和良好的性能，不可能三角。
论文中给出一个很形象的示意图，retnet 在正中间表示同时具备三个优点，而其他的架构 linear transformer、recurrent network 和 transformer 都只能同时具备其中两个有点。
接下来看一下论文给出的 retnet 和 transformer 的对比实验结果:
当输入序列长度增加的时候，retnet 的 gpu 显存占用一直是稳定的和权值差不多，而 transformer 则是和输入长度成正比。
首先看红色线和紫色线，都是输入长度在 8192 下，retnet 和 transformer 推理延时的对比。
可以看到当 batch size 增加的时候， retnet 的推理延时也还是很稳定，而 transformer 的推理延时则是和 batch size 成正比。
而 transformer 即使是输入长度缩小到 1024 ，推理延时也还是比 retnet 要高。
retnet 架构解读
retnet 架构和 transformer 类似，也是堆叠 层同样的模块，每个模块内部包含两个子模块：一个 multi-scale retention（msr）和一个 feed-forward network (ffn)。
下面详细解读一下这个 retention 子模块。
首先给定一个输入序列 ：
其中 表示序列的长度。然后输入序列首先经过 embedding 层得到词嵌入向量：
其中 表示隐含层的维度。
retention 机制
首先对给定输入词嵌入向量序列 中的每个时间步 的向量 都乘以权值 得到 ：
然后同样有类似 transformer 架构的 q 和 k 的投影：
其中 是需要学习的权值。
接着假设现在有一个序列建模的问题，通过状态 将 映射为 向量。首先来看论文中给出的映射方式定义：
其中 是一个矩阵， 表示时间步 对应的 投影则 。同样 表示时间步 对应的 投影。
那么上面公式中的 计算公式是怎么得出来呢，下面详细解释一下，首先将 展开：
其中 表示单位矩阵(主对角线元素为1，其余元素为0的方阵)。然后我们假定 为初始状态元素为全0的矩阵，则有：
再继续上述推导过程：
所以根据上述推导过程和条件归纳可得：
然后我们来看一下 矩阵是什么，论文中定义了 是一个可对角化的矩阵，具体定义为：
其中 都是 维的向量， 是一个可逆矩阵，而要理解 首先得复习一下欧拉公式 [2]：
其中 表示任意实数， 是自然对数的底数， 是复数中的虚数单位，也可以表示为实部 ，虚部 的一个复数，欧拉公式[2]建立了指数函数、三角函数和复数之间的桥梁。
而这里 是一个 维向量:
则 也就是将向量元素两两一组表示分别表示为复数的实部和虚部：
然后 就是一个对角矩阵，对角元素的值就对应将 和 转成复数向量相乘再将结果转回实数向量的结果。
关于复数向量相乘可以参考文章：
一文看懂 llama 中的旋转式位置编码（rotary position embedding）
现在我们知道了矩阵 的构成就能得到：
这里因为 是可逆矩阵则有性质
其中 为单位矩阵，则将 次方展开：
就是 个 矩阵相乘，中间相邻的 都消掉了，所以可得：
然后我们回到计算 的公式：
接着论文中提出把 吸收进 和 也就是 和 分别用 和 替代当作学习的权值，那么可得:
接着将公式简化，将 改为一个实数常量，那么可得：
在继续推导前，先来仔细看一下 ，借助欧拉公式展开：
然后复习一下三角函数的性质[3]：
则有：
转为复数形式表示就是：
刚好就对应 的共轭
所以可得：
其中 表示共轭转置操作。
retention 的训练并行表示
首先回顾单个时间步 的输出 的计算公式如下：
而所有时间步的输出是可以并行计算的，用矩阵形式表达如下：
其中 ，而 表示两个矩阵逐元素相乘， 和 每一行对应一个时间步的 q 和 k 向量。
而 每一行对应向量 。 就是对应 矩阵的共轭，也就是将 矩阵每一行改为复数的共轭形式。
而 矩阵是一个下三角矩阵，其中第 行第 列的元素计算方式：
retention 的推理循环表示
推理阶段的循环表示论文中定义如下:
怎么理解呢，还是先回顾单个时间步 的输出 的计算公式：
上述公式最后一步和推理阶段循环表示公式中各个元素的对应关系是：
对应论文中的图示：
图中的 表示 groupnorm。
可以看到在推理阶段，retnet 在计算当前时间步 的输出 只依赖于上一个时间步产出的状态矩阵 。
其实就是把计算顺序改了一下，先计算的 和 的相乘然后一直累加到状态矩阵 上，最后再和 相乘。
而不是像 transformer 架构那样，每个时间步的计算要先算 和前面所有时间步的 相乘得到 attention 权值再和 相乘求和，这样就需要一直保留历史的 和 。
gated multi-scale retention
然后 retnet 每一层中的 retention 子模块其实也是分了 个头，每个头用不同的 参数，同时每个头都采用不同的 常量，这也是 multi-scale retention 名称的来由。
则对输入 ， msr 层的输出是：
其中， ， 是激活函数用来生成门控阈值，还有由于每个头均采用不同的 ，所以每个头的输出要单独做 normalize 之后再 concat。
AES加密算法说明
微软新专利曝光 将对Surface键盘进行改进
基于SoC的血压检测仪器的实现与设计
农田环境监测系统作用
网龙华渔教育VR产品运用到教育和职业培训
RetNet架构和Transformer架构对比分析
Google Cloud 推出 TPU v5p 和 AI Hypercomputer: 支持下一代 AI 工作负载
怎样进行离心机的选购
高通放弃收购NXP，面临强大挑战
使用LoRaWAN网关快速建立本地LoRaWAN网络
云计算市场的2020年展望
跑步耳机哪个牌子性价比高，最新运动跑步耳机性价比推荐
你听说了LED行业的新技术产品吗
大学什么专业最吃香？这四大专业人才缺口大工资高
贴片共模电感温升高的原因分析
ios10.3什么时候出？ios10.3最新消息：ios10.3正式版提前放出来了，很少人知道的几个亮点小功能
基于时钟扩频技术的行车记录仪EMI抑制的设计与应用
孟加拉国电力供应覆盖率已达90%，预计2021年发电量将达24000兆瓦
明线与暗线：读懂云厂商鏖战大模型
基于NeRF的隐式GAN架构
论文中给出一个很形象的示意图，retnet 在正中间表示同时具备三个优点，而其他的架构 linear transformer、recurrent network 和 transformer 都只能同时具备其中两个有点。
接下来看一下论文给出的 retnet 和 transformer 的对比实验结果:
当输入序列长度增加的时候，retnet 的 gpu 显存占用一直是稳定的和权值差不多，而 transformer 则是和输入长度成正比。
首先看红色线和紫色线，都是输入长度在 8192 下，retnet 和 transformer 推理延时的对比。
可以看到当 batch size 增加的时候， retnet 的推理延时也还是很稳定，而 transformer 的推理延时则是和 batch size 成正比。
而 transformer 即使是输入长度缩小到 1024 ，推理延时也还是比 retnet 要高。
retnet 架构解读
retnet 架构和 transformer 类似，也是堆叠 层同样的模块，每个模块内部包含两个子模块：一个 multi-scale retention（msr）和一个 feed-forward network (ffn)。
下面详细解读一下这个 retention 子模块。
首先给定一个输入序列 ：
其中 表示序列的长度。然后输入序列首先经过 embedding 层得到词嵌入向量：
其中 表示隐含层的维度。
retention 机制
首先对给定输入词嵌入向量序列 中的每个时间步 的向量 都乘以权值 得到 ：
然后同样有类似 transformer 架构的 q 和 k 的投影：
其中 是需要学习的权值。
接着假设现在有一个序列建模的问题，通过状态 将 映射为 向量。首先来看论文中给出的映射方式定义：
其中 是一个矩阵， 表示时间步 对应的 投影则 。同样 表示时间步 对应的 投影。
那么上面公式中的 计算公式是怎么得出来呢，下面详细解释一下，首先将 展开：
其中 表示单位矩阵(主对角线元素为1，其余元素为0的方阵)。然后我们假定 为初始状态元素为全0的矩阵，则有：
再继续上述推导过程：
所以根据上述推导过程和条件归纳可得：
然后我们来看一下 矩阵是什么，论文中定义了 是一个可对角化的矩阵，具体定义为：
其中 都是 维的向量， 是一个可逆矩阵，而要理解 首先得复习一下欧拉公式 [2]：
其中 表示任意实数， 是自然对数的底数， 是复数中的虚数单位，也可以表示为实部 ，虚部 的一个复数，欧拉公式[2]建立了指数函数、三角函数和复数之间的桥梁。
而这里 是一个 维向量:
则 也就是将向量元素两两一组表示分别表示为复数的实部和虚部：
然后 就是一个对角矩阵，对角元素的值就对应将 和 转成复数向量相乘再将结果转回实数向量的结果。
关于复数向量相乘可以参考文章：
一文看懂 llama 中的旋转式位置编码（rotary position embedding）
现在我们知道了矩阵 的构成就能得到：
这里因为 是可逆矩阵则有性质
其中 为单位矩阵，则将 次方展开：
就是 个 矩阵相乘，中间相邻的 都消掉了，所以可得：
然后我们回到计算 的公式：
接着论文中提出把 吸收进 和 也就是 和 分别用 和 替代当作学习的权值，那么可得:
接着将公式简化，将 改为一个实数常量，那么可得：
在继续推导前，先来仔细看一下 ，借助欧拉公式展开：
然后复习一下三角函数的性质[3]：
则有：
转为复数形式表示就是：
刚好就对应 的共轭
所以可得：
其中 表示共轭转置操作。
retention 的训练并行表示
首先回顾单个时间步 的输出 的计算公式如下：
而所有时间步的输出是可以并行计算的，用矩阵形式表达如下：
其中 ，而 表示两个矩阵逐元素相乘， 和 每一行对应一个时间步的 q 和 k 向量。
而 每一行对应向量 。 就是对应 矩阵的共轭，也就是将 矩阵每一行改为复数的共轭形式。
而 矩阵是一个下三角矩阵，其中第 行第 列的元素计算方式：
retention 的推理循环表示
推理阶段的循环表示论文中定义如下:
怎么理解呢，还是先回顾单个时间步 的输出 的计算公式：
上述公式最后一步和推理阶段循环表示公式中各个元素的对应关系是：
对应论文中的图示：
图中的 表示 groupnorm。
可以看到在推理阶段，retnet 在计算当前时间步 的输出 只依赖于上一个时间步产出的状态矩阵 。
其实就是把计算顺序改了一下，先计算的 和 的相乘然后一直累加到状态矩阵 上，最后再和 相乘。
而不是像 transformer 架构那样，每个时间步的计算要先算 和前面所有时间步的 相乘得到 attention 权值再和 相乘求和，这样就需要一直保留历史的 和 。
gated multi-scale retention
然后 retnet 每一层中的 retention 子模块其实也是分了 个头，每个头用不同的 参数，同时每个头都采用不同的 常量，这也是 multi-scale retention 名称的来由。
则对输入 ， msr 层的输出是：
其中， ， 是激活函数用来生成门控阈值，还有由于每个头均采用不同的 ，所以每个头的输出要单独做 normalize 之后再 concat。
AES加密算法说明
微软新专利曝光 将对Surface键盘进行改进
基于SoC的血压检测仪器的实现与设计
农田环境监测系统作用
网龙华渔教育VR产品运用到教育和职业培训
RetNet架构和Transformer架构对比分析
Google Cloud 推出 TPU v5p 和 AI Hypercomputer: 支持下一代 AI 工作负载
怎样进行离心机的选购
高通放弃收购NXP，面临强大挑战
使用LoRaWAN网关快速建立本地LoRaWAN网络
云计算市场的2020年展望
跑步耳机哪个牌子性价比高，最新运动跑步耳机性价比推荐
你听说了LED行业的新技术产品吗
大学什么专业最吃香？这四大专业人才缺口大工资高
贴片共模电感温升高的原因分析
ios10.3什么时候出？ios10.3最新消息：ios10.3正式版提前放出来了，很少人知道的几个亮点小功能
基于时钟扩频技术的行车记录仪EMI抑制的设计与应用
孟加拉国电力供应覆盖率已达90%，预计2021年发电量将达24000兆瓦
明线与暗线：读懂云厂商鏖战大模型
基于NeRF的隐式GAN架构