用于改进文本分类的特征投影
tl; dr
在情感分类中，一些good features，比如”good“、”nice“表示积极，”bad“、“terrible”表示消极。但是，还有许多common features，比如voice、screen就没有特别的情感性。
尽管深度学习拥有强大的representation learning（表征学习，即同一个数据用不同的表示形式）。但我们认为还有可以改进的地方。
在本文中，我们提出了一种新的角度来进一步改善这种表示学习，即特征投影（feature projection）：将现有特征投影到common特征的正交空间中。
所得的投影向量垂直于common特征，能更好的进行分类。
将该方法用于改进基于cnn，rnn，transformer和bert的文本分类模型，获得更好的结果。
网络结构
feature purification network 特征净化网络
模型分为两部分：
projection network (p-net)；
common feature learning network (c-net)
p-net：计算净化的向量特征，通过将学习到的输入文本的信息向量投影到更具区分性的语义空间中来消除共同特征的影响。
c-net：提取common features。
p-net由四部分组成：
输入层x
特征提取器fp
正交投影层（opl，orthogonal projection layer）
分类层cp
c-net也由四部分组成：
输入层x
特征提取器fc（fp和fc的参数不共享）
渐变反向层（grl，gradient reverse layer）
分类层cc
技术的关键思想如下：
p-net中特征向量fp投影到c-net的fc的正交方向上。也就是说，将fp（从输入文档中提取的完整信息）投影到更具区分性的语义空间中，以进行最终分类。
图2：正交投影层的工作方式。这里的示例是在二维空间中。
fp表示传统特征向量;
fc表示公共特征向量;
fp∗是投影特征向量;
fp~是最终的正交投影特征向量。
我们首先将传统特征向量fp投影到共同特征向量fc，得到fp∗。
等式9中的fp∗即表示对共同特征向量fc的约束。
再将fp投影到fp-fp*得到fp~
也就是说：通过将输入的传统特征向量fp投影到公共特征向量fc来限制公共特征向量的模，因此新的公共特征向量fp*的语义信息仅包含xi的公共语义信息。
这使得最终的纯化特征向量fp~来自传统特征向量fp，而不是与公共特征向量fc正交的任何平面中的任何向量。
最后，我们使用纯化的特征向fp~进行分类。
experiments实验
1 实验使用数据集
2 baselines模型
用lstm、cnn、transformer和bert等基准模型进行对比实验，已验证特征投射的有效性。
3 实施细节
首先，我们将实验中的所有词嵌入随机初始化为200维向量，然后在训练过程中进行修改（bert除外）。对于每种类型的特征提取器，我们具有以下配置：
对于rnn模型，使用两层lstm进行特征提取，每层的hidden state=256；
对于cnn模型，为了获得更多的细粒度特征，我们分别使用了[2,3,4,5,6]的滤波器大小，每个滤波器都有100个特征图。
对于transformer的模型，我们使用transformer的编码器作为特征提取器，使用单头和3个block。
对于bert模型，我们微调了预训练的基于bert的参数。这些设置与fp-net中的基线完全相同。
在c-net模块的训练中，我们以0.9为初始学习率的随机梯度和随后的退火学习率（ganin and lempitsky，2014）。
其中，训练进度p从0线性变化为1，l0 = 0.01，α= 10和β= 0.75。在grl中，超参数λ为[0.05,0.1,0.2,0.4,0.8,1.0]。
4 实验结果
5 消融实验与分析
消融实验类似于“控制变量法”。假设在某任务中，使用了a，b，c，取得了不错的效果，但是这个时候你并不知道效果是由a，b，c中哪一个起的作用，于是你保留a，b，移除c进行实验来看一下c在整个任务中所起的作用。
结论
在本文中，我们提出了一种新的特征净化网络（fp-net），以改进文本分类的表示；
该方法基于特征投影。所提出的模型使用两个子网，一个用于识别对分类没有区别的共同特征common features，另一个用于将传统特征投射到共同特征的正交方向的特征投影；
我们当前的方法仅用于传统文本分类方法，例如lstm，cnn和transformer。在未来的工作中，我们将考虑将其扩展到基于图的方法（例如用于图形数据的gcn），以及扩展到基于生成的方法（例如用于对抗性学习的gan）。
小米MIX3评测 滑一滑真的会上瘾
出“镭”拔萃，相“阜”相成|镭神智能与阜时科技就激光雷达接收传感芯片达成战略合作，领头推动降本增效
高通推出一款集成Qualcomm® DDFA™的数字放大器 助力打造便携式音箱
微波低噪声放大器的设计及ADS的仿真设计
工控机虚拟化技术特点的介绍
用于改进文本分类的特征投影
荣耀8与荣耀V9对比评测：华为荣耀8、华为荣耀V9小功能大比拼，受青睐不是没理由！你更喜欢谁？
基于ARM的智能综合监控基站方案设计
为移动出行革命铺平道路
FAKRA连接线的作用有哪些？
【S32K 进阶之旅】Interrupt 模块介绍与应用
华为鸿蒙系统什么时候可以搭载在笔记本电脑上使用
99个项目入选国家“智能制造试点示范项目”
高频开关电源电路原理分析
LSI封装的发展
芯片供应吃紧拉高MCU市场需求?
2023全球汽车零部件供应商百强榜发布，德赛西威排名稳步提升
基于ZEMAX的汽车前照灯的鳞甲反光杯系统设计
配电箱结构 配电箱的主要特点
PI LED驱动LYTSwitch家族添新成员，引入FluxLink技术
在情感分类中，一些good features，比如”good“、”nice“表示积极，”bad“、“terrible”表示消极。但是，还有许多common features，比如voice、screen就没有特别的情感性。
尽管深度学习拥有强大的representation learning（表征学习，即同一个数据用不同的表示形式）。但我们认为还有可以改进的地方。
在本文中，我们提出了一种新的角度来进一步改善这种表示学习，即特征投影（feature projection）：将现有特征投影到common特征的正交空间中。
所得的投影向量垂直于common特征，能更好的进行分类。
将该方法用于改进基于cnn，rnn，transformer和bert的文本分类模型，获得更好的结果。
网络结构
feature purification network 特征净化网络
模型分为两部分：
projection network (p-net)；
common feature learning network (c-net)
p-net：计算净化的向量特征，通过将学习到的输入文本的信息向量投影到更具区分性的语义空间中来消除共同特征的影响。
c-net：提取common features。
p-net由四部分组成：
输入层x
特征提取器fp
正交投影层（opl，orthogonal projection layer）
分类层cp
c-net也由四部分组成：
输入层x
特征提取器fc（fp和fc的参数不共享）
渐变反向层（grl，gradient reverse layer）
分类层cc
技术的关键思想如下：
p-net中特征向量fp投影到c-net的fc的正交方向上。也就是说，将fp（从输入文档中提取的完整信息）投影到更具区分性的语义空间中，以进行最终分类。
图2：正交投影层的工作方式。这里的示例是在二维空间中。
fp表示传统特征向量;
fc表示公共特征向量;
fp∗是投影特征向量;
fp~是最终的正交投影特征向量。
我们首先将传统特征向量fp投影到共同特征向量fc，得到fp∗。
等式9中的fp∗即表示对共同特征向量fc的约束。
再将fp投影到fp-fp*得到fp~
也就是说：通过将输入的传统特征向量fp投影到公共特征向量fc来限制公共特征向量的模，因此新的公共特征向量fp*的语义信息仅包含xi的公共语义信息。
这使得最终的纯化特征向量fp~来自传统特征向量fp，而不是与公共特征向量fc正交的任何平面中的任何向量。
最后，我们使用纯化的特征向fp~进行分类。
experiments实验
1 实验使用数据集
2 baselines模型
用lstm、cnn、transformer和bert等基准模型进行对比实验，已验证特征投射的有效性。
3 实施细节
首先，我们将实验中的所有词嵌入随机初始化为200维向量，然后在训练过程中进行修改（bert除外）。对于每种类型的特征提取器，我们具有以下配置：
对于rnn模型，使用两层lstm进行特征提取，每层的hidden state=256；
对于cnn模型，为了获得更多的细粒度特征，我们分别使用了[2,3,4,5,6]的滤波器大小，每个滤波器都有100个特征图。
对于transformer的模型，我们使用transformer的编码器作为特征提取器，使用单头和3个block。
对于bert模型，我们微调了预训练的基于bert的参数。这些设置与fp-net中的基线完全相同。
在c-net模块的训练中，我们以0.9为初始学习率的随机梯度和随后的退火学习率（ganin and lempitsky，2014）。
其中，训练进度p从0线性变化为1，l0 = 0.01，α= 10和β= 0.75。在grl中，超参数λ为[0.05,0.1,0.2,0.4,0.8,1.0]。
4 实验结果
5 消融实验与分析
消融实验类似于“控制变量法”。假设在某任务中，使用了a，b，c，取得了不错的效果，但是这个时候你并不知道效果是由a，b，c中哪一个起的作用，于是你保留a，b，移除c进行实验来看一下c在整个任务中所起的作用。
结论
在本文中，我们提出了一种新的特征净化网络（fp-net），以改进文本分类的表示；
该方法基于特征投影。所提出的模型使用两个子网，一个用于识别对分类没有区别的共同特征common features，另一个用于将传统特征投射到共同特征的正交方向的特征投影；
我们当前的方法仅用于传统文本分类方法，例如lstm，cnn和transformer。在未来的工作中，我们将考虑将其扩展到基于图的方法（例如用于图形数据的gcn），以及扩展到基于生成的方法（例如用于对抗性学习的gan）。
小米MIX3评测 滑一滑真的会上瘾
出“镭”拔萃，相“阜”相成|镭神智能与阜时科技就激光雷达接收传感芯片达成战略合作，领头推动降本增效
高通推出一款集成Qualcomm® DDFA™的数字放大器 助力打造便携式音箱
微波低噪声放大器的设计及ADS的仿真设计
工控机虚拟化技术特点的介绍
用于改进文本分类的特征投影
荣耀8与荣耀V9对比评测：华为荣耀8、华为荣耀V9小功能大比拼，受青睐不是没理由！你更喜欢谁？
基于ARM的智能综合监控基站方案设计
为移动出行革命铺平道路
FAKRA连接线的作用有哪些？
【S32K 进阶之旅】Interrupt 模块介绍与应用
华为鸿蒙系统什么时候可以搭载在笔记本电脑上使用
99个项目入选国家“智能制造试点示范项目”
高频开关电源电路原理分析
LSI封装的发展
芯片供应吃紧拉高MCU市场需求?
2023全球汽车零部件供应商百强榜发布，德赛西威排名稳步提升
基于ZEMAX的汽车前照灯的鳞甲反光杯系统设计
配电箱结构 配电箱的主要特点
PI LED驱动LYTSwitch家族添新成员，引入FluxLink技术