人工神经网络（感知机算法）（下）
一、感知机算法收敛定理
由于感知机算法通过调整ω和b的值以使所有训练样本满足设定条件，人们可能直观感觉会出现当ω和b可使某一样本满足设定条件，就会使另一个样本不满足设定条件的情况，从而使感知机算法出现无限循环，无法终止的情况。
对于上述情况，弗兰克·罗森布拉特（frank rosenblatt）证明了如下结论：只要训练数据线性可分，感知机算法一定可以终止。该结论所对应的定理为感知机算法收敛定理。
在介绍感知机算法收敛定理前需先定义： 对于某一个xi，其增广向量xiz为：
（1）若yi=+1，则xiz=(xi,1)t；
（2）若yi=-1，则xiz=(xi,-1)t。
上述定义可将原问题：寻找(ω,b)，使得对i=1~n，有：
（1）若yi=+1，则ωtxi+b0。
简化为：寻找w=(ω,b)t，使得对i=1~n，有：wtxiz>0。
感知机算法收敛定理的表述如下：
对于n个增广向量x1z，x2z，…，xnz，如果存在一个权重向量ωopt，使得对于每一个i=1~n，有： ωopttxiz>0 则运用上述感知机算法在有限步内可找到一个ω，使得对于所有的i=1~n，有： wtxiz>0。
感知机算法收敛定理中，ωopttxiz>0等价于样本线性可分，且ω不一定与ωopt相等（如果存在一个超平面可将样本分为两类，则一定存在无数个超平面可将样本分为两类，ω和ωopt可以是无数个超平面权重向量中的两个）。
二、感知机算法收敛定理的证明
假设：||ωopt||=1。
（该假设成立的原因是向量w和aw代表的是同一平面，因此，ωopt可被a加权调整为||ωopt||=1）
定义ω(k)为第k次改变后的权重向量值，则可能出现以下两种情况：
（1）若ω(k)txiz>0对所有i=1~n，则所有点已经达到平衡，感知机算法收敛。
（2）若存在i，使得ω(k)txiz<0，则根据感知机算法：
ω(k+1)=ω(k)+xiz
将上式两边同时减aωopt（aωopt与ωopt代表同一超平面的权重向量），得：
ω(k+1)-aωopt=ω(k)-aωopt+xiz
上式两边取模的平方，可转化为：
||ω(k+1)-aωopt||2=||ω(k)-aωopt+xiz||2=||ω(k)-aωopt||2+2ω(k)txiz-2aωopttxiz+||xiz||2
因为ω(k)txiz0，且||xiz||2是一个有界的值，所以当a的值足够大时，可使
||xiz||2-2aωopttxiz≤-1
（课程中为||xiz||2-2aωopttxiz＜-1）。 因此，||ω(k+1)-aωopt||2≤||ω(k)-aωopt||2-1，即w的值每更新一次（w=(ω,b)t）,其距离aωopt的距离至少减少一个单位。
综上，假设w的初值为ω(0)，则至多经过||ω(0)-aωopt||2次迭代，ω将收敛于aωopt。
中国电信发布5G全网通云手机—天翼1号2021
影驰RTX2080TiHOF十周年版高清图集
自动控制系统5个经典案例分享
基于Infineon开发板实现RT-Thread物联网DEMO
如何应对PCB电路板电磁辐射问题?
人工神经网络（感知机算法）（下）
基于高精度数据采集板在LabVIEW平台实现VTE-MED海水淡化系统的设计
数码相机电池重组技巧分析
控制系统动态特性的时域测试
调查显示 日本男性对AI人工智能的接受程度很高
半导体设备订单猛增 Canon：将最大限度扩增产能、满足半导体设备需求
魅族16th评测 七分熟的牛肉或许最符合国人的口感
直流屏中充电模块的常见故障_立式直流屏充电模块常规故障处理方法
英特尔产能危机采用优先级供应方案 高价位高端产品及一线大厂优先供应
弱溶剂间相互作用提高电池电解质稳定性
AC-DC220V转5V500mA电源芯片AH8699B
中芯国际宣布大幅上调Q1季度营收指引 预测Q1季度营收增长0-2%
中国家电行业的消费升级 智能音箱市场规模超150万台
3D打印机排放对健康有害吗？如何应对？如何防范健康风险？
TPSMBJ100CA 车规级瞬态抑制二极管 100V SMB
由于感知机算法通过调整ω和b的值以使所有训练样本满足设定条件，人们可能直观感觉会出现当ω和b可使某一样本满足设定条件，就会使另一个样本不满足设定条件的情况，从而使感知机算法出现无限循环，无法终止的情况。
对于上述情况，弗兰克·罗森布拉特（frank rosenblatt）证明了如下结论：只要训练数据线性可分，感知机算法一定可以终止。该结论所对应的定理为感知机算法收敛定理。
在介绍感知机算法收敛定理前需先定义： 对于某一个xi，其增广向量xiz为：
（1）若yi=+1，则xiz=(xi,1)t；
（2）若yi=-1，则xiz=(xi,-1)t。
上述定义可将原问题：寻找(ω,b)，使得对i=1~n，有：
（1）若yi=+1，则ωtxi+b0。
简化为：寻找w=(ω,b)t，使得对i=1~n，有：wtxiz>0。
感知机算法收敛定理的表述如下：
对于n个增广向量x1z，x2z，…，xnz，如果存在一个权重向量ωopt，使得对于每一个i=1~n，有： ωopttxiz>0 则运用上述感知机算法在有限步内可找到一个ω，使得对于所有的i=1~n，有： wtxiz>0。
感知机算法收敛定理中，ωopttxiz>0等价于样本线性可分，且ω不一定与ωopt相等（如果存在一个超平面可将样本分为两类，则一定存在无数个超平面可将样本分为两类，ω和ωopt可以是无数个超平面权重向量中的两个）。
二、感知机算法收敛定理的证明
假设：||ωopt||=1。
（该假设成立的原因是向量w和aw代表的是同一平面，因此，ωopt可被a加权调整为||ωopt||=1）
定义ω(k)为第k次改变后的权重向量值，则可能出现以下两种情况：
（1）若ω(k)txiz>0对所有i=1~n，则所有点已经达到平衡，感知机算法收敛。
（2）若存在i，使得ω(k)txiz<0，则根据感知机算法：
ω(k+1)=ω(k)+xiz
将上式两边同时减aωopt（aωopt与ωopt代表同一超平面的权重向量），得：
ω(k+1)-aωopt=ω(k)-aωopt+xiz
上式两边取模的平方，可转化为：
||ω(k+1)-aωopt||2=||ω(k)-aωopt+xiz||2=||ω(k)-aωopt||2+2ω(k)txiz-2aωopttxiz+||xiz||2
因为ω(k)txiz0，且||xiz||2是一个有界的值，所以当a的值足够大时，可使
||xiz||2-2aωopttxiz≤-1
（课程中为||xiz||2-2aωopttxiz＜-1）。 因此，||ω(k+1)-aωopt||2≤||ω(k)-aωopt||2-1，即w的值每更新一次（w=(ω,b)t）,其距离aωopt的距离至少减少一个单位。
综上，假设w的初值为ω(0)，则至多经过||ω(0)-aωopt||2次迭代，ω将收敛于aωopt。
中国电信发布5G全网通云手机—天翼1号2021
影驰RTX2080TiHOF十周年版高清图集
自动控制系统5个经典案例分享
基于Infineon开发板实现RT-Thread物联网DEMO
如何应对PCB电路板电磁辐射问题?
人工神经网络（感知机算法）（下）
基于高精度数据采集板在LabVIEW平台实现VTE-MED海水淡化系统的设计
数码相机电池重组技巧分析
控制系统动态特性的时域测试
调查显示 日本男性对AI人工智能的接受程度很高
半导体设备订单猛增 Canon：将最大限度扩增产能、满足半导体设备需求
魅族16th评测 七分熟的牛肉或许最符合国人的口感
直流屏中充电模块的常见故障_立式直流屏充电模块常规故障处理方法
英特尔产能危机采用优先级供应方案 高价位高端产品及一线大厂优先供应
弱溶剂间相互作用提高电池电解质稳定性
AC-DC220V转5V500mA电源芯片AH8699B
中芯国际宣布大幅上调Q1季度营收指引 预测Q1季度营收增长0-2%
中国家电行业的消费升级 智能音箱市场规模超150万台
3D打印机排放对健康有害吗？如何应对？如何防范健康风险？
TPSMBJ100CA 车规级瞬态抑制二极管 100V SMB