基于最大峰度准则的非因果AR系统盲辨识
基于最大峰度准则的非因果ar系统盲辨识
本文结合最大峰度准则和非线性优化理论中的梯度法，设计了一种非因果ar系统的盲辨识算法，并证明了它的全局收敛性，给出了它在平衡点附近的收敛速度.算法通过构造逆滤波器的方法来进行盲辨识，同时通过基于高阶累积量的自学习算法将逆滤波器的系数逼近ar系统的参数.由于采用了高阶累积量，算法对高斯观测噪声有较好的抑制能力.仿真的结果表明了算法的有效性.
关键词:非因果系统；盲辨识；高阶累积量；最大峰度准则
blind identification of noncausual ar system based on maximum kurtosis criteria
zhao xi-kai,zhang xian-da
(dept.of automation,tsinghua university,beijing 100084,china)
abstract:based on the maximum kurtosis criteria and gradient decent method,this paper designed a new blind identification algorithm for noncausual ar system.its global convergence is proved and convergence rate calculated.parameters in the inverse filter approach the true ar coefficients by high-order cumulant (hos) based self-study algorithm.this identification method can effectively suppress the gaussian noise because of the utilization of hos.
key words:noncausual system;blind identification;higher-order culmulant;maximum kurtosis criteria
一、引言
在地震勘探、通讯和水声信号处理等许多领域，经常需要辨识非因果系统.要解决这类非因果系统的盲辨识问题、单靠相关函数是不够的，因为它不包含系统的相位信息［1］.
基于高阶统计量的系统辨识方法在近年来受到了高度的重视.同基于相关函数的传统辨识方法相比较，高阶统计量的优点在于：1.可保留系统的相位信息，从而有效地辨识非最小相位、非因果系统.2.可以抑制加性有色噪声的影响，提高算法的鲁棒性.在各种高阶统计量中，四阶统计量由于计算相对简单，可以处理对称分布信号而受到人们的特别重视，成为许多算法的基础.
在文献［3］的基础上，本文提出了最大峰度准则，并将其应用到非因果系统的辨识中.通过非线性优化中的梯度法，本文设计了一种ar系统的盲辨识算法，并证明了它的全局收敛性，给出了算法在平衡点附近的收敛速度.算法通过构造逆滤波器的方法来进行盲辨识，同时通过基于高阶累积量的自学习算法用逆滤波器的系数逼近ar系统的参数.这个算法可以辩识非因果系统并且也可用于反卷积或者盲均衡.由于采用了高阶累积量，算法对高斯观测噪声有较好的鲁棒性.
二、基于最大峰度准则的系统辨识算法
设有一未知的线性时不变系统h，其输入序列{u(n)}也未知，我们只观测到其输出序列{x(n)},n=0,1,…,n-1，其中n为测量序列的长度.系统模型为
x(n)=u(n)*h(n)+w(n) (1)
其中{w(n)}是量测噪声.h(n)是未知的线性时不变系统h的单位脉冲响应.
对这个模型中的信号特性做如下假设：
(a1)线性时不变系统h是稳定的，但它不一定是最小相位，也不一定是因果的，它存在一个稳定的逆系统h-1.
(a2){u(n)}是平稳的零均值非高斯实信号，而且是一个独立同分布信号，它的m阶累积量γm存在，m3.加性噪声{w(n)}服从高斯分布，其统计特性未知，且与输入信号{u(n)}相独立.
设对逆系统h-1的估计为v，则v的输出{y(n)}为
y(n)=x(n)*v(n)=u(n)*g(n)+w′(n) (2)
其中w′(n)=w(n)*v(n)仍为一高斯噪声，g(n)是由下式给出的稳定的滤波器
g(n)=h(n)*v(n) (3)
与通常的峰度定义不同，定义信号x(t)的(规范化的)峰度k42x为
k42x=c4x(0,0,0)/［c2x(0)］2=γ4x/［σ2x］2 (4)
为了克服shalvi & weinstein提出的准则［2］中要求信号的方差相等的限制，可以把式(4)定义的(规范化)的峰度值做为准则函数，这使它更适合于实际应用环境定义的准则函数为
j(v(n))=|k42y|=|γ4y/(σ2y)2| (5)
需要说明的是，这个准则函数实际上是chi & wu［3］提出的一大类准则函数中的一个特例.他们提出的准则函数为：
jl+s,2s(v(n))=|γl+s,y|2s/|γ2s,y|l+s (6)
其中l＞s1.
显然，式(5)是式(6)在l=3,s=1时的特例.该准则函数的有效性在［3］中得到了证明，但本文将证明基于式(5)这个准则的算法的全局收敛性和收敛速度.
对于非因果ar系统，其逆滤波器是一个因果ma系统和一个反因果ma系统的极联，设这两个系统分别为ω(i)和(i).针对上面的准则函数，可以利用非线性优化中的梯度法，得到ω(i)和(i)的自学习算法为：
(7)
(8)
式中的数学期望在实际应用中都由相应的均值估计代替.当k42x为正时，x(t)为所谓超值，保证k42y不断向正的方向增大；当k42x为负时，x(t)为亚高斯(sub-gaussian)信号，α取负值，k42y不断减小，|k42y|增大.
三、算法的全局收敛性
因为本文采是非线性优化方法，这就必然涉及到一个问题：算法收敛到的是全局极值点还是局部极值点?下面的定理表明算法必然收敛到全局极值点.
定理：式(7)，式(8)的算法的收敛点是全局极值点.
证明：根据输入和输出之间高阶累积量的关系，可以把准则函数改写为
j(v(n))=|k42u|∑g4(n)/［∑g2(n)］2 (9)
去掉其中与输入有关的常数，可以把目标函数进一步简化为
j(g(n))=∑g4(n)/［∑g2(n)］2 (10)
由式(10)，得到下列驻点方程
j=1,2,… (11)
由式(11)，驻点为g(j)=0或g2(j)=c,其中c=∑g4(i)/∑g2(i)为一常数.为了便于叙述，定义由驻点gm(j)组成的集合gm,m=1,2,…,即
gm={gm:gm(j)符合式(11)，且gm中有m个非零元素} (12)
由文献［3］关于准则有效性的证明，知道g1是由所有全局极值点组成的集合，下面证明gm，m2是由不稳定平衡点(鞍点)组成的集合，即利用本算法不会收敛到局部极值点.
假定∈gm为
(13)
其中im=(k1,…,km)是一个有m个不重复正整数的集合.构造一个向量.
(14)
它的准则函数为
(15)
只要ε＞0，上面的不等式就严格成立.也就是说，在的任何小的领域里，总存在使得j()＞j()，所以∈gm不可能是局部极大值.下面证明它也不是局部极小值.
设km+1im，构造如下的一个向量g)
(16)
它的准则函数为
(17)
因为c＞ε＞0，上面的不等式严格成立，所以∈gm不可能是局部极小值.
综上所述，∈gm,m2是准则函数的不稳定平衡点.因此按照式(7)，式(8)的梯度寻优算法收敛到的必然是全局极值点.证毕.
上述定理表明，本算法对任何初始值都不会收敛到不希望的局部极值点，这无疑是一个非常可贵的性质.本文例2的仿真结果说明了这一性质.
四、算法的收敛速度
下面考虑算法的收敛速度.不失一般性，假设平衡点为(i)=δ(τ),g(i)为偏离平衡点的一个迭代值.
(18)
定义则有，
≈(1-4ε0)/|1+ε-2ε0|2-1(推导中去掉了分子中ε,ε0所有的二次以上项)
≈(1-4ε0)|1-ε+2ε0|2-1
≈-2ε(推导中去掉了ε,ε0所有的二次以上项) (19)
由式(18)和(19)，得到
j(g)-j()∝‖g-‖2 (20)
可见在全局极值点附近，准则函数是以平方速度变化的.因此本文提出的基于梯度法寻优的学习算法在平衡点附近将线性收敛.从下节例1的图1和图2中可以看到在接近收敛点附近，辨识的各个参数都以几乎相同的斜率收敛到终值.
图1 反因果部分辨识过程
图2 因果部分辨识过程
五、仿真结果
此处给出两种典型情况的仿真结果，在所有仿真中加性观测噪声为高斯白噪声，输入信号是指数分布的随机过程(均值为零，λ=1)，数据长度为3000.学习常数开始时为0.5，在学习过程中逐渐减小为0.1.对每个例子均为30次monte carlo实验.
例1.(非因果系统的辨识)真实ar模型为
它的极点位于-0.0506±j0.6532，-0.6988，和-1.7500±h1.3919，信噪比snr=10db辨识时取m=5和n=5，即因果ma部分和反因果ma部分分别比实际模型高两阶和三阶.辨识结果见表1和表2.
表1 非因果ar系统的因果部分辨识结果
a(1) a(2) a(3) a(4) a(5)
真实值 0.8 0.5 0.2 0 0
均值 0.7700 0.4524 0.2375 -0.0296 -0.0041
标准差 0.0654 0.0759 0.0741 0.0492 0.0322
表2 非因果ar系统的反因果部分辨识结果
b(1) b(2) b(3) b(4) b(5)
真实值 0.7 0.2 0 0 0
均值 0.6738 0.2015 0.0261 0.0215 0.0019
标准差 0.0812 0.0677 0.0485 0.0419 0.0337
图2和图3为最后一次monte carlo实验中b(i)和a(i)估计值的变化过程.由图中可以看到，在经过大约18次学习后，ar参数的估计值就收敛到真实值.
图3 g(i)的变化过程
例2 (反卷积：回响消除)假设房间的回响效果可以用以下的3阶ma模型表示，它的参数为h(0)=l,h(l)=0.5,h(2)=0.2,h(3)=0.1.为了减小截断效应，仿真时取反卷积滤波器的阶数为m=10.设g(i)=h(i)*a(i).
取反卷积滤波器的初始值为a(1)=1,a(2)=…=a(10)=0，迭代计算g(i)的结果如图3所示.由图可见，经过8次迭代，g(i)就趋近于一个δ函数，表示回响得到了很好的消除.其中g(i)的终值见表3第一行.它近似为δ(t).当初始值为a(1)=…=a(10)=0.1时g(i)的终值见表3第二行.它近似为δ(t-4).两个结果都是全局极值点.这个结果说明了算法是全局收敛的.
表3 g(i)的终值
g(1) g(2) g(3) g(4) g(5) g(6) g(7) g(8) g(9) g(10)
终值 1.196 0.023 0.027 0.016 0.137 -0.01 -0.04 -0.03 -0.04 -0.05
终值 -0.01 -0.02 0.001 0.057 1.296 0.023 0.025 0.023 0.151 -0.02
六、结论
在文献［3］的基础上，本文提出了基于二阶和四阶统计量的最大(规范化)峰度准则，并设计了基于这种准则的非因果ar系统辩识算法，这个算法同时也可以用于盲反卷积或盲均衡中.与文献［3］未对算法作性能分析不同，本文证明了算法不但是全局收敛的，而且在平衡点附近将以线性速度进行收敛.仿真的结果验证了我们的结论.
横格式分样器的使用中需要注意的事项有哪些
AR隐形眼镜不再只是想象，它真的被创造出来了
java内存溢出的几种原因和解决办法
Uber被芝加哥市政府施压起诉,原因是用户数据遭到泄露
雷曼光电：8K超高清时代的Micro LED应用
基于最大峰度准则的非因果AR系统盲辨识
中兴解禁后致函供应商调集资源赶进度 上半年预计亏损70-90亿元
如何使用库函数来驱动LED灯详细概述
电梯远程控制系统解决方案
浅谈大型综合超市电气火灾安全隐患及解决方案
公网,私网,内网,外网的区别
TMC5041电机驱动芯片概述/特点/参数/应用
旺宏：市场消化库存较预期久 明年上半年景气恐不会变好
华工科技携手武船重工揭榜国家级智能制造示范工厂！
如果新能源汽车续航达到800公里，你还有里程焦虑吗？
通信设备为什么需要接地阻？
国产IP发展综述：中国需要有自己的芯片标准吗？能否建立起来？
我国传感器产业的突破口在于物联网应用
博联智能FastCon蓝牙智能解决方案实现智能化升级
温室大棚气象站技术参数介绍以及功能特点
本文结合最大峰度准则和非线性优化理论中的梯度法，设计了一种非因果ar系统的盲辨识算法，并证明了它的全局收敛性，给出了它在平衡点附近的收敛速度.算法通过构造逆滤波器的方法来进行盲辨识，同时通过基于高阶累积量的自学习算法将逆滤波器的系数逼近ar系统的参数.由于采用了高阶累积量，算法对高斯观测噪声有较好的抑制能力.仿真的结果表明了算法的有效性.
关键词:非因果系统；盲辨识；高阶累积量；最大峰度准则
blind identification of noncausual ar system based on maximum kurtosis criteria
zhao xi-kai,zhang xian-da
(dept.of automation,tsinghua university,beijing 100084,china)
abstract:based on the maximum kurtosis criteria and gradient decent method,this paper designed a new blind identification algorithm for noncausual ar system.its global convergence is proved and convergence rate calculated.parameters in the inverse filter approach the true ar coefficients by high-order cumulant (hos) based self-study algorithm.this identification method can effectively suppress the gaussian noise because of the utilization of hos.
key words:noncausual system;blind identification;higher-order culmulant;maximum kurtosis criteria
一、引言
在地震勘探、通讯和水声信号处理等许多领域，经常需要辨识非因果系统.要解决这类非因果系统的盲辨识问题、单靠相关函数是不够的，因为它不包含系统的相位信息［1］.
基于高阶统计量的系统辨识方法在近年来受到了高度的重视.同基于相关函数的传统辨识方法相比较，高阶统计量的优点在于：1.可保留系统的相位信息，从而有效地辨识非最小相位、非因果系统.2.可以抑制加性有色噪声的影响，提高算法的鲁棒性.在各种高阶统计量中，四阶统计量由于计算相对简单，可以处理对称分布信号而受到人们的特别重视，成为许多算法的基础.
在文献［3］的基础上，本文提出了最大峰度准则，并将其应用到非因果系统的辨识中.通过非线性优化中的梯度法，本文设计了一种ar系统的盲辨识算法，并证明了它的全局收敛性，给出了算法在平衡点附近的收敛速度.算法通过构造逆滤波器的方法来进行盲辨识，同时通过基于高阶累积量的自学习算法用逆滤波器的系数逼近ar系统的参数.这个算法可以辩识非因果系统并且也可用于反卷积或者盲均衡.由于采用了高阶累积量，算法对高斯观测噪声有较好的鲁棒性.
二、基于最大峰度准则的系统辨识算法
设有一未知的线性时不变系统h，其输入序列{u(n)}也未知，我们只观测到其输出序列{x(n)},n=0,1,…,n-1，其中n为测量序列的长度.系统模型为
x(n)=u(n)*h(n)+w(n) (1)
其中{w(n)}是量测噪声.h(n)是未知的线性时不变系统h的单位脉冲响应.
对这个模型中的信号特性做如下假设：
(a1)线性时不变系统h是稳定的，但它不一定是最小相位，也不一定是因果的，它存在一个稳定的逆系统h-1.
(a2){u(n)}是平稳的零均值非高斯实信号，而且是一个独立同分布信号，它的m阶累积量γm存在，m3.加性噪声{w(n)}服从高斯分布，其统计特性未知，且与输入信号{u(n)}相独立.
设对逆系统h-1的估计为v，则v的输出{y(n)}为
y(n)=x(n)*v(n)=u(n)*g(n)+w′(n) (2)
其中w′(n)=w(n)*v(n)仍为一高斯噪声，g(n)是由下式给出的稳定的滤波器
g(n)=h(n)*v(n) (3)
与通常的峰度定义不同，定义信号x(t)的(规范化的)峰度k42x为
k42x=c4x(0,0,0)/［c2x(0)］2=γ4x/［σ2x］2 (4)
为了克服shalvi & weinstein提出的准则［2］中要求信号的方差相等的限制，可以把式(4)定义的(规范化)的峰度值做为准则函数，这使它更适合于实际应用环境定义的准则函数为
j(v(n))=|k42y|=|γ4y/(σ2y)2| (5)
需要说明的是，这个准则函数实际上是chi & wu［3］提出的一大类准则函数中的一个特例.他们提出的准则函数为：
jl+s,2s(v(n))=|γl+s,y|2s/|γ2s,y|l+s (6)
其中l＞s1.
显然，式(5)是式(6)在l=3,s=1时的特例.该准则函数的有效性在［3］中得到了证明，但本文将证明基于式(5)这个准则的算法的全局收敛性和收敛速度.
对于非因果ar系统，其逆滤波器是一个因果ma系统和一个反因果ma系统的极联，设这两个系统分别为ω(i)和(i).针对上面的准则函数，可以利用非线性优化中的梯度法，得到ω(i)和(i)的自学习算法为：
(7)
(8)
式中的数学期望在实际应用中都由相应的均值估计代替.当k42x为正时，x(t)为所谓超值，保证k42y不断向正的方向增大；当k42x为负时，x(t)为亚高斯(sub-gaussian)信号，α取负值，k42y不断减小，|k42y|增大.
三、算法的全局收敛性
因为本文采是非线性优化方法，这就必然涉及到一个问题：算法收敛到的是全局极值点还是局部极值点?下面的定理表明算法必然收敛到全局极值点.
定理：式(7)，式(8)的算法的收敛点是全局极值点.
证明：根据输入和输出之间高阶累积量的关系，可以把准则函数改写为
j(v(n))=|k42u|∑g4(n)/［∑g2(n)］2 (9)
去掉其中与输入有关的常数，可以把目标函数进一步简化为
j(g(n))=∑g4(n)/［∑g2(n)］2 (10)
由式(10)，得到下列驻点方程
j=1,2,… (11)
由式(11)，驻点为g(j)=0或g2(j)=c,其中c=∑g4(i)/∑g2(i)为一常数.为了便于叙述，定义由驻点gm(j)组成的集合gm,m=1,2,…,即
gm={gm:gm(j)符合式(11)，且gm中有m个非零元素} (12)
由文献［3］关于准则有效性的证明，知道g1是由所有全局极值点组成的集合，下面证明gm，m2是由不稳定平衡点(鞍点)组成的集合，即利用本算法不会收敛到局部极值点.
假定∈gm为
(13)
其中im=(k1,…,km)是一个有m个不重复正整数的集合.构造一个向量.
(14)
它的准则函数为
(15)
只要ε＞0，上面的不等式就严格成立.也就是说，在的任何小的领域里，总存在使得j()＞j()，所以∈gm不可能是局部极大值.下面证明它也不是局部极小值.
设km+1im，构造如下的一个向量g)
(16)
它的准则函数为
(17)
因为c＞ε＞0，上面的不等式严格成立，所以∈gm不可能是局部极小值.
综上所述，∈gm,m2是准则函数的不稳定平衡点.因此按照式(7)，式(8)的梯度寻优算法收敛到的必然是全局极值点.证毕.
上述定理表明，本算法对任何初始值都不会收敛到不希望的局部极值点，这无疑是一个非常可贵的性质.本文例2的仿真结果说明了这一性质.
四、算法的收敛速度
下面考虑算法的收敛速度.不失一般性，假设平衡点为(i)=δ(τ),g(i)为偏离平衡点的一个迭代值.
(18)
定义则有，
≈(1-4ε0)/|1+ε-2ε0|2-1(推导中去掉了分子中ε,ε0所有的二次以上项)
≈(1-4ε0)|1-ε+2ε0|2-1
≈-2ε(推导中去掉了ε,ε0所有的二次以上项) (19)
由式(18)和(19)，得到
j(g)-j()∝‖g-‖2 (20)
可见在全局极值点附近，准则函数是以平方速度变化的.因此本文提出的基于梯度法寻优的学习算法在平衡点附近将线性收敛.从下节例1的图1和图2中可以看到在接近收敛点附近，辨识的各个参数都以几乎相同的斜率收敛到终值.
图1 反因果部分辨识过程
图2 因果部分辨识过程
五、仿真结果
此处给出两种典型情况的仿真结果，在所有仿真中加性观测噪声为高斯白噪声，输入信号是指数分布的随机过程(均值为零，λ=1)，数据长度为3000.学习常数开始时为0.5，在学习过程中逐渐减小为0.1.对每个例子均为30次monte carlo实验.
例1.(非因果系统的辨识)真实ar模型为
它的极点位于-0.0506±j0.6532，-0.6988，和-1.7500±h1.3919，信噪比snr=10db辨识时取m=5和n=5，即因果ma部分和反因果ma部分分别比实际模型高两阶和三阶.辨识结果见表1和表2.
表1 非因果ar系统的因果部分辨识结果
a(1) a(2) a(3) a(4) a(5)
真实值 0.8 0.5 0.2 0 0
均值 0.7700 0.4524 0.2375 -0.0296 -0.0041
标准差 0.0654 0.0759 0.0741 0.0492 0.0322
表2 非因果ar系统的反因果部分辨识结果
b(1) b(2) b(3) b(4) b(5)
真实值 0.7 0.2 0 0 0
均值 0.6738 0.2015 0.0261 0.0215 0.0019
标准差 0.0812 0.0677 0.0485 0.0419 0.0337
图2和图3为最后一次monte carlo实验中b(i)和a(i)估计值的变化过程.由图中可以看到，在经过大约18次学习后，ar参数的估计值就收敛到真实值.
图3 g(i)的变化过程
例2 (反卷积：回响消除)假设房间的回响效果可以用以下的3阶ma模型表示，它的参数为h(0)=l,h(l)=0.5,h(2)=0.2,h(3)=0.1.为了减小截断效应，仿真时取反卷积滤波器的阶数为m=10.设g(i)=h(i)*a(i).
取反卷积滤波器的初始值为a(1)=1,a(2)=…=a(10)=0，迭代计算g(i)的结果如图3所示.由图可见，经过8次迭代，g(i)就趋近于一个δ函数，表示回响得到了很好的消除.其中g(i)的终值见表3第一行.它近似为δ(t).当初始值为a(1)=…=a(10)=0.1时g(i)的终值见表3第二行.它近似为δ(t-4).两个结果都是全局极值点.这个结果说明了算法是全局收敛的.
表3 g(i)的终值
g(1) g(2) g(3) g(4) g(5) g(6) g(7) g(8) g(9) g(10)
终值 1.196 0.023 0.027 0.016 0.137 -0.01 -0.04 -0.03 -0.04 -0.05
终值 -0.01 -0.02 0.001 0.057 1.296 0.023 0.025 0.023 0.151 -0.02
六、结论
在文献［3］的基础上，本文提出了基于二阶和四阶统计量的最大(规范化)峰度准则，并设计了基于这种准则的非因果ar系统辩识算法，这个算法同时也可以用于盲反卷积或盲均衡中.与文献［3］未对算法作性能分析不同，本文证明了算法不但是全局收敛的，而且在平衡点附近将以线性速度进行收敛.仿真的结果验证了我们的结论.
横格式分样器的使用中需要注意的事项有哪些
AR隐形眼镜不再只是想象，它真的被创造出来了
java内存溢出的几种原因和解决办法
Uber被芝加哥市政府施压起诉,原因是用户数据遭到泄露
雷曼光电：8K超高清时代的Micro LED应用
基于最大峰度准则的非因果AR系统盲辨识
中兴解禁后致函供应商调集资源赶进度 上半年预计亏损70-90亿元
如何使用库函数来驱动LED灯详细概述
电梯远程控制系统解决方案
浅谈大型综合超市电气火灾安全隐患及解决方案
公网,私网,内网,外网的区别
TMC5041电机驱动芯片概述/特点/参数/应用
旺宏：市场消化库存较预期久 明年上半年景气恐不会变好
华工科技携手武船重工揭榜国家级智能制造示范工厂！
如果新能源汽车续航达到800公里，你还有里程焦虑吗？
通信设备为什么需要接地阻？
国产IP发展综述：中国需要有自己的芯片标准吗？能否建立起来？
我国传感器产业的突破口在于物联网应用
博联智能FastCon蓝牙智能解决方案实现智能化升级
温室大棚气象站技术参数介绍以及功能特点