前面所研究的自适应滤波算法根据的最佳准则为最小均方误差准则.自适应算法的目标在于,使滤波器输出与需要信号的误差的平方的统计平均值最小.这个准则根据输入数据的长期统计特性寻求最佳滤波.然而,我们通常已知的仅是一组数据,因而只能对长期统计特性进行估计或近似.LMS算法,格形梯度算法都是这样.能否直接根据一组数据寻求最佳呢 最小二乘算法就可解决这个问题.换句话说,根据最小均方误差准则得到的是对一类数据的最佳滤波器,而根据最小二乘法得到的是对一组已知数据的最佳滤波器.对同一类数据来说,最小均方误差准则对不同的数据组导出同样的"最佳"滤波器;而最小二乘法对不同的数据组导出不同的"最佳"滤波器.因而常说最小二乘法导出的最佳滤波器是"精确"的.
本章首先叙述最小二乘法的基础,并推导递推最小二乘(RLS)算法;然后介绍线性空间的概念,并在此基础上讨论两种重要的最小二乘自适应算法——最小二乘格形(LSL)算法和快速横式滤波器(FTT)算法.
§4.1 最小二乘滤波器
4.1.1 最小二乘滤波方程
设已知n个数据x (1), …, x (i), …, x (n),我们要根据这些数据,利用图4.1的m阶线性滤波器来估计需要信号d(1) , …, d (i), …, d (n).对d (i)的估计式可表为
(4.1.1)
估计误差
(4.1.2)
若假设i<1及i
其余的e (i)均为零.
根据最小二乘法,wmk(n)的最佳值应使下列累计平方误差性能函数为最小
(4.1.4)
其中 (4.1.5)
为加重新数据影响的加权因子.式(4.1.4)中的i的变化范围有下列四种取法:
之所以上列方法获得相应的名称,是因为方差法对已知数据x (1), …, x (n)之外的数据未作任何假定,它的处理仅利用已知数据.前加窗法假定当in时,x (i)=0;而相关法即前后窗法则假定in时,x (i)=0.相关法的相关矩阵是对称的和Toeplitz的,其余三个取法的相关矩阵是对称的但非Toeplitz.但是后三种方法的起动特性比相关法好,因而受到相当的重视.本书将以前加窗法为例来讨论最小二乘自适应滤波器.而且,我们仅限于讨论信号的情况,然而不难将结果推广到复信号情况.
对于前加窗法,我们只利用式(4.1.3)的前n个误差.令m维矢量
(4.1.6)
(4.1.7)
且有 (4.1.8)
这样,前加窗法的n个误差(即式(4.1.3)的前n项)可写成
(4.1.9)
引入n维矢量
(4.1.10)
(4.1.11)
及维矩阵
(4.1.12)
则式(4.1.9)可写成
(4.1.13)
前加窗法最小二乘性能函数为
(4.1.14)
其中 (4.1.15)
而求的最佳值问题归结为
(4.1.16)
为求解此问题,将式(4.1.13)代入式(4.1.14)得
(4.1.17)
引入m维矢量
(4.1.18)