線性預測

線性預測是根據已有採樣點按照線性函數計算未來某一離散信號的數學方法。

在數碼訊號處理中，線性預測經常稱為線性預測編碼（LPC），因此也可以看作是數字濾波器的一部分。在系統分析中，線性預測可以看作是數學建模或者最佳化的一部分。

預測模型

最常見的表示是

{\widehat {x}}(n)=-\sum _{i=1}^{p}a_{i}x(n-i)

，

其中 ${\widehat {x}}(n)$ 是預測的信號值， $x(n-i)$ 是前面觀測到的值， $a_{i}$ 是預測系數。這種預測產生的誤差是

e(n)=x(n)-{\widehat {x}}(n)

，

其中 $x_{n}$ 是真正的信號值。

這個等式對於所有類型的一維線性預測都是有效的，它們的不同之處是參數 $a_{i}$ 選擇方式的不同。

對於多維信號，誤差經常定義為

e(n)=||x(n)-{\widehat {x}}(n)||

，

其中 $||.||$ 是適當選擇的向量範數。

預測參數

在參數 $a_{i}$ 最佳化中最常見的選擇是均方根準則，也稱為自相關準則。在這種方法中減小了最小均方誤差e²(n)的期望值E[e²(n)]，這樣就得到等式

\sum _{i=1}^{p}a_{i}R(i-j)=-R(j)

，

對於1 ≤ j ≤ p,其中R是信號x_n的自相關，定義為

\ R(i)=E\{x(n)x(n-i)\}

，

其中E是期望值。在多維情況下，這相當於最小化L₂範數。

上面的方程稱為normal方程或者Yule-Walker方程，在矩陣形式下這個方程也可以寫作

Ra=-r,

，

其中自相關矩陣R是元素為r_i,j = R(i − j)的對稱輪換矩陣，向量r是自相關向量r_j = R(j)，向量a是參數向量。

另外一個更為通用的實現是最小化

e(n)=x(n)-{\widehat {x}}(n)=x(n)+\sum _{i=1}^{p}a_{i}x(n-i)=\sum _{i=0}^{p}a_{i}x(n-i)

其中通常使用 $a_{0}=1$ 約束參數 $a_{i}$ 以避免trivial解。這個約束產生與上面同樣的預測，但是normal方程是

\ Ra=[1,0,...,0]^{\mathrm {T} }

其中索引i的範圍是從0到p，並且R是 (p + 1)×(p + 1)矩陣。

參數最佳化是一個非常廣泛的話題，人們已經提出了大量的其它實現方法。

但是，自相關方法仍然是最為常用的方法，例如在GSM標準中的語音編碼就在使用這種方法。

矩陣方程Ra = r的求解計算上工作量很大，高斯消元法求矩陣的逆可能是最為古老的解法了，但是這種方法沒有有效地利用R和r的對稱性。一種更快的算法是Norman Levinson在1947年提出的Levinson遞歸法（英語：Levinson recursion），它遞歸地計算方程的解。後來Delsarte et al.提出了一種稱為split Levinson recursion的改進方法，它僅需要一半的乘除計算量，它在隨後的遞歸層面上使用了參數向量的特殊對稱特性。

參見

參考文獻

G. U. Yule. On a method of investigating periodicities in disturbed series, with special reference to wolfer’s sunspot numbers. Phil. Trans. Roy. Soc., 226-A:267–298, 1927.
J. Makhoul. Linear prediction: A tutorial review. Proceedings of the IEEE, 63 (5):561–580, April 1975.
M. H. Hayes. Statistical Digital Signal Processing and Modeling. J. Wiley & Sons, Inc., New York, 1996.