最小二乘法原理
最小二乘法原理
1. 概念 最小二乘法多项式曲线拟合，根据给定的m 个点, 并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。
2. 原理
给定数据点pi(xi,yi)，其中i=1,2,…,m 。求近似曲线y= φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi 处的偏差δi= φ(xi)-yi，i=1,2,...,m。
常见的曲线拟合方法：
1. 是偏差绝对值最小 min ∑δi =∑(xi ) -y i φi =1i =1m m
2. 是最大的偏差绝对值最小
min max δi =ϕ(xi ) -y i φi
3. 是偏差平方和最小
min ∑δ=∑(ϕ(xi ) -y i ) 2 φ2i
i =1i =1m m
按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法, 称为最小二乘法。
推导过程：
1. 设拟合多项式为：
y =a 0+a 1x +... +a k x k
2. 各点到这条曲线的距离之和，即偏差平方和如下：
k R =∑⎡⎣y i -(a 0+a 1x i +... +a k x i ) ⎤⎦ 2
i =1m 2
3. 为了求得符合条件的a 值，对等式右边求ak 偏导数，因而我们得到了：
k -2∑⎡y -(a +a x +... +a x ) ⎤i 01k i ⎣⎦=0
i =1
m m k ⎤-2∑⎡y -(a +a x +... +a x 01k i ) ⎦x =0 ⎣i
i =1
……..
k k ⎤ -2∑⎡y -(a +a x +... +a x ) x i 01k i ⎣⎦=0
i =1m
4. 将等式简化一下，得到下面的式子
a 0n +a 1∑x i +... +a k ∑x =∑y i k i
i =1i =1i =1n n n
a 0∑x i +a 1∑x +... +a k ∑x 2
i
i =1i =1i =1n n n k +1i =∑y i x i i =1n
……
a 0∑x +a 1∑x k
i
i =1i =1n n k +1i +... +a k ∑x =∑y i x i k 2k i i =1i =1n n
5. 把这些等式表示成矩阵形式，就可以得到下面的矩阵：
n n n k ⎤⎡n ⎡x ... x y i ⎤∑∑∑i =1i i =1i i =1a ⎡⎤⎢⎥0⎢⎥n n n n ⎢⎥2k +1⎥⎢⎢⎥a x x ... x x y 1∑∑∑∑i i i i i i =1i =1⎢i =1⎥⎢⎥=⎢i =1⎥ ⎢⎥⎢⎥⎢⎥⎢⎥⎢n k ⎥a ⎢n k ⎥n n k +12k k ⎦⎣... ∑i =1x i ⎥⎢⎢⎣∑i =1x i ∑i =1x i ⎦⎣∑i =1x i y i ⎥⎦
6. 将这个范德蒙矩阵化简后得到：
⎡1x 1⎢⎢1x 2
⎢⎢⎢1x n ⎣... ... ... x 1k ⎤⎡a 0⎤⎡y 1⎤⎥⎢y ⎥k ⎥⎢a x 2⎥⎢1⎥=⎢2⎥ ⎥⎢⎥⎢⎥⎥⎢⎥k ⎥⎢a x n ⎥⎣k ⎦⎣y n ⎦⎦