Reference source from the internet.
第一节 曲线拟合的最小二乘法
问题的背景
通过观测、测量或试验得到某一函数在x1 ,x2 ,…,xn 的函数值. 我们可以用插值的方法对这一函数进行近似,而插值方法要求所得到的插值多项式经过已知的这n个插值结点;在n比较大的情况下, 插值多项式往往是高次多项式, 这也就容易出现振荡现象:虽然在插值结点上没有误差,但在插值结点之外插值误差变得很,从“整体”上看,插值逼近效果将变得“很差”. 于是, 我们采用数据拟合的方法.
定义1 数据拟合就是求一个简单的函数φ(x), 例如是一个低次多项式,不要求通过已知的这n个点，而是要求在整体上“尽量好”的逼近原函数,这时在每个已知点上就会有误差yk -φ(xk ),(k=1,2,…,n),数据拟合就是从整体上使误差yk -φ(xk) ,(k=1,2,…,n), 尽量的小一些.
如果要求: 达到最小,因误差yk -φ(xk)可正可负
本来很大的误差可能会正负抵消,这样的提法不合理,为防止正负抵消,可以要求:达到最小,但是由于绝对值函数不可以求导,分析起来不方便,求解也很难. 为了既能防止正负抵消，又能便于我们分析、求解，提出如下问题：
求一个低次多项式φ(x) ,使得: 达到最小,此问题便是一个数据拟合的最小二乘问题.
一、直线拟合 (一次函数)
通过观测、测量或试验得到某一函数在x1 ,x2 ,…,xn 的函数值：y1 ,y2 ,…,yn ,即得到n组数据(x1 ,y1 ),(x2 ,y2 ),…,(xn ,yn ),如果这些数据在直角坐标系中近似地分布在一条直线上,我们可以用直线拟合的方法.
已知数据(x1 ,y1 ),(x2 ,y2 ),…,(xn ,yn ),求一次多项式φ(x)=a+bx(实际上，就是求a,b), 使得:
（1）
达到最小.
注意到Q(a,b)中,xk ,yk 均是已知的,而a,b是未知量,Q(a,b)是未知
量a,b的二元函数,利用高等数学求二元函数极
小值(最小值)的方法，上述问题转化为求解下
列方程组:
的解.
由 得
因为 得到如下的正则方程组:
(3)
这是个关于a,b的二元一次方程组,称其为最小二乘问题的正则方程组解得a,b,便得到最小二乘问题的拟合函数 .
例1 已知10对数据如下表,利用最小二乘法求拟合曲线y=a+bx .
解：先列表来计算四个
形成所谓正则方程组:
解得a=6.4383，b=-0.7877于是，最小二乘拟合一次函数为 y=6.4383-0.7877x
二、多项式拟合
已知一组数据对(xi ,yi ),(i=1,2,…,n),求一个m次多项式(m
达到最小. 即求待定参数a0 ,a1 ,…,am 使得
(4)
达到最小.
如果m=n-1, 过这n个点可以决定一个n-1次多项式, 此时说明:Pm(x)正好可以过这n个点,Q=0时达到最小，这就成为一个插值问题.如果m>n-1,此时过这n个点的m次多项式不仅存在,而且有无穷多个,解是不确定的. 因而, 对于拟合问题，一般总是针对大量的数据对而选用低次多项式.
类似直线拟合方法，可找a0 ,a1 ,…,am 满足的所谓正则方程组, 令
整理得到下面的正则方程组(法方程组)：
这是一个m+1阶的线性方程组. 例如m=2, 法方程组为
这是一个三元一次方程组.
例2 给定数据如下表, 求最小二乘拟合多项式P2(x) .
解：设P2(x)=a0 +a1 x+a2 x2 ，列表计算:
于是，法方程组为:
解得
故所求的二次多项式为：
y = -1.7143 + 3.8690x - 0.4881x2
三、指数拟合和一些非线性拟合
有些数据(xk ,yk),(k=1,2,…,n),在直角坐标系中的分布近似于指数曲线, 则可以用指数函数进行拟合.
已知一组数据对(xk ,yk),(i=1,2,…,n),求一个指数函数y=beax ,使得误差的平方和 :
(6)
达到最小.
指数函数y=beax ,两边取对数,得:lny=lnb+ax,作变换y* =lny,得y* =lnb+ax这是一个一次函数,lnb和a是待定系数.
指数拟合的具体步骤:
(1) 我们可以将数据对(xk ,yk) 转化为数据对(xk ,lnyk) ;
(2) 用最小二乘法求出拟合曲线y* =a0 +a1 x (即解出a0 ,a1 );
(3) 由lnb=a0=m,故b=em ,而a=a1 ,从而得到拟合的指数函数y=beax
例3 设一个发射源的发射公式为I=I0 e-αt ,通过实验得如下数据:
利用最小二乘法确定I0 和 α.
解 lnI=lnI0 -αt* ,设I =a0 +a1 t ,将数据对(tk ,Ik) 转化为数据
对:(tk ,lnIk), 然后进行直线拟合.
于是得到法方程组：
解得
m=a0 =1.728288,a1 =-2.888282,
则α= -a1 =2.89, 由lnI0 =a0 ,
I0 = em = 5.631006于是得到拟
合指数函数I=5.63e-2.89t .
其它一些非线性拟合
(1) 双曲线 (2) 对数函数 (3) S型曲线
(1) 双曲线先变形为: 令得到:y* = a + bx*
我们可以将数据对(xk ,yk) 转化为数据对然后进行直线拟合.
(2) 对数函数 y=a+blnx*令x =lnx, 变形为y=a+bx*
(3) S型曲线
先变形为 ,令, x* =e-x, 得到 y* =a+bx* .
四、函数逼近的相关概念
1. 函数空间
定义1 设集合S是数域P上的线性空间，元素x1 ,x2 ,…,xn ∈S, 如果存在不全为零的数a1 ,a2 ,…,an ∈P, 使得
a1 x1 +a2 x2 + … + an xn =0 (7)
称x1 ,x2 ,…,xn线性相关，否则，称x1 ,x2 ,…,xn 线性无相关。
如果x1 ,x2 ,…,xn 线性无关，它们可生成S的n维线性子空间
span{x1 ,x2 ,…,xn}={x|x=a1 x1 +a2 x2 + … + an xn , a ∈P,i=1,2,…,n}
函数f(x)的n次多项式逼近就是在多项式空间span{1,x,…,xn }中找出元素P(x)=a0 +a1 x +…+an xn 与f(x)“最接近”. 函数的多项式逼近有下面的重要定理.
定理(Weierstrass)1 设f(x)∈C[a,b], 对任意ε>0,总存在一个代数多项式P(x),使得
‖f(x)-P(x)‖<ε
在[a,b]上一致成立。
2. 范数与赋范线性空间
定义2 设集合S是线性空间，x∈S, 如果存在函数 ρ(x), 满足
1) ρ(x)≥0, 且ρ(x)=0 <==>x=0(正定性)
2) ρ(αx)=|α| ρ(x), α∈R (齐次性)
3) ρ(x+y)≤ρ(x)+ρ(y), x,y∈S(三角不等式)
则称ρ(x)为线性空间上的范数，通常记作‖·‖, 即‖x‖=ρ(x).
范数S与‖·‖一起称为赋范线性空间, 记作X.
赋范线性空间
向量范数见第二章第五节，主要有: 对x=(x1 ,x2 ,…,xn)
a. 向量的∞-范数(最大范数)：
b. 向量的1-范数：
c. 向量的2-范数：
类似地对连续函数空间C[a,b],若f∈C[a,b]，可定义三种范数
a. 向量的∞-范数(最大范数)：
b. 向量的1-范数：
c. 向量的2-范数：
3. 内积与内积空间
定义3 设X是数域K(R或C)上的线性空间，对 u,v ∈X,由K中一个数与之对应,记为(u,v),它满足一下条件
则称(u,v)为X上u与v的内积. 定义了内积的线性空间称为内积空间.如果(u,v)=0, 则称u与v正交.
定理2 设X为内积空间，对 u,v∈X，有
称为Cauchy-Schwarz不等式.
证明 对任一数λ∈K
(u+λv,u+λv)=(u,u)+2(u,v)λ+(v,v)λ2 ≥0
由一元二次方程根的判别定理可知定理的结论成立.
定理3 设X为内积空间，u1 ,u2 ,…,un ∈X，矩阵
称为(Gram)矩阵，则G为奇异的充分条件是，u1 ,u2 ,…,un 线性无关.
证明 首先指出，定理中奇异可改成正定.对α=(α1,α2,…,αn)≠0，由
以及线性代数的理论可知，定理的结论成立.
最常见的内积有，
1) 对x,y∈Cn , x=(x1 ,x2 ,…,xn ), y=(y1 ,y2 ,…,yn )
2) 对f(x),g(x)∈C[a,b],
上面的两种内即可推广到所谓带权的内积，即
称为权系数;
称为权函数.
一般对ρ(x)有如下要求
四、线性最小二乘法的一般形式
一般地,设给定数据组(xi ,yi)(i=1,2,…,n),φ1(x),…,φn(x)为已知的一组[a,b]上线性无关的函数，选取近似函数为：
φ(x)=a0 φ0 (x)+a1 φ1 (x)+…+am φm (x)
使得：
其中ωi>0(i=1,2,…,n)为权函数，H为φ0(x),φ1(x),…,φm(x)的线性组合的全体，这就是线性最小二乘法的一般形式.
与多项式拟合的讨论相类似，上述问题的正则方程组为：
即：
(9)
如果引入内积:
方程组(9)可表示成矩阵形式：
(10)
定理4 设a0 ,a1 , …,am 为方程组(9)的解，则函数
满足关系式(8),即它是数据组(xi ,yi)(i=1,2, …,n)的最小二乘解. 证明 (略)
定义4 称满足
的函数族φ0(x),φ1(x),…,φm(x)为以{ωi}(i=1,2, …,n)为权关于点集{x1 ,x2 , …,xn}的正交函数族.
容易推出下列多项式系：
是以{ωi}(i=1,2, …,n)为权关于点集{x1 ,x2, …,xn}的正交函数族. 其中
于是，求数据组(xi ,yi)(i=1,2,...,n)带权{ωi}(i=1,2,…,n)的最小二乘拟和多项式可按以下过程进行.
(1) 按式(12),(13)构造正交函数族φ0(x),φ1(x),…,φm(x)
(2) 求出正则方程组(9)的解：
(3) 写出最小二乘m次拟合多项式：
Welcome to BW tool world! We are an experienced tool maker specialized in cutting tools. We focus on what you need and endeavor to research the best cutter to satisfy users’ demand. Our customers involve wide range of industries, like mold & die, aerospace, electronic, machinery, ,,,etc. We are professional expert in cutting field. We would like to solve every problem from you. Please feel free to contact us, it’s our pleasure to serve for you. BW product including: utting tool、aerospace tool .HSS Cutting tool、Carbide end mills、Carbide cutting tool、NAS Cutting tool、Carbide end mill、Aerospace cutting tool、Carbide drill、High speed steel、Milling cutter、Core drill、Taperd end mills、Metric end mills、Miniature end mills、Pilot reamer、Electronics cutter、Step drill、Metal cutting saw、Double margin drill、Gun barrel、Angle milling cutter、Carbide burrs、Carbide tipped cutter、Chamfering tool、IC card engraving cutter、Side cutter、NAS tool、DIN tool、Special tool、Metal slitting saws、Shell end mills、Side and face milling cutters、Side chip clearance saws、Long end mills、Stub roughing end mills、Dovetail milling cutters、Carbide slot drills、Carbide torus cutters、Angeled carbide end mills、Carbide torus cutters、Carbide ball-noseed slot drills、Mould cutter、Tool manufacturer.
Bewise Inc. www.tool-tool.com
沒有留言:
張貼留言