Legkisebb négyzetek módszere

Adott n db különböző pont, (Subscript[x, 1])<(Subscript[x, 2])<…<(Subscript[x, n]) ((Subscript[x, j])∈ℝ) és n db függvényérték, (Subscript[f, 1]),(Subscript[f, 2]),…,(Subscript[f, n]) ((Subscript[f, j])∈ℝ). Keressünk egy olyan legfeljebb M-edfokú p polinomfüggvényt, melyre (∑_(j=1)^n)(((p[(Subscript[x, j])]-(Subscript[f, j])))^2) minimális.

Pontosan egy olyan legfeljebb M-edfokú (M≤ n-1) polinom létezik, melyre a négyzetösszeg minimális.

A p polinom  (Subscript[α, j]) együtthatóit végtelen sokféleképpen választhajuk meg. A cél az optimális (véges) együtthatósorozat megtalálása. Tehát egy többváltozós optimalizálási problémával van dolgunk.

1. módszer: Kalkulus, normálegyenletek

Legyen p=(∑_(j=0)^m)(Subscript[α, j])(x^j) Mivel G((Subscript[α, 0]),(Subscript[α, 1]),…)=(∑_(j=1)^n)(((p[(Subscript[x, j])]-(Subscript[f, j])))^2)minden (Subscript[α, j]) szerint parciálisan differenciálható, a probléma vizsgálható a kalkulus eszközeivel.

M=0

X={1,2,3}, F={2,5,10}

P0[x_]:=α0;

X={1,2,3};
F={2,5,10};

G=Plus@@Map[(P0[#[[1]]]-#[[2]])^2&,Transpose[{X,F}]]

D[G,α0]

Solve[D[G,α0]==0]

Graphics[{RGBColor[1,0,0],PointSize[.03],Point[{1,2}],Point[{2,5}],Point[{3,10}],RGBColor[0,1,0],Line[{{0,17/3},{4,17/3}}]}]

M=1

P1[x_]:=α1 x+α0;

G=Plus@@Map[(P1[#[[1]]]-#[[2]])^2&,Transpose[{X,F}]]

{D[G,α0],D[G,α1]}

Solve[{D[G,α0]==0,D[G,α1]==0}]

A kapott lineáris polinom a 4x-7/3!

Graphics[{RGBColor[1,0,0],PointSize[.03],Point[{1,2}],Point[{2,5}],Point[{3,10}],RGBColor[0,1,0],Line[{{0,-7/3},{4,41/3}}]}]

M=2

P2[x_]:=α2 (x^2)+α1 x+α0;

G=Plus@@Map[(P2[#[[1]]]-#[[2]])^2&,Transpose[{X,F}]]

{D[G,α0],D[G,α1],D[G,α2]}

Solve[{D[G,α0]==0,D[G,α1]==0,D[G,α2]==0}]

A kapott kvadratikus polinom az (x^2)+1 !

InterpolatingPolynomial[Transpose[{X,F}],x]//Expand

Plot[Evaluate[InterpolatingPolynomial[Transpose[{X,F}],x]],{x,0,4},ImageSize->{300,300},PlotStyle->{RGBColor[0,1,0]},Epilog->{RGBColor[1,0,0],PointSize[.03],Map[Point[#]&,Transpose[{X,F}]]},PlotRange->{0,20}]

A LS min. probléma felfogható az interpolációs probléma általánosításaként!

Ortogonalitás (valós diszkrét pontrendszer)

<(Subscript[q, j])|(Subscript[q, l])> =(∑_i) (Subscript[q, j])[(Subscript[x, i])](Subscript[q, l])[(Subscript[x, i])]

{(Subscript[q, 0]),(Subscript[q, 1]),…} ortogonális  polinomrendszer (OPR),  ha j≠l⟹<(Subscript[q, j])|(Subscript[q, l])> =0

X={1,2,3}
q0=1, q1=x-2, q2= x^2-4x+10/3

X={1,2,3};

IP[f1_,f2_,var_]:=(∑_(i=1)^(Length[X]))(f1/.var->X[[i]])(f2/.var->X[[i]])

IP[x-2,x^2-4x+10/3,x]

Hogyan jön ki?  Javaslat:  (x^m)+∑ (Subscript[λ, j])(Subscript[q, j])   (Subscript[λ, l])=- <(x^m)|(Subscript[q, l])>/ <(Subscript[q, l])|(Subscript[q, l])>

2. Módszer:  Ortogonális polinomrendszer (OPR) felhasználásával

Ötlet:  p=∑(Subscript[α, j ])(Subscript[q, j]) , tehát keressük ortogonális polinomrendszer kombinációjaként a megoldást! Kérdés: mik lesznek az α együtthatók?

(Subscript[α, j])=<f|(Subscript[q, j])>/<(Subscript[q, j])|(Subscript[q, j])>

X={1,2,3};
F={2,5,10}

OPR:

Q={1,x-2,  x^2-4x+10/3 };

OptCoeff[OPR_,ind_]:=Module[{v=Table[OPR[[ind+1]]/.x->X[[j]],{j,Length[OPR]}]},v.F/v.v]

M=0

(Subscript[α, 0])=<f|(Subscript[q, 0])>/<(Subscript[q, 0])|(Subscript[q, 0])>

{2,5,10}.{1,1,1}/{1,1,1}.{1,1,1}

OptCoeff[Q,0]

M=1

(Subscript[α, 1])=<f|(Subscript[q, 1])>/<(Subscript[q, 1])|(Subscript[q, 1])>, <f|(Subscript[q, 0])>/<(Subscript[q, 0])|(Subscript[q, 0])>

{2,5,10}.{-1,0,1}/{-1,0,1}.{-1,0,1}

4(x-2)+17/3//Expand

OptCoeff[Q,1]

M=2

{2,5,10}.{1/3,-2/3,1/3}/{1/3,-2/3,1/3}.{1/3,-2/3,1/3}

OptCoeff[Q,2]

1(x^2-4x+10/3)+4(x-2)+17/3//Expand

(∑_(j=0)^2)OptCoeff[Q,j]Q[[j+1]]//Expand

Mit veszünk észre, ha összevetjük a kalkulusból származtatott megoldással?

Válasz: ugyanazt a megoldást kapjuk.

Ellenőrizzük a diszkrét Parseval formulát

|| f ((||)^2)=∑(((<f,(Subscript[q, j])>/||(Subscript[q, j])||))^2)

Norm[{2,5,10}]^2

({2,5,10}.{1,1,1}/Norm[{1,1,1}])^2+({2,5,10}.{-1,0,1}/Norm[{-1,0,1}])^2+({2,5,10}.{1/3,-2/3,1/3}/Norm[{1/3,-2/3,1/3}])^2

Norm[F]^2

(∑_(j=0)^2)((OptCoeff[Q,j])^2)IP[Q[[j+1]],Q[[j+1]],x]