Exemple variaționale de cele mai mici pătrate cu soluții. Regresie liniara. Folosind metoda celor mai mici pătrate (LSM). Exemple de rezolvare a unor probleme specifice

Dacă o cantitate fizică depinde de o altă mărime, atunci această dependență poate fi investigată prin măsurarea y la diferite valori ale lui x. În urma măsurătorilor, se obține o serie de valori:

x 1 , x 2 , ..., x i , ... , x n ;

y 1 , y 2 , ..., y i , ... , y n .

Pe baza datelor unui astfel de experiment, este posibilă reprezentarea grafică a dependenței y = ƒ(x). Curba rezultată face posibilă aprecierea formei funcției ƒ(x). Cu toate acestea, coeficienții constanți care intră în această funcție rămân necunoscuți. Metoda vă permite să le determinați cele mai mici pătrate. Punctele experimentale, de regulă, nu se află exact pe curbă. Metoda celor mai mici pătrate necesită ca suma abaterilor pătrate ale punctelor experimentale de la curbă, i.e. 2 a fost cel mai mic.

În practică, această metodă este folosită cel mai des (și cel mai simplu) în cazul unei relații liniare, adică când

y=kx sau y = a + bx.

Dependența liniară este foarte răspândită în fizică. Și chiar și atunci când dependența este neliniară, de obicei încearcă să construiască un grafic în așa fel încât să obțină o linie dreaptă. De exemplu, dacă se presupune că indicele de refracție al sticlei n este legat de lungimea de undă λ a undei luminoase prin relația n = a + b/λ 2 , atunci dependența lui n de λ -2 este reprezentată pe grafic .

Luați în considerare dependența y=kx(linie dreaptă care trece prin origine). Compuneți valoarea φ - suma abaterilor pătrate ale punctelor noastre de la dreapta

Valoarea lui φ este întotdeauna pozitivă și se dovedește a fi mai mică, cu atât punctele noastre sunt mai aproape de linie dreaptă. Metoda celor mai mici pătrate afirmă că pentru k ar trebui să se aleagă o astfel de valoare la care φ are un minim

sau
(19)

Calculul arată că eroarea pătratică medie în determinarea valorii lui k este egală cu

, (20)
unde – n este numărul de măsurători.

Să luăm acum în considerare un caz ceva mai dificil, când punctele trebuie să satisfacă formula y = a + bx(o linie dreaptă care nu trece prin origine).

Sarcina este de a găsi cele mai bune valori ale lui a și b din setul dat de valori x i , y i .

Din nou compunem o formă pătratică φ egală cu suma abaterilor pătrate ale punctelor x i , y i de la dreapta

și găsiți valorile a și b pentru care φ are un minim

;

.

Rezolvarea comună a acestor ecuații dă

(21)

Erorile pătratice medii ale determinării a și b sunt egale

(23)

.  (24)

La procesarea rezultatelor măsurătorilor prin această metodă, este convenabil să rezumați toate datele într-un tabel în care sunt calculate preliminar toate sumele incluse în formulele (19)–(24). Formele acestor tabele sunt prezentate în exemplele de mai jos.

Exemplul 1 A fost studiată ecuația de bază a dinamicii mișcării de rotație ε = M/J (o dreaptă care trece prin origine). Pentru diferite valori ale momentului M, a fost măsurată accelerația unghiulară ε a unui anumit corp. Este necesar să se determine momentul de inerție al acestui corp. Rezultatele măsurătorilor momentului de forță și accelerației unghiulare sunt enumerate în a doua și a treia coloană tabelele 5.

Tabelul 5

Prin formula (19) determinăm:

.

Pentru a determina eroarea pătratică medie, folosim formula (20)

0.005775kg-unu · m -2 .

Prin formula (18) avem

SJ = (2,996 0,005775)/0,3337 = 0,05185 kg m2.

Având în vedere fiabilitatea P = 0,95 , conform tabelului coeficienților Student pentru n = 5, găsim t = 2,78 și determinăm eroarea absolută ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m2.

Scriem rezultatele sub forma:

J = (3,0 ± 0,2) kg m2;

Exemplul 2 Calculăm coeficientul de temperatură al rezistenței metalului folosind metoda celor mai mici pătrate. Rezistența depinde de temperatură conform unei legi liniare

R t \u003d R 0 (1 + α t °) \u003d R 0 + R 0 α t °.

Termenul liber determină rezistența R 0 la o temperatură de 0 ° C, iar coeficientul unghiular este produsul dintre coeficientul de temperatură α și rezistența R 0 .

Rezultatele măsurătorilor și calculelor sunt prezentate în tabel ( vezi tabelul 6).

Tabelul 6

Prin formulele (21), (22) determinăm

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.

Să găsim o eroare în definiția lui α. Deoarece , atunci prin formula (18) avem:

.

Folosind formulele (23), (24) avem

;

0.014126 Ohm.

Având în vedere fiabilitatea P = 0,95, conform tabelului coeficienților lui Student pentru n = 6, găsim t = 2,57 și determinăm eroarea absolută Δα = 2,57 0,000132 = 0,000338 grade -1.

α = (23 ± 4) 10 -4 grindină-1 la P = 0,95.

Exemplul 3 Este necesară determinarea razei de curbură a lentilei din inelele lui Newton. Au fost măsurate razele inelelor lui Newton r m și au fost determinate numerele acestor inele m. Razele inelelor lui Newton sunt legate de raza de curbură a lentilei R și de numărul inelului prin ecuație

r 2 m = mλR - 2d 0 R,

unde d 0 este grosimea spațiului dintre lentilă și placa plan-paralelă (sau deformarea lentilei),

λ este lungimea de undă a luminii incidente.

A = (600 ± 6) nm;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,

atunci ecuația va lua forma y = a + bx.

Rezultatele măsurătorilor și calculelor sunt introduse tabelul 7.

Tabelul 7

Metoda celor mai mici pătrate (OLS, ing. Ordinary Least Squares, MCO)- o metodă matematică utilizată pentru rezolvarea diverselor probleme, bazată pe minimizarea sumei abaterilor pătrate ale unor funcții de la variabilele dorite. Poate fi folosit pentru a „rezolva” sisteme de ecuații supradeterminate (când numărul de ecuații depășește numărul de necunoscute), pentru a găsi o soluție în cazul sistemelor de ecuații neliniare obișnuite (nu supradeterminate), pentru a aproxima valorile punctuale a unei anumite funcţii. OLS este una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie din datele eșantionului.

YouTube enciclopedic

1 / 5

✪ Metoda celor mai mici pătrate. Subiect

✪ Cele mai mici pătrate, lecția 1/2. Funcție liniară

✪ Econometrie. Cursul 5. Metoda celor mai mici pătrate

✪ Mitin I. V. - Prelucrarea rezultatelor fizice. experiment - metoda celor mai mici pătrate (Lectura 4)

✪ Econometrie: Esența metodei celor mai mici pătrate #2

Subtitrări

Poveste

Până la începutul secolului al XIX-lea. oamenii de știință nu aveau anumite reguli pentru rezolvarea unui sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci s-au folosit metode deosebite, în funcție de tipul ecuațiilor și de ingeniozitatea calculatoarelor și, prin urmare, calculatoare diferite, plecând de la aceleași date observaționale, au ajuns la concluzii diferite. Gauss (1795) este creditat cu prima aplicare a metodei, iar Legendre (1805) a descoperit-o și publicat-o în mod independent sub numele său modern (fr. Methode des moindres quarres). Laplace a conectat metoda cu teoria probabilităților, iar matematicianul american Adrain (1808) a considerat aplicațiile probabilistice ale acesteia. Metoda este răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții.

Esența metodei celor mai mici pătrate

Lăsa x (\displaystyle x)- trusa n (\displaystyle n) variabile necunoscute (parametri), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- set de funcții din acest set de variabile. Problema este să alegi astfel de valori x (\displaystyle x) astfel încât valorile acestor funcții să fie cât mai apropiate de unele valori y i (\displaystyle y_(i)). În esență, vorbim despre „soluția” sistemului de ecuații supradeterminat f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)în sensul indicat, proximitatea maximă a părților din stânga și din dreapta ale sistemului. Esența LSM este de a alege ca „măsură a proximității” suma abaterilor pătrate ale părților din stânga și din dreapta | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Astfel, esența LSM poate fi exprimată astfel:

Dacă sistemul de ecuații are o soluție, atunci minimul sumei pătratelor va fi egal cu zero și soluțiile exacte ale sistemului de ecuații pot fi găsite analitic sau, de exemplu, prin diverse metode de optimizare numerică. Dacă sistemul este supradeterminat, adică în mod vag, numărul de ecuații independente este mai mare decât numărul de variabile necunoscute, atunci sistemul nu are o soluție exactă și metoda celor mai mici pătrate ne permite să găsim un vector „optim” x (\displaystyle x)în sensul proximităţii maxime a vectorilor y (\displaystyle y)și f (x) (\displaystyle f(x)) sau proximitatea maximă a vectorului de abatere e (\displaystyle e) la zero (proximitatea se înțelege în sensul distanței euclidiene).

Exemplu - sistem de ecuații liniare

În special, metoda celor mai mici pătrate poate fi folosită pentru a „rezolva” sistemul ecuatii lineare

Unde A (\displaystyle A) matrice de dimensiuni dreptunghiulare m × n , m > n (\displaystyle m\times n,m>n)(adică numărul de rânduri ale matricei A este mai mare decât numărul de variabile necesare).

Un astfel de sistem de ecuații, în general, nu are soluție. Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector x (\displaystyle x) pentru a minimiza „distanța” dintre vectori A x (\displaystyle Ax)și b (\displaystyle b). Pentru a face acest lucru, puteți aplica criteriul de minimizare a sumei diferențelor pătrate ale părților din stânga și din dreapta ale ecuațiilor sistemului, adică (A x - b) T (A x - b) → min x (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min _(x)). Este ușor de arătat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații

MCO în analiza de regresie (aproximarea datelor)

Să fie n (\displaystyle n) valorile unor variabile y (\displaystyle y)(acestea pot fi rezultatele observațiilor, experimentelor etc.) și variabilele corespunzătoare x (\displaystyle x). Provocarea este de a face relația între y (\displaystyle y)și x (\displaystyle x) aproximată printr-o funcție cunoscută până la niște parametri necunoscuți b (\displaystyle b), adică găsiți de fapt cele mai bune valori ale parametrilor b (\displaystyle b), aproximând la maxim valorile f (x, b) (\displaystyle f(x,b)) la valorile reale y (\displaystyle y). De fapt, aceasta se reduce la cazul „soluției” unui sistem supradeterminat de ecuații în raport cu b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n).

În analiza de regresie, și în special în econometrie, sunt utilizate modele probabilistice ale relației dintre variabile.

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

Unde ε t (\displaystyle \varepsilon _(t))- așa-zisul erori aleatorii modele.

În consecință, abaterile valorilor observate y (\displaystyle y) de la model f (x, b) (\displaystyle f(x,b)) deja asumat în modelul în sine. Esența LSM (obișnuită, clasică) este găsirea unor astfel de parametri b (\displaystyle b), la care suma abaterilor pătrate (erori, pentru modelele de regresie sunt adesea numite reziduuri de regresie) e t (\displaystyle e_(t)) va fi minim:

Unde R S S (\displaystyle RSS)- Engleză. Suma reziduală a pătratelor este definită ca:

În cazul general, această problemă poate fi rezolvată prin metode numerice de optimizare (minimizare). În acest caz, se vorbește despre cele mai mici pătrate neliniare(NLS sau NLLS - ing. Cele mai mici pătrate neliniare). În multe cazuri, se poate obține o soluție analitică. Pentru a rezolva problema minimizării, este necesar să găsiți punctele staționare ale funcției R S S (b) (\displaystyle RSS(b)), diferențiându-l în raport cu parametrii necunoscuți b (\displaystyle b), echivalând derivatele cu zero și rezolvând sistemul de ecuații rezultat:

LSM în cazul regresiei liniare

Fie dependența de regresie liniară:

Lăsa y este vectorul coloană de observații ale variabilei care se explică și X (\displaystyle X)- aceasta este (n × k) (\displaystyle ((n\time k)))- matricea observațiilor factorilor (rânduri ale matricei - vectorii valorilor factorilor într-o observație dată, prin coloane - vectorul valorilor unui factor dat în toate observațiile). Reprezentarea matricială a modelului liniar are forma:

Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egale cu

în consecință, suma pătratelor reziduurilor de regresie va fi egală cu

Diferențierea acestei funcție în raport cu vectorul parametru b (\displaystyle b)și echivalând derivatele cu zero, obținem un sistem de ecuații (sub formă de matrice):

În forma matricei descifrate, acest sistem de ecuații arată astfel:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x tk x∑ tdis 3 ⋮ b k) = (∑ x3 tdis ∑ t∑ t∑ t∑ t∑ t∮ t∑ t∮ t∑ (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ sum x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t) )\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix))) unde toate sumele sunt preluate peste toate valorile admisibile t (\displaystyle t).

Dacă o constantă este inclusă în model (ca de obicei), atunci x t 1 = 1 (\displaystyle x_(t1)=1) pentru toți t (\displaystyle t), deci în stânga colțul de sus matricele sistemului de ecuații este numărul de observații n (\displaystyle n), iar în elementele rămase din primul rând și prima coloană - doar suma valorilor variabilelor: ∑ x t j (\displaystyle \sum x_(tj))și primul element din partea dreaptă a sistemului - ∑ y t (\displaystyle \sum y_(t)).

Rezolvarea acestui sistem de ecuații dă formula generala Estimări MOL pentru un model liniar:

În scopuri analitice, ultima reprezentare a acestei formule se dovedește a fi utilă (în sistemul de ecuații când se împarte la n, în loc de sume apar mediile aritmetice). Dacă datele din modelul de regresie centrat, atunci în această reprezentare prima matrice are semnificația matricei de covarianță eșantion de factori, iar a doua este vectorul de covarianțe de factori cu variabilă dependentă. Dacă, în plus, datele sunt de asemenea normalizatîn regiunea Kazahstanului de Nord (adică în în cele din urmă standardizate), atunci prima matrice are semnificația matricei de corelație eșantion de factori, al doilea vector - vectorul de corelații de eșantion de factori cu variabila dependentă.

O proprietate importantă a estimărilor LLS pentru modele cu o constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este îndeplinită:

În special, în ultima solutie, când singurul regresor este o constantă, obținem că estimarea MCO a singurului parametru (constanta însăși) este egală cu valoarea medie a variabilei care se explică. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul pentru suma minimă a abaterilor pătrate de la aceasta.

Cele mai simple cazuri speciale

În cazul regresiei liniare pe perechi y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), când se estimează dependența liniară a unei variabile față de alta, formulele de calcul sunt simplificate (puteți face fără algebră matriceală). Sistemul de ecuații are forma:

De aici este ușor să găsiți estimări pentru coeficienți:

În ciuda faptului că, în general, modelele cu o constantă sunt de preferat, în unele cazuri se știe din considerente teoretice că constanta a (\displaystyle a) ar trebui să fie egal cu zero. De exemplu, în fizică, relația dintre tensiune și curent are forma U = I ⋅ R (\displaystyle U=I\cdot R); măsurând tensiunea și curentul, este necesar să se estimeze rezistența. În acest caz, vorbim despre un model y = b x (\displaystyle y=bx). În acest caz, în loc de un sistem de ecuații, avem o singură ecuație

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Prin urmare, formula de estimare a unui singur coeficient are forma

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Cazul unui model polinomial

Dacă datele sunt ajustate printr-o funcție de regresie polinomială a unei variabile f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), apoi, grade percepând x i (\displaystyle x^(i)) ca factori independenţi pentru fiecare i (\displaystyle i) este posibilă estimarea parametrilor modelului pe baza formulei generale de estimare a parametrilor modelului liniar. Pentru aceasta, este suficient să se țină seama în formula generală de faptul că la o asemenea interpretare x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))și x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Prin urmare, ecuațiile matriceale în acest caz vor lua forma:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x t 2 ... ∑ n x t k + 1 ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t 2 k) [b 0 b 1 y] =∑ 0 b 1 y ] ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum\limits _(n)x_(t)&\ldots &\sum\limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ suma \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)

Proprietățile statistice ale estimărilor MOL

În primul rând, observăm că pentru modelele liniare, estimările celor mai mici pătrate sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru imparțialitatea estimărilor celor mai mici pătrate, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: așteptarea matematică a unei erori aleatoare condiționată de factori trebuie să fie egală cu zero. Această condiție este îndeplinită, în special, dacă

1. așteptarea matematică a erorilor aleatoare este zero și
2. factorii și erorile aleatoare sunt valori independente aleatoare .

A doua condiție - condiția factorilor exogeni - este fundamentală. Dacă această proprietate nu este satisfăcută, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consecvente (adică chiar și o cantitate foarte mare de date nu permite obținerea de estimări calitative în acest caz). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, în contrast cu o eroare aleatorie, ceea ce înseamnă automat că condiția exogenă este satisfăcută. În cazul general, pentru consistența estimărilor, este suficientă satisfacerea condiției de exogeneitate împreună cu convergența matricei. V x (\displaystyle V_(x)) la o matrice nedegenerată pe măsură ce dimensiunea eșantionului crește la infinit.

Pentru ca, în plus față de consistență și imparțialitate, estimările (obișnuite) ale celor mai mici pătrate să fie și eficiente (cele mai bune din clasa estimărilor liniare nepărtinitoare), trebuie îndeplinite proprietăți suplimentare ale unei erori aleatoare:

Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de erori aleatoare V (ε) = σ 2 eu (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Un model liniar care satisface aceste condiții se numește clasic. Estimările MCO pentru regresia liniară clasică sunt estimări imparțiale, consistente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză, abrevierea este uneori folosită albastru (Cel mai bun estimator liniar imparțial) este cea mai bună estimare liniară imparțială; în literatura internă, este mai des citată teorema Gauss - Markov). După cum este ușor de arătat, matricea de covarianță a vectorului de estimare a coeficienților va fi egală cu:

V (b ^ O L S) = σ 2 (X T X) - 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Eficiența înseamnă că această matrice de covarianță este „minimă” (orice combinație liniară de coeficienți, și în special coeficienții înșiși, au o varianță minimă), adică, în clasa estimărilor liniare nepărtinitoare, estimările MCO sunt cele mai bune. Elementele diagonale ale acestei matrice - varianțele estimărilor coeficienților - sunt parametri importanți ai calității estimărilor obținute. Cu toate acestea, nu este posibil să se calculeze matricea de covarianță deoarece varianța erorii aleatoare este necunoscută. Se poate dovedi că estimarea imparțială și consistentă (pentru modelul liniar clasic) a varianței erorilor aleatoare este valoarea:

S 2 = R S S / (n - k) (\displaystyle s^(2)=RSS/(n-k)).

Înlocuind valoare datăîn formula pentru matricea de covarianță și obțineți o estimare a matricei de covarianță. Estimările rezultate sunt, de asemenea, imparțial și consecvente. De asemenea, este important ca estimarea varianței erorii (și, prin urmare, a varianței coeficienților) și estimările parametrilor modelului să fie independente. variabile aleatoare, care vă permite să obțineți statistici de testare pentru a testa ipoteze despre coeficienții modelului.

Trebuie remarcat că, dacă ipotezele clasice nu sunt îndeplinite, estimările parametrilor celor mai mici pătrate nu sunt cele mai eficiente și, unde W (\displaystyle W) este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate obișnuite este un caz special al acestei abordări, când matricea de ponderi este proporțională cu matricea de identitate. După cum se știe, pentru matrice (sau operatori) simetrice există o descompunere W = P T P (\displaystyle W=P^(T)P). Prin urmare, această funcționalitate poate fi reprezentată după cum urmează e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), adică acest funcțional poate fi reprezentat ca suma pătratelor unor „reziduuri” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - LS-methods (Least Squares).

Se dovedește (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt estimările așa-numitelor. MOL generalizat (OMNK, GLS - Cele mai mici pătrate generalizate)- Metoda LS cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: W = V ε - 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Se poate arăta că formula pentru estimările GLS ale parametrilor modelului liniar are forma

B ^ G L S = (X T V - 1 X) - 1 X T V - 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Matricea de covarianță a acestor estimări, respectiv, va fi egală cu

V (b ^ G L S) = (X T V - 1 X) - 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- unu)).

De fapt, esența MCO constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea celor mai mici pătrate uzuale la datele transformate. Scopul acestei transformări este ca pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice.

Cele mai mici pătrate ponderate

În cazul unei matrice de ponderi diagonale (și, prin urmare, matricea de covarianță a erorilor aleatoare), avem așa-numitele cele mai mici pătrate ponderate (WLS - Weighted Least Squares). În acest caz, suma ponderată a pătratelor a reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație: e T W mi = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma _(t)^(2)))). De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard presupusă a erorilor aleatoare), iar datelor ponderate se aplică cele mai mici pătrate normale.

ISBN 978-5-7749-0473-0.

Alegerea tipului de funcție de regresie, de ex. tipul modelului considerat al dependenței lui Y de X (sau X de Y), de exemplu, un model liniar y x \u003d a + bx, este necesar să se determine valorile specifice ale coeficienților model.

Pentru diferite valori ale lui a și b, este posibil să construim un număr infinit de dependențe de forma y x = a + bx, adică există un număr infinit de linii pe planul de coordonate, dar avem nevoie de o astfel de dependență care să corespundă la valorile observate cel mai bun mod. Astfel, problema se reduce la selectarea celor mai buni coeficienți.

Căutăm o funcție liniară a + bx, bazată doar pe un anumit număr de observații disponibile. Pentru a găsi funcția cu cea mai bună potrivire la valorile observate, folosim metoda celor mai mici pătrate.

Se notează: Y i - valoarea calculată prin ecuația Y i =a+bx i . y i - valoarea măsurată, ε i =y i -Y i - diferența dintre valorile măsurate și cele calculate, ε i =y i -a-bx i .

Metoda celor mai mici pătrate necesită ca ε i , diferența dintre yi măsurat și valorile lui Y i calculate din ecuație, să fie minimă. Prin urmare, găsim coeficienții a și b astfel încât suma abaterilor pătrate ale valorilor observate de la valorile de pe dreapta de regresie să fie cea mai mică:

Investigand aceasta functie a argumentelor a si cu ajutorul derivatelor la un extrem, putem demonstra ca functia ia o valoare minima daca coeficientii a si b sunt solutii ale sistemului:

(2)

Dacă împărțim ambele părți ale ecuațiilor normale la n, obținem:

Dat fiind (3)

obține , de aici, înlocuind valoarea lui a în prima ecuație, obținem:

În acest caz, b se numește coeficient de regresie; a se numește membrul liber al ecuației de regresie și se calculează prin formula:

Linia dreaptă rezultată este o estimare pentru dreapta de regresie teoretică. Avem:

Asa de, este o ecuație de regresie liniară.

Regresia poate fi directă (b>0) și inversă (b Exemplul 1. Rezultatele măsurării valorilor X și Y sunt date în tabel:

Presupunând că există o relație liniară între X și Y y=a+bx, determinați coeficienții a și b folosind metoda celor mai mici pătrate.

Soluţie. Aici n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y i =0,5+1+1,5+2+3=8

și sistem normal(2) are forma

Rezolvând acest sistem, obținem: b=0,425, a=1,175. Prin urmare y=1,175+0,425x.

Exemplul 2. Există un eșantion de 10 observații ale indicatorilor economici (X) și (Y).

Este necesar să găsiți o ecuație de regresie eșantion Y pe X. Construiți o dreaptă de regresie eșantion Y pe X.

Soluţie. 1. Să sortăm datele după valorile x i și y i . Primim un tabel nou:

Pentru a simplifica calculele, vom alcătui un tabel de calcul în care vom introduce valorile numerice necesare.

Conform formulei (4), calculăm coeficientul de regresie

și prin formula (5)

Astfel, ecuația de regresie a probei arată ca y=-59,34+1,3804x.
Să trasăm punctele (x i ; y i) pe planul de coordonate și să marchem dreapta de regresie.

Fig 4

Figura 4 arată cum sunt situate valorile observate în raport cu linia de regresie. Pentru a estima numeric abaterile lui y i de la Y i , unde y i sunt valori observate, iar Y i sunt valori determinate prin regresie, vom face un tabel:

Valorile Y i sunt calculate conform ecuației de regresie.

Abaterea notabilă a unor valori observate de la linia de regresie se explică prin numărul mic de observații. Când se studiază gradul de dependență liniară a lui Y față de X, se ia în considerare numărul de observații. Forța dependenței este determinată de valoarea coeficientului de corelație.

Exemplu.

Date experimentale despre valorile variabilelor Xși la sunt date în tabel.

Ca urmare a alinierii lor, funcția

Folosind metoda celor mai mici pătrate, aproximați aceste date cu o dependență liniară y=ax+b(găsiți parametri Ași b). Aflați care dintre cele două linii este mai bună (în sensul metodei celor mai mici pătrate) aliniază datele experimentale. Faceți un desen.

Esența metodei celor mai mici pătrate (LSM).

Problema este de a găsi coeficienții de dependență liniară pentru care funcția a două variabile Ași b ia cea mai mică valoare. Adică având în vedere datele Ași b suma abaterilor pătrate ale datelor experimentale de la linia dreaptă găsită va fi cea mai mică. Acesta este punctul întreg al metodei celor mai mici pătrate.

Astfel, soluția exemplului se reduce la găsirea extremului unei funcții a două variabile.

Derivarea formulelor pentru găsirea coeficienților.

Se compilează și se rezolvă un sistem de două ecuații cu două necunoscute. Găsirea derivatelor parțiale ale unei funcții în raport cu variabile Ași b, echivalăm aceste derivate cu zero.

Rezolvăm sistemul de ecuații rezultat prin orice metodă (de exemplu metoda de substitutie sau ) și obțineți formule pentru găsirea coeficienților folosind metoda celor mai mici pătrate (LSM).

Cu date Ași b funcţie ia cea mai mică valoare. Dovada acestui fapt este dată.

Aceasta este întreaga metodă a celor mai mici pătrate. Formula pentru găsirea parametrului A conține sumele , , , și parametrul n- cantitatea de date experimentale. Se recomandă ca valorile acestor sume să fie calculate separat. Coeficient b găsit după calcul A.

Este timpul să ne amintim de exemplul original.

Soluţie.

În exemplul nostru n=5. Completam tabelul pentru confortul calculării sumelor care sunt incluse în formulele coeficienților necesari.

Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i.

Valorile din al cincilea rând al tabelului se obțin prin pătrarea valorilor din al doilea rând pentru fiecare număr i.

Valorile ultimei coloane a tabelului sunt sumele valorilor de pe rânduri.

Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții Ași b. Înlocuim în ele valorile corespunzătoare din ultima coloană a tabelului:

Prin urmare, y=0,165x+2,184 este linia dreaptă de aproximare dorită.

Rămâne să aflăm care dintre rânduri y=0,165x+2,184 sau aproximează mai bine datele originale, adică să facă o estimare folosind metoda celor mai mici pătrate.

Estimarea erorii metodei celor mai mici pătrate.

Pentru a face acest lucru, trebuie să calculați sumele abaterilor pătrate ale datelor originale din aceste linii și , o valoare mai mică corespunde unei linii care aproximează mai bine datele originale în ceea ce privește metoda celor mai mici pătrate.

De la , apoi linia y=0,165x+2,184 aproximează mai bine datele originale.

Ilustrare grafică a metodei celor mai mici pătrate (LSM).

Totul arată grozav în topuri. Linia roșie este linia găsită y=0,165x+2,184, linia albastră este , punctele roz sunt datele originale.

Pentru ce este, pentru ce sunt toate aceste aproximări?

Eu personal folosesc pentru a rezolva probleme de netezire a datelor, probleme de interpolare și extrapolare (în exemplul original, vi se poate cere să găsiți valoarea valorii observate y la x=3 sau când x=6 conform metodei MNC). Dar vom vorbi mai multe despre asta mai târziu într-o altă secțiune a site-ului.

Dovada.

Așa că atunci când este găsit Ași b funcția ia cea mai mică valoare, este necesar ca în acest moment matricea formei pătratice a diferenţialului de ordinul doi pentru funcţie a fost pozitiv definit. Să o arătăm.

Metoda celor mai mici pătrate

Metoda celor mai mici pătrate ( MNK, OLS, Cele mai mici pătrate ordinare) - una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie din datele eșantionului. Metoda se bazează pe minimizarea sumei pătratelor reziduurilor de regresie.

Trebuie remarcat faptul că metoda celor mai mici pătrate în sine poate fi numită o metodă de rezolvare a unei probleme în orice zonă dacă soluția constă din sau satisface un anumit criteriu de minimizare a sumei pătratelor unor funcții ale variabilelor necunoscute. Prin urmare, metoda celor mai mici pătrate poate fi folosită și pentru o reprezentare (aproximare) aproximativă a unei anumite funcții prin alte funcții (mai simple), atunci când se găsesc o mulțime de mărimi care satisfac ecuații sau restricții, al căror număr depășește numărul acestor mărimi. , etc.

Esența MNC

Fie un model (parametric) de dependență probabilistică (regresie) între variabila (explicată). yși mulți factori (variabile explicative) X

unde este vectorul parametrilor necunoscuți ai modelului

Să existe și eșantion de observații ale valorilor variabilelor indicate. Fie numărul de observație (). Apoi sunt valorile variabilelor din a --a observație. Apoi la puncte de referință parametrii b, este posibil să se calculeze valorile teoretice (modelului) ale variabilei explicate y:

Valoarea reziduurilor depinde de valorile parametrilor b.

Esența LSM (obișnuită, clasică) este găsirea unor astfel de parametri b pentru care suma pătratelor reziduurilor (ing. Suma reziduală a pătratelor) va fi minimă:

În cazul general, această problemă poate fi rezolvată prin metode numerice de optimizare (minimizare). În acest caz, se vorbește despre cele mai mici pătrate neliniare(NLS sau NLLS - engleză. Cele mai mici pătrate neliniare). În multe cazuri, se poate obține o soluție analitică. Pentru a rezolva problema de minimizare, este necesar să găsim punctele staționare ale funcției prin diferențierea acesteia față de parametrii necunoscuți b, echivalând derivatele la zero și rezolvând sistemul de ecuații rezultat:

Dacă erorile aleatoare ale modelului sunt distribuite în mod normal, au aceeași varianță și nu sunt corelate între ele, estimările parametrilor celor mai mici pătrate sunt aceleași cu estimările metodei de probabilitate maximă (MLM).

LSM în cazul unui model liniar

Fie dependența de regresie liniară:

Lăsa y- vector coloană de observații a variabilei explicate și - matrice de observații factori (rânduri ale matricei - vectori de valori ale factorilor într-o observație dată, prin coloane - vector de valori ale unui anumit factor în toate observațiile). Reprezentarea matricială a modelului liniar are forma:

Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egale cu

în consecință, suma pătratelor reziduurilor de regresie va fi egală cu

Diferențiând această funcție în raport cu vectorul parametru și echivalând derivatele la zero, obținem un sistem de ecuații (sub formă de matrice):

Rezolvarea acestui sistem de ecuații oferă formula generală pentru estimările celor mai mici pătrate pentru modelul liniar:

În scopuri analitice, ultima reprezentare a acestei formule se dovedește a fi utilă. Dacă datele din modelul de regresie centrat, atunci în această reprezentare prima matrice are semnificația matricei de covarianță eșantion de factori, iar a doua este vectorul de covarianțe de factori cu variabilă dependentă. Dacă, în plus, datele sunt de asemenea normalizat la SKO (adică, în cele din urmă standardizate), atunci prima matrice are semnificația matricei de corelație eșantion de factori, al doilea vector - vectorul de corelații de eșantion de factori cu variabila dependentă.

O proprietate importantă a estimărilor LLS pentru modele cu o constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este îndeplinită:

În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a unui singur parametru (constanta însăși) este egală cu valoarea medie a variabilei explicate. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul pentru suma minimă a abaterilor pătrate de la aceasta.

Exemplu: regresie simplă (în perechi).

În cazul regresiei liniare perechi, formulele de calcul sunt simplificate (puteți face fără algebra matriceală):

Proprietățile estimărilor MOL

În primul rând, observăm că pentru modelele liniare, estimările celor mai mici pătrate sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru estimările MCO nepărtinitoare, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: condiționată de factori, așteptarea matematică a unei erori aleatoare trebuie să fie egală cu zero. Această condiție este îndeplinită, în special, dacă

1. așteptarea matematică a erorilor aleatoare este zero și
2. factorii și erorile aleatoare sunt variabile aleatoare independente.

A doua condiție - condiția factorilor exogeni - este fundamentală. Dacă această proprietate nu este satisfăcută, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consecvente (adică chiar și o cantitate foarte mare de date nu permite obținerea de estimări calitative în acest caz). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, în contrast cu o eroare aleatorie, ceea ce înseamnă automat că condiția exogenă este satisfăcută. În cazul general, pentru consistența estimărilor, este suficient să se îndeplinească condiția de exogeneitate împreună cu convergența matricei către o matrice nesingulară cu o creștere a dimensiunii eșantionului la infinit.

Pentru ca, în plus față de consistență și imparțialitate, estimările (obișnuite) ale celor mai mici pătrate să fie și eficiente (cele mai bune din clasa estimărilor liniare nepărtinitoare), trebuie îndeplinite proprietăți suplimentare ale unei erori aleatoare:

Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de eroare aleatorie

Un model liniar care satisface aceste condiții se numește clasic. Estimările MCO pentru regresia liniară clasică sunt estimări imparțiale, consistente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză, abrevierea este uneori folosită albastru (Cel mai bun estimator liniar nebazat) este cea mai bună estimare liniară imparțială; în literatura internă este mai des citată teorema Gauss-Markov). După cum este ușor de arătat, matricea de covarianță a vectorului de estimare a coeficienților va fi egală cu:

Cele mai mici pătrate generalizate

Metoda celor mai mici pătrate permite o generalizare largă. În loc de a minimiza suma pătratelor reziduurilor, se poate minimiza o formă pătratică definită pozitivă a vectorului rezidual, unde este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate obișnuite este un caz special al acestei abordări, când matricea de ponderi este proporțională cu matricea de identitate. După cum se știe din teoria matricelor simetrice (sau operatorilor), există o descompunere pentru astfel de matrici. Prin urmare, funcționalitatea specificată poate fi reprezentată astfel, adică această funcțională poate fi reprezentată ca suma pătratelor unor „reziduuri” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - LS-methods (Least Squares).

Se dovedește (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt estimările așa-numitelor. MOL generalizat (OMNK, GLS - Cele mai mici pătrate generalizate)- LS-metoda cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: .

Se poate arăta că formula pentru estimările GLS ale parametrilor modelului liniar are forma

Matricea de covarianță a acestor estimări, respectiv, va fi egală cu

De fapt, esența MCO constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea celor mai mici pătrate uzuale la datele transformate. Scopul acestei transformări este ca pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice.

Cele mai mici pătrate ponderate

În cazul unei matrice de ponderi diagonale (și, prin urmare, matricea de covarianță a erorilor aleatoare), avem așa-numitele cele mai mici pătrate ponderate (WLS - Weighted Least Squares). În acest caz, suma ponderată a pătratelor a reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație: . De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard presupusă a erorilor aleatoare), iar datelor ponderate se aplică cele mai mici pătrate normale.

Câteva cazuri speciale de aplicare a LSM în practică

Aproximație liniară

Luați în considerare cazul când, ca urmare a studierii dependenței unei anumite mărimi scalare de o anumită mărime scalară (Acesta poate fi, de exemplu, dependența tensiunii de puterea curentului: , unde este o valoare constantă, rezistența conductorului ), au fost măsurate aceste cantități, în urma cărora s-au obținut valorile și valorile corespunzătoare. Datele de măsurare trebuie înregistrate într-un tabel.

Masa. Rezultatele măsurătorilor.

Întrebarea sună astfel: ce valoare a coeficientului poate fi aleasă pentru a descrie cel mai bine dependența? Conform celor mai mici pătrate, această valoare ar trebui să fie astfel încât suma abaterilor pătrate ale valorilor de la valori

a fost minim

Suma abaterilor pătrate are un extremum - un minim, ceea ce ne permite să folosim această formulă. Să aflăm valoarea coeficientului din această formulă. Pentru a face acest lucru, îi transformăm partea stângă după cum urmează:

Ultima formulă ne permite să găsim valoarea coeficientului , care a fost cerută în problemă.

Poveste

Până la începutul secolului al XIX-lea. oamenii de știință nu aveau anumite reguli pentru rezolvarea unui sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci s-au folosit metode deosebite, în funcție de tipul ecuațiilor și de ingeniozitatea calculatoarelor și, prin urmare, calculatoare diferite, plecând de la aceleași date observaționale, au ajuns la concluzii diferite. Gauss (1795) este creditat cu prima aplicare a metodei, iar Legendre (1805) a descoperit-o și publicat-o în mod independent sub numele său modern (fr. Methode des moindres quarres ). Laplace a legat metoda de teoria probabilității, iar matematicianul american Adrain (1808) a considerat aplicațiile probabilistice ale acesteia. Metoda este răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții.

Utilizarea alternativă a CMN-urilor

Ideea metodei celor mai mici pătrate poate fi folosită și în alte cazuri care nu au legătură directă cu analiza de regresie. Faptul este că suma pătratelor este una dintre cele mai comune măsuri de proximitate pentru vectori (metrica euclidiană în spații cu dimensiuni finite).

O aplicație este „rezolvarea” sistemelor de ecuații liniare în care numărul de ecuații mai mult număr variabile

unde matricea nu este pătrată, ci dreptunghiulară.

Un astfel de sistem de ecuații, în cazul general, nu are soluție (dacă rangul este de fapt mai mare decât numărul de variabile). Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector pentru a minimiza „distanța” dintre vectori și . Pentru a face acest lucru, puteți aplica criteriul de minimizare a sumei diferențelor pătrate ale părților din stânga și din dreapta ecuațiilor sistemului, adică . Este ușor de arătat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații