Вариантни примери с най-малки квадрати с решения. Линейна регресия. Използване на метода на най-малките квадрати (LSM). Примери за решаване на конкретни проблеми

Ако някаква физическа величина зависи от друга величина, тогава тази зависимост може да бъде изследвана чрез измерване на y при различни стойности на x. В резултат на измерванията се получава серия от стойности:

x 1 , x 2 , ..., x i , ... , x n ;

y 1 , y 2 , ..., y i , ... , y n .

Въз основа на данните от такъв експеримент е възможно да се начертае зависимостта y = ƒ(x). Получената крива дава възможност да се прецени формата на функцията ƒ(x). Въпреки това, постоянните коефициенти, които влизат в тази функция, остават неизвестни. Методът ви позволява да ги определите най-малките квадрати. Експерименталните точки, като правило, не лежат точно върху кривата. Методът на най-малките квадрати изисква сумата от квадратите отклонения на експерименталните точки от кривата, т.е. 2 беше най-малката.

На практика този метод се използва най-често (и най-просто) в случай на линейна връзка, т.е. кога

y=kxили y = a + bx.

Линейната зависимост е много разпространена във физиката. И дори когато зависимостта е нелинейна, те обикновено се опитват да изградят графика по такъв начин, че да получат права линия. Например, ако се приеме, че коефициентът на пречупване на стъкло n е свързан с дължината на вълната λ на светлинната вълна чрез отношението n = a + b/λ 2 , тогава зависимостта на n от λ -2 се изобразява на графиката .

Помислете за зависимостта y=kx(права линия, минаваща през началото). Съставете стойността φ - сумата от квадратите на отклоненията на нашите точки от правата линия

Стойността на φ винаги е положителна и се оказва толкова по-малка, колкото по-близо са нашите точки до правата линия. Методът на най-малките квадрати гласи, че за k трябва да се избере такава стойност, при която φ има минимум

или
(19)

Изчислението показва, че средноквадратната грешка при определяне на стойността на k е равна на

, (20)
където – n е броят на измерванията.

Нека сега разгледаме един малко по-труден случай, когато точките трябва да отговарят на формулата y = a + bx(права линия, която не минава през началото).

Задачата е да се намерят най-добрите стойности на a и b от дадения набор от стойности x i , y i .

Отново съставяме квадратична форма φ, равна на сумата от квадратите отклонения на точките x i , y i от правата линия

и намерете стойностите a и b, за които φ има минимум

;

.

Съвместното решение на тези уравнения дава

(21)

Средноквадратичните грешки при определяне на a и b са равни

(23)

.  (24)

При обработка на резултатите от измерването по този метод е удобно всички данни да се обобщят в таблица, в която всички суми, включени във формули (19)–(24), са предварително изчислени. Формите на тези таблици са показани в примерите по-долу.

Пример 1Изследвано е основното уравнение на динамиката на въртеливото движение ε = M/J (права линия, минаваща през началото). За различни стойности на момента M се измерва ъгловото ускорение ε на определено тяло. Необходимо е да се определи инерционният момент на това тяло. Резултатите от измерванията на момента на силата и ъгловото ускорение са изброени във втората и третата колона таблици 5.

Таблица 5

По формула (19) определяме:

.

За да определим средноквадратната грешка, използваме формула (20)

0.005775килограма-един · м -2 .

По формула (18) имаме

SJ = (2,996 0,005775)/0,3337 = 0,05185 кг м 2.

Като се има предвид надеждността P = 0,95 , според таблицата на коефициентите на Стюдент за n = 5 намираме t = 2,78 и определяме абсолютната грешка ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 кг м 2.

Записваме резултатите във формата:

J = (3,0 ± 0,2) кг м 2;

Пример 2Изчисляваме температурния коефициент на съпротивление на метала по метода на най-малките квадрати. Съпротивлението зависи от температурата според линеен закон

R t \u003d R 0 (1 + α t °) = R 0 + R 0 α t °.

Свободният член определя съпротивлението R 0 при температура 0 ° C, а ъгловият коефициент е произведението на температурния коефициент α и съпротивлението R 0 .

Резултатите от измерванията и изчисленията са дадени в таблицата ( виж таблица 6).

Таблица 6

По формули (21), (22) определяме

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 ом.

Нека намерим грешка в дефиницията на α. Тъй като , тогава по формула (18) имаме:

.

Използвайки формули (23), (24) имаме

;

0.014126 ом.

Като се има предвид надеждността P = 0,95, според таблицата на коефициентите на Стюдент за n = 6 намираме t = 2,57 и определяме абсолютната грешка Δα = 2,57 0,000132 = 0,000338 градус -1.

α = (23 ± 4) 10 -4 градушка-1 при P = 0,95.

Пример 3Необходимо е да се определи радиусът на кривината на лещата от пръстените на Нютон. Измерени са радиусите на пръстените на Нютон r m и са определени номерата на тези пръстени m. Радиусите на пръстените на Нютон са свързани с радиуса на кривината на лещата R и номера на пръстена чрез уравнението

r 2 m = mλR - 2d 0 R,

където d 0 е дебелината на пролуката между лещата и плоскопаралелната плоча (или деформация на лещата),

λ е дължината на вълната на падащата светлина.

λ = (600 ± 6) nm;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,

тогава уравнението ще придобие формата y = a + bx.

Резултатите от измерванията и изчисленията се въвеждат таблица 7.

Таблица 7

Метод на най-малките квадрати (OLS, eng. Ordinary Least Squares, OLS)- математически метод, използван за решаване на различни задачи, базиран на минимизиране на сумата от квадратите на отклоненията на някои функции от желаните променливи. Може да се използва за "решаване" на свръхопределени системи от уравнения (когато броят на уравненията надвишава броя на неизвестните), за намиране на решение в случай на обикновени (не свръхопределени) нелинейни системи от уравнения, за приближаване на точковите стойности на някаква функция. OLS е един от основните методи за регресионен анализ за оценка на неизвестни параметри на регресионни модели от извадкови данни.

Енциклопедичен YouTube

1 / 5

✪ Метод на най-малките квадрати. Предмет

✪ Най-малки квадрати, урок 1/2. Линейна функция

✪ Иконометрия. Лекция 5. Метод на най-малките квадрати

✪ Митин И. В. - Обработка на резултатите от физ. експеримент - Метод на най-малките квадрати (Лекция 4)

✪ Иконометрия: Същността на метода на най-малките квадрати #2

Субтитри

История

До началото на XIX век. учените не са имали определени правила за решаване на система от уравнения, в която броят на неизвестните е по-малък от броя на уравненията; До този момент се използваха определени методи, в зависимост от вида на уравненията и от изобретателността на калкулаторите, и следователно различните калкулатори, изхождайки от едни и същи данни от наблюдения, стигаха до различни заключения. На Гаус (1795) се приписва първото приложение на метода, а Лежандре (1805) независимо го открива и публикува под съвременното му име (фр. Methode des moindres quarres) . Лаплас свързва метода с теорията на вероятностите, а американският математик Адрен (1808 г.) разглежда вероятностните му приложения. Методът е широко разпространен и подобрен чрез по-нататъшни изследвания на Encke, Bessel, Hansen и др.

Същността на метода на най-малките квадрати

Нека бъде x (\displaystyle x)- комплект n (\displaystyle n)неизвестни променливи (параметри), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- набор от функции от този набор от променливи. Проблемът е да се изберат такива стойности x (\displaystyle x)така че стойностите на тези функции да са възможно най-близки до някои стойности y i (\displaystyle y_(i)). По същество говорим за „решението“ на свръхопределената система от уравнения f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots,m)в посочения смисъл, максималната близост на лявата и дясната част на системата. Същността на LSM е да избере като "мярка за близост" сумата от квадратите отклонения на лявата и дясната част | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Следователно същността на LSM може да се изрази по следния начин:

Ако системата от уравнения има решение, тогава минимумът от сумата на квадратите ще бъде равен на нула и точните решения на системата от уравнения могат да бъдат намерени аналитично или, например, чрез различни числени методи за оптимизация. Ако системата е свръхопределена, тоест, свободно казано, броят на независимите уравнения е по-голям от броя на неизвестните променливи, тогава системата няма точно решение и методът на най-малките квадрати ни позволява да намерим някакъв "оптимален" вектор x (\displaystyle x)в смисъл на максимална близост на векторите y (\displaystyle y)и f (x) (\displaystyle f(x))или максималната близост на вектора на отклонението e (\displaystyle e)до нула (близостта се разбира в смисъл на евклидово разстояние).

Пример - система от линейни уравнения

По-специално, методът на най-малките квадрати може да се използва за "решаване" на системата линейни уравнения

където A (\displaystyle A)матрица с правоъгълен размер m × n , m > n (\displaystyle m\times n,m>n)(т.е. броят на редовете на матрица А е по-голям от броя на изискваните променливи).

Такава система от уравнения обикновено няма решение. Следователно тази система може да бъде „решена“ само в смисъл на избор на такъв вектор x (\displaystyle x)за да се сведе до минимум "разстоянието" между векторите A x (\displaystyle Ax)и b (\displaystyle b). За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите на лявата и дясната част на уравненията на системата, т.е. (A x − b) T (A x − b) → min x (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min _(x)). Лесно е да се покаже, че решението на тази задача за минимизиране води до решението на следната система от уравнения

OLS в регресионния анализ (приближаване на данните)

Нека има n (\displaystyle n)стойности на някаква променлива y (\displaystyle y)(това може да са резултати от наблюдения, експерименти и т.н.) и съответните променливи x (\displaystyle x). Предизвикателството е да се създаде връзката между y (\displaystyle y)и x (\displaystyle x)приблизително с някаква функция, известна до някои неизвестни параметри b (\displaystyle b), тоест всъщност намерете най-добрите стойности на параметрите b (\displaystyle b), максимално апроксимиращи стойностите f (x, b) (\displaystyle f(x,b))към действителните стойности y (\displaystyle y). Всъщност това се свежда до случая на "решение" на свръхопределена система от уравнения по отношение на b (\displaystyle b):

F (x t, b) = y t, t = 1, …, n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n).

В регресионния анализ, и по-специално в иконометрията, се използват вероятностни модели на връзката между променливите.

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

където ε t (\displaystyle \varepsilon _(t))- т.нар случайни грешкимодели.

Съответно отклоненията на наблюдаваните стойности y (\displaystyle y)от модела f (x, b) (\displaystyle f(x,b))вече се предполага в самия модел. Същността на LSM (обикновена, класическа) е да се намерят такива параметри b (\displaystyle b), при което сумата от квадрати отклонения (грешки, за регресионни модели те често се наричат ​​регресионни остатъци) e t (\displaystyle e_(t))ще бъде минимално:

където R S S (\displaystyle RSS)- Английски. Остатъчната сума от квадратите се дефинира като:

В общия случай този проблем може да бъде решен чрез числени методи за оптимизация (минимизиране). В този случай се говори за нелинейни най-малки квадрати(NLS или NLLS - eng. Non-Linear Least Squares). В много случаи може да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарните точки на функцията R S S (b) (\displaystyle RSS(b)), като го диференцираме по отношение на неизвестни параметри b (\displaystyle b), приравнявайки производните на нула и решавайки получената система от уравнения:

LSM в случай на линейна регресия

Нека регресионната зависимост е линейна:

Нека бъде ге векторът колона на наблюденията на променливата, която се обяснява, и X (\displaystyle X)- Това (n × k) (\displaystyle ((n\x k)))- матрица на наблюденията на факторите (редове на матрицата - вектори на стойностите на факторите в дадено наблюдение, по колони - вектор на стойностите на даден фактор във всички наблюдения). Матричното представяне на линейния модел има формата:

Тогава векторът на оценките на обяснената променлива и векторът на остатъците от регресията ще бъдат равни на

съответно сумата от квадратите на остатъците от регресията ще бъде равна на

Диференциране на тази функция по отношение на вектора на параметрите b (\displaystyle b)и приравнявайки производните към нула, получаваме система от уравнения (в матрична форма):

В декодираната матрична форма тази система от уравнения изглежда така:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ t 2 x t x 3 … ∑ t x 3 … ∑ t x Σ x T 3 x T K ⋮ ⋮ ⋮ ⋱ ⋮ σ x T K X T 1 Σ x T K X T 1 Σ X T K X T 2 Σ X T K X T 3 ... Σ X T K 2) (B 1 B 2 B 3 ⋮ B K) = (Σ x T1 y X t σ 3 yt ⋮ σ x t k Y t), (displaySley (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ sum x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t) )\\\vточки \\\sum x_(tk)y_(t)\\\end(pmatrix)))където всички суми се вземат върху всички допустими стойности t (\displaystyle t).

Ако в модела е включена константа (както обикновено), тогава x t 1 = 1 (\displaystyle x_(t1)=1)за всички t (\displaystyle t), така че вляво горен ъгълматрици на системата от уравнения е броят на наблюденията n (\displaystyle n), а в останалите елементи на първия ред и първата колона - само сумата от стойностите на променливите: ∑ x t j (\displaystyle \sum x_(tj))и първия елемент от дясната страна на системата - ∑ y t (\displaystyle \sum y_(t)).

Решението на тази система от уравнения дава обща формула OLS оценки за линеен модел:

За аналитични цели последното представяне на тази формула се оказва полезно (в системата от уравнения при разделяне на n вместо суми се появяват средни аритметични). Ако данните в регресионния модел центриран, то в това представяне първата матрица има значението на примерна ковариационна матрица на фактори, а втората е векторът на ковариациите на фактори със зависима променлива. Ако освен това данните са също нормализиранв района на Северен Казахстан (т.е в крайна сметка стандартизиран), тогава първата матрица има значението на извадковата корелационна матрица на факторите, вторият вектор - вектора на извадковите корелации на фактори със зависимата променлива.

Важно свойство на LLS оценките за модели с константа- линията на конструираната регресия минава през центъра на тежестта на извадковите данни, тоест е изпълнено равенството:

По-специално, в последна инстанция, когато единственият регресор е константа, получаваме, че оценката на OLS за единствения параметър (самата константа) е равна на средната стойност на променливата, която се обяснява. Тоест средноаритметичната, известна с добрите си свойства от законите за големите числа, също е оценка на най-малките квадрати – тя удовлетворява критерия за минимална сума на квадратите отклонения от нея.

Най-простите специални случаи

В случай на линейна регресия по двойки y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), когато се оценява линейната зависимост на една променлива от друга, формулите за изчисление се опростяват (можете без матрична алгебра). Системата от уравнения има вида:

От тук е лесно да се намерят оценки за коефициентите:

Въпреки факта, че като цяло моделите с константа са за предпочитане, в някои случаи от теоретичните съображения е известно, че константата а (\displaystyle a)трябва да е равно на нула. Например във физиката връзката между напрежението и тока има формата U = I ⋅ R (\displaystyle U=I\cdot R); измерване на напрежение и ток, е необходимо да се оцени съпротивлението. В случая говорим за модел y = b x (\displaystyle y=bx). В този случай вместо система от уравнения имаме едно уравнение

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Следователно формулата за оценка на единичен коефициент има формата

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Случаят на полиномен модел

Ако данните са приспособени от полиномна регресионна функция на една променлива f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), след това, възприемане на градуси x i (\displaystyle x^(i))като независими фактори за всеки i (\displaystyle i)възможно е да се оценят параметрите на модела въз основа на общата формула за оценка на параметрите на линейния модел. За да направите това, достатъчно е да вземете предвид в общата формула, че при такова тълкуване x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))и x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Следователно матричните уравнения в този случай ще имат формата:

(n Σ n x t ... Σ n x T k Σ n x t Σ n x t 2 ... Σ n x t k + 1 ⋮ ⋮ ⋱ ⋮ Σ n x t ⋮ ⋮ ⋱ ⋮ Σ t n x 1 ... b 1 ⋮ b k] = [Σ n y t Σ n x t y t ⋮ Σ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ сума \ограничения _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)

Статистически свойства на оценките на OLS

На първо място, отбелязваме, че за линейните модели оценките на най-малките квадрати са линейни, както следва от горната формула. За безпристрастност на оценките на най-малките квадрати е необходимо и достатъчно да се изпълни най-важното условие на регресионния анализ: математическото очакване на произволна грешка, обусловена от факторите, трябва да бъде равно на нула. Това условие е изпълнено, по-специално, ако

1. математическото очакване на случайни грешки е нула, и
2. факторите и случайните грешки са независими случайни стойности.

Второто условие - състоянието на екзогенни фактори - е основно. Ако това свойство не е удовлетворено, тогава можем да предположим, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не позволява получаването на качествени оценки в този случай). В класическия случай се прави по-силно предположение за детерминираността на факторите, за разлика от случайната грешка, което автоматично означава, че екзогенното условие е изпълнено. В общия случай за последователност на оценките е достатъчно да се удовлетвори условието за екзогенност заедно със сходимостта на матрицата V x (\displaystyle V_(x))към някаква недегенерирана матрица, когато размерът на извадката се увеличава до безкрайност.

За да могат, в допълнение към последователността и безпристрастността, (обикновените) оценки на най-малките квадрати също да бъдат ефективни (най-добрите в класа на линейните безпристрастни оценки), трябва да бъдат удовлетворени допълнителни свойства на случайна грешка:

Тези допускания могат да бъдат формулирани за ковариационната матрица на вектора на случайните грешки V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Линеен модел, който удовлетворява тези условия, се нарича класически. OLS оценките за класическа линейна регресия са безпристрастни, последователни и най-ефективни оценки в класа на всички линейни непредубедени оценки (в английската литература понякога се използва съкращението син (Най-добър линеен безпристрастен оценител) е най-добрата линейна безпристрастна оценка; в домашната литература по-често се цитира теоремата на Гаус - Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Ефективността означава, че тази ковариационна матрица е "минимална" (всяка линейна комбинация от коефициенти, и по-специално самите коефициенти, имат минимална дисперсия), тоест в класа на линейните безпристрастни оценки, оценките на OLS са най-добрите. Диагоналните елементи на тази матрица - дисперсии на оценките на коефициентите - са важни параметри за качеството на получените оценки. Въпреки това, не е възможно да се изчисли ковариационната матрица, тъй като дисперсията на случайната грешка е неизвестна. Може да се докаже, че безпристрастната и последователна (за класическия линеен модел) оценка на дисперсията на случайните грешки е стойността:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Заместване дадена стойноствъв формулата за ковариационната матрица и да получите оценка на ковариационната матрица. Получените оценки също са безпристрастни и последователни. Важно е също така оценката на дисперсията на грешката (и следователно дисперсията на коефициентите) и оценките на параметрите на модела да са независими. случайни променливи, което ви позволява да получите тестова статистика, за да тествате хипотези за коефициентите на модела.

Трябва да се отбележи, че ако класическите допускания не са изпълнени, оценките на параметрите на най-малките квадрати не са най-ефективните и където W (\displaystyle W)е някаква симетрична матрица с положително определено тегло. Обикновените най-малки квадрати са специален случай на този подход, когато матрицата на теглото е пропорционална на матрицата за идентичност. Както е известно, за симетричните матрици (или оператори) има декомпозиция W = P T P (\displaystyle W=P^(T)P). Следователно този функционал може да бъде представен по следния начин e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), тоест този функционал може да бъде представен като сума от квадратите на някои трансформирани "остатъци". По този начин можем да различим клас от методи с най-малки квадрати - LS-методи (Най-малки квадрати).

Доказано е (теоремата на Айткен), че за обобщен линеен регресионен модел (при който не се налагат ограничения върху ковариационната матрица на случайните грешки) най-ефективни (в класа на линейните безпристрастни оценки) са оценките на т.нар. обобщен OLS (OMNK, GLS - обобщени най-малки квадрати)- LS-метод с тегловна матрица, равна на обратната ковариационна матрица на случайните грешки: W = V ε − 1 (\displaystyle W=V_(\varepsilon)^(-1)).

Може да се покаже, че формулата за GLS-оценките на параметрите на линейния модел има вида

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Ковариационната матрица на тези оценки, съответно, ще бъде равна на

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- един)).

Всъщност същността на OLS се крие в определена (линейна) трансформация (P) на оригиналните данни и прилагането на обичайните най-малки квадрати към трансформираните данни. Целта на тази трансформация е, че за трансформираните данни случайните грешки вече отговарят на класическите допускания.

Претеглени най-малки квадрати

В случай на диагонална матрица на тежестта (а оттам и ковариационната матрица на случайните грешки) имаме така наречените претеглени най-малки квадрати (WLS - Weighted Least Squares). В този случай претеглената сума от квадратите на остатъците на модела е минимизирана, тоест всяко наблюдение получава „тегло“, което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ сигма _(t)^(2)))). Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на приетото стандартно отклонение на случайните грешки) и нормалните най-малки квадрати се прилагат към претеглените данни.

ISBN 978-5-7749-0473-0.

Изборът на вида на регресионната функция, т.е. вида на разглеждания модел на зависимостта на Y от X (или X от Y), например линеен модел y x \u003d a + bx, е необходимо да се определят специфичните стойности на коефициентите на модел.

За различни стойности на a и b е възможно да се построят безкраен брой зависимости от вида y x = a + bx, т.е. има безкраен брой линии в координатната равнина, но се нуждаем от такава зависимост, че съответства на наблюдаваните стойности по най-добрия начин. Така проблемът се свежда до избора на най-добрите коефициенти.

Търсим линейна функция a + bx, базирана само на определен брой налични наблюдения. За да намерим функцията, която най-добре отговаря на наблюдаваните стойности, използваме метода на най-малките квадрати.

Означете: Y i - стойността, изчислена по уравнението Y i =a+bx i . y i - измерена стойност, ε i =y i -Y i - разлика между измерените и изчислените стойности, ε i =y i -a-bx i .

Методът на най-малките квадрати изисква ε i , разликата между измереното y i и стойностите на Y i, изчислени от уравнението, да бъде минимална. Следователно намираме коефициентите a и b, така че сумата от квадратните отклонения на наблюдаваните стойности от стойностите на правата регресионна линия да е най-малката:

Изследвайки тази функция на аргументи a и с помощта на производни до екстремум, можем да докажем, че функцията придобива минимална стойност, ако коефициентите a и b са решения на системата:

(2)

Ако разделим двете страни на нормалното уравнение на n, получаваме:

Предвид това (3)

Вземи , от тук, замествайки стойността на a в първото уравнение, получаваме:

В този случай b се нарича коефициент на регресия; a се нарича свободен член на регресионното уравнение и се изчислява по формулата:

Получената права линия е оценка за теоретичната регресионна линия. Ние имаме:

Така, е линейно регресионно уравнение.

Регресията може да бъде директна (b>0) и обратна (b Пример 1. Резултатите от измерването на стойностите X и Y са дадени в таблицата:

Приемайки, че има линейна връзка между X и Y y=a+bx, определете коефициентите a и b, като използвате метода на най-малките квадрати.

Решение. Тук n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y i =0,5+1+1,5+2+3=8

и нормална система(2) има формата

Решавайки тази система, получаваме: b=0,425, a=1,175. Следователно y=1,175+0,425x.

Пример 2. Има извадка от 10 наблюдения на икономически индикатори (X) и (Y).

Необходимо е да се намери примерно регресионно уравнение Y-on-X. Построете примерна регресионна линия Y-on-X.

Решение. 1. Нека сортираме данните по стойности x i и y i . Получаваме нова маса:

За да опростим изчисленията, ще съставим изчислителна таблица, в която ще въведем необходимите числови стойности.

Съгласно формула (4) изчисляваме коефициента на регресия

и по формула (5)

По този начин уравнението на извадката за регресия изглежда като y=-59.34+1.3804x.
Нека начертаем точките (x i ; y i) в координатната равнина и маркираме регресионната линия.

Фиг.4

Фигура 4 показва как са разположени наблюдаваните стойности спрямо линията на регресия. За да оценим числено отклоненията на y i от Y i , където y i са наблюдавани стойности, а Y i са стойности, определени чрез регресия, ще направим таблица:

Стойностите на Y i се изчисляват според регресионното уравнение.

Забележимото отклонение на някои наблюдавани стойности от регресионната линия се обяснява с малкия брой наблюдения. При изследване на степента на линейна зависимост на Y от X се взема предвид броят на наблюденията. Силата на зависимостта се определя от стойността на коефициента на корелация.

Пример.

Експериментални данни за стойностите на променливите хи вса дадени в таблицата.

В резултат на тяхното подравняване, функцията

Използвайки метод на най-малкия квадрат, апроксимирайте тези данни с линейна зависимост y=ax+b(намерете параметри аи б). Разберете коя от двете линии е по-добра (в смисъл на метода на най-малките квадрати) подравнява експерименталните данни. Направете чертеж.

Същността на метода на най-малките квадрати (LSM).

Проблемът е да се намерят коефициентите на линейна зависимост, за които е функцията на две променливи аи б приема най-малката стойност. Тоест предвид данните аи бсумата от квадратите отклонения на експерименталните данни от намерената права линия ще бъде най-малката. Това е целият смисъл на метода на най-малките квадрати.

Така решението на примера се свежда до намиране на екстремума на функция от две променливи.

Извеждане на формули за намиране на коефициенти.

Съставя се и се решава система от две уравнения с две неизвестни. Намиране на частни производни на функция по отношение на променливи аи б, ние приравняваме тези производни към нула.

Решаваме получената система от уравнения по всеки метод (напр метод на заместванеили ) и получете формули за намиране на коефициенти по метода на най-малките квадрати (LSM).

С данни аи бфункция приема най-малката стойност. Доказателството за този факт е дадено.

Това е целият метод на най-малките квадрати. Формула за намиране на параметъра асъдържа сумите , , , и параметъра н- количество експериментални данни. Стойностите на тези суми се препоръчва да се изчисляват отделно. Коефициент бнамерено след изчисление а.

Време е да си спомним оригиналния пример.

Решение.

В нашия пример n=5. Попълваме таблицата за удобство при изчисляване на сумите, които са включени във формулите на необходимите коефициенти.

Стойностите в четвъртия ред на таблицата се получават чрез умножаване на стойностите на 2-ри ред по стойностите на 3-ти ред за всяко число и.

Стойностите в петия ред на таблицата се получават чрез квадратура на стойностите на 2-ри ред за всяко число и.

Стойностите на последната колона на таблицата са сумите от стойностите в редовете.

Използваме формулите на метода на най-малките квадрати, за да намерим коефициентите аи б. Заместваме в тях съответните стойности от последната колона на таблицата:

следователно, y=0,165x+2,184е желаната приближаваща права линия.

Остава да разберем коя от линиите y=0,165x+2,184или приближава по-добре оригиналните данни, т.е. да направи оценка, използвайки метода на най-малките квадрати.

Оценка на грешката на метода на най-малките квадрати.

За да направите това, трябва да изчислите сумите на квадратните отклонения на оригиналните данни от тези редове и , по-малка стойност съответства на линия, която по-добре приближава оригиналните данни по отношение на метода на най-малките квадрати.

Тъй като , тогава линията y=0,165x+2,184приближава по-добре оригиналните данни.

Графична илюстрация на метода на най-малките квадрати (LSM).

Всичко изглежда страхотно на класациите. Червената линия е намерената линия y=0,165x+2,184, синята линия е , розовите точки са оригиналните данни.

За какво е, за какво са всички тези приближения?

Аз лично използвам за решаване на проблеми с изглаждане на данни, проблеми с интерполация и екстраполация (в оригиналния пример може да бъдете помолени да намерите стойността на наблюдаваната стойност гв х=3или кога х=6по метода на MNC). Но ще говорим повече за това по-късно в друг раздел на сайта.

Доказателство.

Така че когато се намери аи бфункцията приема най-малката стойност, е необходимо в този момент матрицата на квадратната форма на диференциала от втори ред за функцията беше положително определено. Нека го покажем.

Метод на най-малкия квадрат

Метод на най-малкия квадрат ( MNK, OLS, обикновени най-малки квадрати) - един от основните методи за регресионен анализ за оценка на неизвестни параметри на регресионни модели от извадкови данни. Методът се основава на минимизиране на сумата от квадратите на остатъци от регресия.

Трябва да се отбележи, че самият метод на най-малките квадрати може да се нарече метод за решаване на задача във всяка област, ако решението се състои от или удовлетворява определен критерий за минимизиране на сумата от квадрати на някои функции на неизвестните променливи. Следователно методът на най-малките квадрати може да се използва и за приблизително представяне (приближение) на дадена функция от други (по-прости) функции, когато се намира набор от величини, които отговарят на уравнения или ограничения, чийто брой надвишава броя на тези величини , и т.н.

Същността на MNC

Нека някакъв (параметричен) модел на вероятностна (регресионна) зависимост между (обяснената) променлива ги много фактори (обяснителни променливи) х

където е векторът на неизвестни параметри на модела

Нека има и примерни наблюдения на стойностите на посочените променливи. Нека е номерът на наблюдение (). След това са стойностите на променливите в -тото наблюдение. След това при зададени точкипараметри b, е възможно да се изчислят теоретичните (моделни) стойности на обяснената променлива y:

Стойността на остатъците зависи от стойностите на параметрите b.

Същността на LSM (обикновена, класическа) е да се намерят такива параметри b, за които сумата от квадратите на остатъците (инж. Остатъчна сума от квадрати) ще бъде минимално:

В общия случай този проблем може да бъде решен чрез числени методи за оптимизация (минимизиране). В този случай се говори за нелинейни най-малки квадрати(NLS или NLLS - английски. Нелинейни най-малки квадрати). В много случаи може да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарните точки на функцията, като се диференцира по отношение на неизвестните параметри b, приравнените на производните към нула и се реши получената система от уравнения:

Ако случайните грешки на модела са нормално разпределени, имат една и съща дисперсия и не са корелирани една с друга, оценките на параметрите на най-малките квадрати са същите като оценките на метода на максималното правдоподобие (MLM).

LSM в случай на линеен модел

Нека регресионната зависимост е линейна:

Нека бъде г- вектор колона на наблюденията на обяснената променлива и - матрица на наблюденията на факторите (редове на матрицата - вектори на стойностите на факторите в дадено наблюдение, по колони - вектор на стойностите на даден фактор във всички наблюдения) . Матричното представяне на линейния модел има формата:

Тогава векторът на оценките на обяснената променлива и векторът на остатъците от регресията ще бъдат равни на

съответно сумата от квадратите на остатъците от регресията ще бъде равна на

Диференцирайки тази функция по отношение на вектора на параметрите и приравнявайки производните към нула, получаваме система от уравнения (в матрична форма):

Решението на тази система от уравнения дава общата формула за оценките на най-малките квадрати за линейния модел:

За аналитични цели последното представяне на тази формула се оказва полезно. Ако данните в регресионния модел центриран, то в това представяне първата матрица има значението на примерна ковариационна матрица на фактори, а втората е векторът на ковариациите на фактори със зависима променлива. Ако освен това данните са също нормализиранв SKO (тоест в крайна сметка стандартизиран), тогава първата матрица има значението на извадковата корелационна матрица на факторите, вторият вектор - вектора на извадковите корелации на фактори със зависимата променлива.

Важно свойство на LLS оценките за модели с константа- линията на конструираната регресия минава през центъра на тежестта на извадковите данни, тоест е изпълнено равенството:

По-специално, в краен случай, когато единственият регресор е константа, откриваме, че оценката на OLS за един параметър (самата константа) е равна на средната стойност на променливата, която се обяснява. Тоест средноаритметичната, известна с добрите си свойства от законите за големите числа, също е оценка на най-малките квадрати – тя удовлетворява критерия за минимална сума на квадратите отклонения от нея.

Пример: проста (по двойки) регресия

В случай на сдвоена линейна регресия, формулите за изчисление са опростени (можете да направите без матрична алгебра):

Свойства на оценките на OLS

На първо място, отбелязваме, че за линейните модели оценките на най-малките квадрати са линейни, както следва от горната формула. За безпристрастни оценки на OLS е необходимо и достатъчно да се изпълни най-важното условие на регресионния анализ: в зависимост от факторите, математическото очакване на случайна грешка трябва да бъде равно на нула. Това условие е изпълнено, по-специално, ако

1. математическото очакване на случайни грешки е нула, и
2. факторите и случайните грешки са независими случайни величини.

Второто условие - състоянието на екзогенни фактори - е основно. Ако това свойство не е удовлетворено, тогава можем да предположим, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не позволява получаването на качествени оценки в този случай). В класическия случай се прави по-силно предположение за детерминираността на факторите, за разлика от случайната грешка, което автоматично означава, че екзогенното условие е изпълнено. В общия случай за последователност на оценките е достатъчно да се изпълни условието за екзогенност заедно с конвергенцията на матрицата към някаква несингулярна матрица с увеличаване на размера на извадката до безкрайност.

За да могат, в допълнение към последователността и безпристрастността, (обикновените) оценки на най-малките квадрати също да бъдат ефективни (най-добрите в класа на линейните безпристрастни оценки), трябва да бъдат удовлетворени допълнителни свойства на случайна грешка:

Тези допускания могат да бъдат формулирани за ковариационната матрица на вектора на случайната грешка

Линеен модел, който удовлетворява тези условия, се нарича класически. OLS оценките за класическа линейна регресия са безпристрастни, последователни и най-ефективни оценки в класа на всички линейни непредубедени оценки (в английската литература понякога се използва съкращението син (Най-добър линеен небазиран оценител) е най-добрата линейна безпристрастна оценка; в родната литература по-често се цитира теоремата на Гаус-Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

Обобщени най-малки квадрати

Методът на най-малките квадрати позволява широко обобщение. Вместо да се минимизира сумата от квадратите на остатъците, може да се минимизира някаква положително определена квадратична форма на остатъчния вектор, където е някаква симетрична матрица с положително определено тегло. Обикновените най-малки квадрати са специален случай на този подход, когато матрицата на теглото е пропорционална на матрицата за идентичност. Както е известно от теорията на симетричните матрици (или оператори), има декомпозиция за такива матрици. Следователно, посоченият функционал може да бъде представен по следния начин, тоест този функционал може да бъде представен като сума от квадратите на някои трансформирани "остатъци". По този начин можем да различим клас от методи с най-малки квадрати - LS-методи (Най-малки квадрати).

Доказано е (теоремата на Айткен), че за обобщен линеен регресионен модел (при който не се налагат ограничения върху ковариационната матрица на случайните грешки) най-ефективни (в класа на линейните безпристрастни оценки) са оценките на т.нар. обобщен OLS (OMNK, GLS - обобщени най-малки квадрати)- LS-метод с тегловна матрица, равна на обратната ковариационна матрица на случайните грешки: .

Може да се покаже, че формулата за GLS-оценките на параметрите на линейния модел има вида

Ковариационната матрица на тези оценки, съответно, ще бъде равна на

Всъщност същността на OLS се крие в определена (линейна) трансформация (P) на оригиналните данни и прилагането на обичайните най-малки квадрати към трансформираните данни. Целта на тази трансформация е, че за трансформираните данни случайните грешки вече отговарят на класическите допускания.

Претеглени най-малки квадрати

В случай на диагонална матрица на тежестта (и оттам на ковариационната матрица на случайните грешки) имаме така наречените претеглени най-малки квадрати (WLS - Weighted Least Squares). В този случай претеглената сума от квадратите на остатъците на модела е минимизирана, тоест всяко наблюдение получава „тежест“, което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение: . Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на приетото стандартно отклонение на случайните грешки) и нормалните най-малки квадрати се прилагат към претеглените данни.

Някои специални случаи на приложение на LSM в практиката

Линейна апроксимация

Помислете за случая, когато в резултат на изследване на зависимостта на определена скаларна величина от определена скаларна величина (Това може да бъде например зависимостта на напрежението от силата на тока: , където е постоянна стойност, съпротивлението на проводника ), тези количества бяха измерени, в резултат на което стойностите и бяха получени съответните им стойности. Данните от измерването трябва да бъдат записани в таблица.

Таблица. Резултати от измерването.

Въпросът звучи така: каква стойност на коефициента може да бъде избрана, за да опише най-добре зависимостта? Според най-малките квадрати тази стойност трябва да бъде такава, че сумата от квадратните отклонения на стойностите от стойностите

беше минимално

Сборът от квадрати отклонения има един екстремум - минимум, което ни позволява да използваме тази формула. Нека намерим стойността на коефициента от тази формула. За да направите това, трансформираме лявата му страна, както следва:

Последната формула ни позволява да намерим стойността на коефициента, който беше необходим в задачата.

История

До началото на XIX век. учените не са имали определени правила за решаване на система от уравнения, в която броят на неизвестните е по-малък от броя на уравненията; До този момент се използваха определени методи, в зависимост от вида на уравненията и от изобретателността на калкулаторите, и следователно различните калкулатори, изхождайки от едни и същи данни от наблюдения, стигаха до различни заключения. На Гаус (1795) се приписва първото приложение на метода, а Лежандре (1805) независимо го открива и публикува под съвременното му име (фр. Methode des moindres quarres ) . Лаплас свързва метода с теорията на вероятностите, а американският математик Адрейн (1808 г.) разглежда неговите вероятностни приложения. Методът е широко разпространен и подобрен чрез по-нататъшни изследвания на Encke, Bessel, Hansen и др.

Алтернативно използване на ТНК

Идеята за метода на най-малките квадрати може да се използва и в други случаи, които не са пряко свързани с регресионния анализ. Факт е, че сумата от квадрати е една от най-често срещаните мерки за близост за вектори (евклидовата метрика в крайномерните пространства).

Едно приложение е "решаване" на системи от линейни уравнения, в които броят на уравненията повече бройпроменливи

където матрицата не е квадратна, а правоъгълна.

Такава система от уравнения в общия случай няма решение (ако рангът действително е по-голям от броя на променливите). Следователно тази система може да бъде „решена“ само в смисъл на избор на такъв вектор, за да се сведе до минимум „разстоянието“ между векторите и . За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите на лявата и дясната част на уравненията на системата, т.е. Лесно е да се покаже, че решението на тази задача за минимизиране води до решението на следната система от уравнения