Online rješenje najmanjih kvadrata. Gdje se koristi metoda najmanjih kvadrata?

Metoda najmanjih kvadrata(LSM) omogućava procjenu različitih veličina koristeći rezultate mnogih mjerenja koja sadrže slučajne greške.

Karakteristike MNE

Osnovna ideja ove metode je da se zbir grešaka na kvadrat smatra kriterijem za tačnost rješavanja problema, koji nastoje minimizirati. Pri korištenju ove metode mogu se koristiti i numerički i analitički pristupi.

Konkretno, kao numerička implementacija, metoda najmanjih kvadrata uključuje uzimanje što više mjerenja nepoznate slučajne varijable. Štaviše, što je više proračuna, to će rješenje biti preciznije. Na osnovu ovog skupa proračuna (početnih podataka) dobija se još jedan skup procenjenih rešenja iz kojih se zatim bira najbolje. Ako je skup rješenja parametrizovan, tada će se metoda najmanjih kvadrata svesti na pronalaženje optimalne vrijednosti parametara.

Kao analitički pristup implementaciji LSM-a na skup početnih podataka (mjerenja) i očekivani skup rješenja, određuje se određeno (funkcionalno) koje se može izraziti formulom dobijenom kao određena hipoteza koja zahtijeva potvrdu. U ovom slučaju, metoda najmanjih kvadrata se svodi na pronalaženje minimuma ovog funkcionala na skupu kvadrata grešaka originalnih podataka.

Imajte na umu da to nisu same greške, već kvadrati grešaka. Zašto? Činjenica je da su česta odstupanja mjerenja od tačna vrijednost su i pozitivne i negativne. Prilikom određivanja prosjeka, jednostavno zbrajanje može dovesti do pogrešnog zaključka o kvaliteti procjene, jer će poništavanje pozitivnih i negativnih vrijednosti smanjiti snagu uzorkovanja višestrukih mjerenja. I, shodno tome, tačnost procjene.

Da se to ne bi dogodilo, kvadratna odstupanja se zbrajaju. Štaviše, da bi se izjednačila dimenzija izmjerene vrijednosti i konačne procjene, izdvaja se zbir grešaka na kvadrat

Neke MNC aplikacije

MNC se široko koristi u raznim oblastima. Na primjer, u teoriji vjerojatnosti i matematičkoj statistici, metoda se koristi za određivanje takve karakteristike slučajne varijable kao što je standardna devijacija, koja određuje širinu raspona vrijednosti slučajne varijable.

Široko se koristi u ekonometriji u obliku jasne ekonomske interpretacije njenih parametara.

Linearna regresija se svodi na pronalaženje jednačine oblika

ili

Jednačina oblika dozvoljava na osnovu specificiranih vrijednosti parametara X imaju teorijske vrijednosti rezultantne karakteristike, zamjenjujući stvarne vrijednosti faktora u nju X.

Konstrukcija linearne regresije svodi se na procjenu njenih parametara - A I V. Procjene parametara linearne regresije mogu se pronaći korištenjem različitih metoda.

Klasičan pristup procjeni parametara linearne regresije temelji se na metoda najmanjih kvadrata(MNC).

Metoda najmanjih kvadrata nam omogućava da dobijemo takve procjene parametara A I V, pri čemu je zbir kvadrata odstupanja stvarnih vrijednosti rezultantne karakteristike (y) od izračunatog (teorijskog) minimum:

Da biste pronašli minimum funkcije, morate izračunati parcijalne izvode za svaki od parametara A I b i postavite ih jednakima nuli.

Označimo sa S, tada:

Transformacijom formule dobijamo sledeći sistem normalnih jednačina za procenu parametara A I V:

Rješavajući sistem normalnih jednačina (3.5) bilo metodom sekvencijalne eliminacije varijabli ili metodom determinanti, nalazimo tražene procjene parametara A I V.

Parametar V naziva se koeficijent regresije. Njegova vrijednost pokazuje prosječnu promjenu rezultata sa promjenom faktora za jednu jedinicu.

Jednačina regresije je uvijek dopunjena indikatorom bliskosti veze. Kada se koristi linearna regresija, takav pokazatelj je koeficijent linearne korelacije. Postoje različite modifikacije formule koeficijenta linearne korelacije. Neki od njih su dati u nastavku:

Kao što je poznato, koeficijent linearne korelacije je u granicama: -1 ≤ ≤ 1.

Za procjenu kvaliteta odabira linearne funkcije izračunava se kvadrat

Koeficijent linearne korelacije tzv koeficijent odlučnosti. Koeficijent determinacije karakterizira udio varijanse rezultirajuće karakteristike y, objašnjeno regresijom, u ukupnoj varijansi rezultirajuće osobine:

Shodno tome, vrijednost 1 karakterizira udio varijanse y, uzrokovane uticajem drugih faktora koji nisu uzeti u obzir u modelu.

Pitanja za samokontrolu

1. Suština metode najmanjih kvadrata?

2. Koliko varijabli pruža parna regresija?

3. Koji koeficijent određuje bliskost veze između promjena?

4. U kojim granicama se utvrđuje koeficijent determinacije?

5. Procjena parametra b u korelaciono-regresionoj analizi?

1. Christopher Dougherty. Uvod u ekonometriju. - M.: INFRA - M, 2001 - 402 str.

2. S.A. Borodich. Ekonometrija. Minsk DOO “Novo znanje” 2001.

3. R.U. Rakhmetova Kratki kurs iz ekonometrije. Tutorial. Almaty. 2004. -78p.

4. I.I. Eliseeva Econometrics. - M.: “Finansije i statistika”, 2002

5. Mjesečni informativno-analitički časopis.

Nelinearni ekonomski modeli. Modeli nelinearne regresije. Transformacija varijabli.

Nelinearni ekonomski modeli..

Transformacija varijabli.

Koeficijent elastičnosti.

Ako postoje nelinearni odnosi između ekonomskih fenomena, onda se oni izražavaju pomoću odgovarajućih nelinearnih funkcija: na primjer, jednakostranična hiperbola , parabole drugog stepena itd.

Postoje dvije klase nelinearnih regresija:

1. Regresije koje su nelinearne u odnosu na objašnjavajuće varijable uključene u analizu, ali linearne u odnosu na procijenjene parametre, na primjer:

Polinomi različitih stupnjeva - , ;

Jednakostranična hiperbola - ;

Semilogaritamska funkcija - .

2. Regresije koje su nelinearne u parametrima koji se procjenjuju, na primjer:

Snaga - ;

Demonstrativna - ;

Eksponencijalno - .

Ukupan zbroj kvadrata odstupanja pojedinačnih vrijednosti rezultirajuće karakteristike at od prosječne vrijednosti uzrokovano je uticajem mnogih razloga. Uvjetno podijelimo cijeli niz razloga u dvije grupe: faktor koji se proučava x I drugi faktori.

Ako faktor ne utječe na rezultat, tada je linija regresije na grafu paralelna s osom Oh I

Tada je cijela varijansa rezultirajuće karakteristike posljedica utjecaja drugih faktora i ukupni zbir kvadrata odstupanja će se poklopiti sa ostatkom. Ako drugi faktori ne utiču na rezultat, onda y tied With X funkcionalno i rezidualni zbir kvadrata je nula. U ovom slučaju, zbir kvadrata odstupanja objašnjenih regresijom je isti kao i ukupni zbir kvadrata.

Budući da ne leže sve tačke korelacionog polja na regresijskoj liniji, njihovo rasipanje se uvek javlja kao rezultat uticaja faktora X, odnosno regresija at By X, i uzrokovane drugim uzrocima (neobjašnjive varijacije). Pogodnost linije regresije za predviđanje zavisi od toga koji deo ukupne varijacije osobine at objašnjava objašnjenu varijaciju

Očigledno, ako je zbir kvadrata odstupanja zbog regresije veći od preostalog zbira kvadrata, tada je jednadžba regresije statistički značajna i faktor X ima značajan uticaj na rezultat u.

, tj. sa brojem slobode nezavisne varijacije karakteristike. Broj stepeni slobode povezan je sa brojem jedinica populacije n i brojem konstanti koje se iz njega određuju. U odnosu na problem koji se proučava, broj stepeni slobode treba da pokaže koliko je nezavisnih odstupanja od P

Procjena značaja regresione jednačine u cjelini data je korištenjem F-Fišerov kriterijum. U ovom slučaju se postavlja nulta hipoteza da je koeficijent regresije jednak nuli, tj. b = 0, a samim tim i faktor X ne utiče na rezultat u.

Neposrednom izračunavanju F-testa prethodi analiza varijanse. Centralna lokacija zauzima dekompoziciju ukupnog zbira kvadrata odstupanja varijable at od prosječne vrijednosti at na dva dijela - "objašnjeno" i "neobjašnjeno":

Ukupan zbroj kvadrata odstupanja;

Zbir kvadratnog odstupanja objašnjenog regresijom;

Preostali zbir kvadrata odstupanja.

Svaki zbir odstupanja na kvadrat povezan je sa brojem stepeni slobode , tj. sa brojem slobode nezavisne varijacije karakteristike. Broj stepena slobode povezan je sa brojem populacijskih jedinica n i sa brojem konstanti određenim iz njega. U odnosu na problem koji se proučava, broj stepeni slobode treba da pokaže koliko je nezavisnih odstupanja od P moguće potrebno za formiranje date sume kvadrata.

Disperzija po stepenu slobodeD.

F-odnosi (F-test):

Ako je nulta hipoteza tačna, tada se faktor i preostale varijanse ne razlikuju jedna od druge. Za H 0 potrebno je opovrgavanje kako bi disperzija faktora nekoliko puta premašila disperziju ostatka. Engleski statističar Snedekor razvio je tabele kritičnih vrednosti F-relacije na različitim nivoima značaja nulte hipoteze i različitog broja stepeni slobode. Vrijednost tabele F-kriterijum je maksimalna vrijednost omjera varijansi koja se može pojaviti u slučaju slučajne divergencije za dati nivo vjerovatnoće prisustva nulte hipoteze. Izračunata vrijednost F-relacije se smatraju pouzdanim ako je o veće od tabele.

U ovom slučaju se odbacuje nulta hipoteza o nepostojanju veze između znakova i izvodi se zaključak o značaju ovog odnosa: F činjenica > F tabela H 0 je odbijen.

Ako je vrijednost manja od prikazane u tabeli F činjenica ‹, F tabela, tada je vjerovatnoća nulte hipoteze veća od određenog nivoa i ne može se odbaciti bez ozbiljnog rizika od izvođenja pogrešnog zaključka o postojanju veze. U ovom slučaju, jednačina regresije se smatra statistički beznačajnom. Ali on ne odstupa.

Standardna greška koeficijenta regresije

Da bi se procijenila značajnost koeficijenta regresije, njegova vrijednost se upoređuje sa njegovom standardnom greškom, odnosno utvrđuje se stvarna vrijednost t-Studentov t-test: koji se zatim poredi sa tabelarnom vrednošću na određenom nivou značajnosti i broju stepeni slobode ( n- 2).

Standardna greška parametra A:

Značajnost koeficijenta linearne korelacije se provjerava na osnovu veličine greške koeficijent korelacije t r:

Ukupna varijansa osobina X:

Višestruka linearna regresija

Izgradnja modela

Višestruka regresija predstavlja regresiju efektivne karakteristike sa dva ili više faktora, odnosno model forme

Regresija može dati dobre rezultate u modeliranju ako se zanemari uticaj drugih faktora koji utiču na predmet proučavanja. Ponašanje pojedinih ekonomskih varijabli ne može se kontrolisati, odnosno nije moguće osigurati jednakost svih ostalih uslova za procjenu uticaja jednog faktora koji se proučava. U ovom slučaju, trebali biste pokušati identificirati utjecaj drugih faktora tako što ćete ih uvesti u model, tj. konstruirati jednadžbu višestruke regresije: y = a+b 1 x 1 +b 2 +…+b p x p + .

Osnovni cilj višestruke regresije je da se izgradi model sa velikim brojem faktora, pri čemu se utvrđuje uticaj svakog od njih posebno, kao i njihov kombinovani uticaj na modelirani indikator. Specifikacija modela uključuje dva niza pitanja: izbor faktora i izbor vrste regresijske jednačine

Jedna od metoda za proučavanje stohastičkih odnosa između karakteristika je regresiona analiza.
Regresiona analiza je izvođenje regresione jednačine, uz pomoć koje se pronalazi prosječna vrijednost slučajne varijable (atribut rezultata) ako je poznata vrijednost druge (ili druge) varijabli (faktor-atributa). Uključuje sljedeće korake:

1. izbor oblika veze (vrsta analitičke regresione jednačine);
2. procjena parametara jednadžbe;
3. procjena kvaliteta analitičke regresione jednačine.

Najčešće se koristi za procjenu parametara metoda najmanjih kvadrata (LSM).
Metoda najmanjih kvadrata daje najbolje (dosljedne, efikasne i nepristrasne) procjene parametara regresione jednačine. Ali samo ako su ispunjene određene pretpostavke u vezi sa slučajnim članom (u) i nezavisnom varijablom (x) (vidi OLS pretpostavke).

Problem procjene parametara jednadžbe linearnog para metodom najmanjih kvadrata je kako slijedi: da se dobiju takve procjene parametara , , kod kojih je zbroj kvadrata odstupanja stvarnih vrijednosti rezultujuće karakteristike - y i od izračunatih vrijednosti - minimalan.
Formalno OLS kriterijum može se napisati ovako: .

Klasifikacija metoda najmanjih kvadrata

1. Metoda najmanjeg kvadrata.
2. Metoda maksimalne vjerovatnoće (za normalan klasični model linearne regresije, postulira se normalnost reziduala regresije).
3. Generalizirana metoda najmanjih kvadrata OLS se koristi u slučaju autokorelacije grešaka iu slučaju heteroskedastičnosti.
4. Metoda ponderiranih najmanjih kvadrata (poseban slučaj OLS sa heteroskedastičnim rezidualima).

Hajde da ilustrujemo poentu klasična metoda najmanji kvadrati grafički. Da bismo to uradili, konstruisaćemo dijagram raspršenja na osnovu podataka posmatranja (x i, y i, i=1; n) u pravougaonom koordinatnom sistemu (takav dijagram raspršenja naziva se korelaciono polje). Pokušajmo odabrati pravu liniju koja je najbliža tačkama korelacionog polja. Prema metodi najmanjih kvadrata, linija se bira tako da zbir kvadrata vertikalnih udaljenosti između tačaka korelacionog polja i ove prave bude minimalan.

Matematička notacija za ovaj problem: .
Poznate su nam vrijednosti y i i x i =1...n; ovo su podaci opservacije. U S funkciji predstavljaju konstante. Varijable u ovoj funkciji su potrebne procjene parametara - , . Da bi se pronašao minimum funkcije dvije varijable, potrebno je izračunati parcijalne izvode ove funkcije za svaki od parametara i izjednačiti ih sa nulom, tj. .
Kao rezultat, dobijamo sistem od 2 normalne linearne jednadžbe:
Rješavajući ovaj sistem, nalazimo potrebne procjene parametara:

Ispravnost proračuna parametara regresione jednačine može se provjeriti poređenjem iznosa (može doći do neslaganja zbog zaokruživanja proračuna).
Da biste izračunali procjene parametara, možete napraviti tabelu 1.
Znak koeficijenta regresije b ukazuje na smjer odnosa (ako je b >0, odnos je direktan, ako je b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Formalno, vrijednost parametra a je prosječna vrijednost y sa x jednakim nuli. Ako faktor-atribut nema i ne može imati nultu vrijednost, onda gornja interpretacija parametra a nema smisla.

Procjena bliskosti odnosa između karakteristika izvršeno korištenjem koeficijenta linearne parne korelacije - r x,y. Može se izračunati pomoću formule: . Osim toga, koeficijent korelacije linearnog para može se odrediti preko koeficijenta regresije b: .
Raspon prihvatljivih vrijednosti koeficijenta linearne korelacije para je od –1 do +1. Znak koeficijenta korelacije ukazuje na smjer odnosa. Ako je r x, y >0, onda je veza direktna; ako je r x, y<0, то связь обратная.
Ako je ovaj koeficijent po veličini blizu jedinice, onda se odnos između karakteristika može tumačiti kao prilično blizak linearni. Ako je njegov modul jednak jednom ê r x , y ê =1, tada je odnos između karakteristika funkcionalno linearan. Ako su karakteristike x i y linearno nezavisne, tada je r x,y blizu 0.
Za izračunavanje r x,y možete koristiti i tabelu 1.

Da biste procijenili kvalitetu rezultirajuće regresione jednačine, izračunajte teoretski koeficijent determinacije - R 2 yx:

,
gdje je d 2 varijansa y objašnjena jednadžbom regresije;
e 2 - rezidualna (neobjašnjena jednadžbom regresije) varijansa y;
s 2 y - ukupna (ukupna) varijansa y.
Koeficijent determinacije karakteriše udio varijacije (disperzije) rezultujućeg atributa y objašnjen regresijom (i, posljedično, faktorom x) u ukupnoj varijaciji (disperziji) y. Koeficijent determinacije R 2 yx ima vrijednosti od 0 do 1. Shodno tome, vrijednost 1-R 2 yx karakterizira udio varijanse y uzrokovane utjecajem drugih faktora koji nisu uzeti u obzir u modelu i greškama u specifikaciji.
Sa uparenom linearnom regresijom, R 2 yx =r 2 yx.

Metoda običnih najmanjih kvadrata (OLS).- matematička metoda koja se koristi za rješavanje različitih problema, zasnovana na minimiziranju sume kvadrata odstupanja određenih funkcija od željenih varijabli. Može se koristiti za "rješavanje" preodređenih sistema jednadžbi (kada broj jednačina prelazi broj nepoznatih), za pronalaženje rješenja u slučaju običnih (ne preodređenih) nelinearnih sistema jednadžbi, za aproksimaciju tačaka vrijednosti nekih funkcija. OLS je jedna od osnovnih metoda regresione analize za procjenu nepoznatih parametara regresionih modela iz podataka uzorka.

Enciklopedijski YouTube

1 / 5

✪ Metoda najmanjih kvadrata. Predmet

✪ Metoda najmanjih kvadrata, lekcija 1/2. Linearna funkcija

✪ Ekonometrija. Predavanje 5. Metoda najmanjih kvadrata

✪ Mitin I.V. - Obrada fizičkih rezultata. eksperiment - metoda najmanjih kvadrata (predavanje 4)

✪ Ekonometrija: Suština metode najmanjih kvadrata #2

Titlovi

Priča

Sve do početka 19. stoljeća. naučnici nisu imali određena pravila za rješavanje sistema jednačina u kojem je broj nepoznatih manji od broja jednačina; Do tada su se koristile privatne tehnike koje su zavisile od vrste jednačina i od pameti kalkulatora, pa su različiti kalkulatori, na osnovu istih podataka posmatranja, dolazili do različitih zaključaka. Gauss (1795) je prvi upotrijebio metodu, a Legendre (1805) ga je samostalno otkrio i objavio pod modernim imenom (franc. Méthode des moindres quarrés) . Laplas je povezao metodu sa teorijom verovatnoće, a američki matematičar Adrain (1808) razmatrao je njene teorijske primene. Metoda je široko rasprostranjena i poboljšana daljim istraživanjima Enckea, Bessela, Hansena i drugih.

Suština metode najmanjih kvadrata

Neka x (\displaystyle x)- komplet n (\displaystyle n) nepoznate varijable (parametri), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- skup funkcija iz ovog skupa varijabli. Zadatak je odabrati takve vrijednosti x (\displaystyle x), tako da vrijednosti ovih funkcija budu što bliže određenim vrijednostima y i (\displaystyle y_(i)). U suštini govorimo o “rješenju” preodređenog sistema jednačina f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots,m) u naznačenom smislu maksimalne blizine lijevog i desnog dijela sistema. Suština metode najmanjih kvadrata je da se kao "mjera blizine" odabere zbir kvadrata odstupanja lijeve i desne strane | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Dakle, suština MNC-a se može izraziti na sljedeći način:

Ako sistem jednadžbi ima rješenje, onda će minimum zbira kvadrata biti jednak nuli i tačna rješenja sistema jednadžbi mogu se pronaći analitički ili, na primjer, korištenjem različitih numeričkih metoda optimizacije. Ako je sistem preodređen, odnosno, slobodno rečeno, broj nezavisnih jednačina veća količinaželjene varijable, tada sistem nema tačno rješenje i metoda najmanjih kvadrata nam omogućava da pronađemo neki "optimalni" vektor x (\displaystyle x) u smislu maksimalne blizine vektora y (\displaystyle y) I f (x) (\displaystyle f(x)) ili maksimalna blizina vektora devijacije e (\displaystyle e) na nulu (blizina se shvata u smislu euklidske udaljenosti).

Primjer - sistem linearnih jednačina

Konkretno, metoda najmanjih kvadrata se može koristiti za "rješavanje" sistema linearnih jednačina

Gdje A (\displaystyle A) matrica pravokutne veličine m × n , m > n (\displaystyle m\puta n,m>n)(tj. broj redova matrice A je veći od broja traženih varijabli).

U opštem slučaju, takav sistem jednačina nema rješenja. Stoga se ovaj sistem može „riješiti“ samo u smislu izbora takvog vektora x (\displaystyle x) kako bi se minimizirala "udaljenost" između vektora A x (\displaystyle Ax) I b (\displaystyle b). Da biste to učinili, možete primijeniti kriterij minimiziranja zbira kvadrata razlika između lijeve i desne strane jednadžbe sistema, tj. (A x − b) T (A x − b) → min x (\displaystyle (Ax-b)^(T)(Ax-b)\strelica desno \min _(x)). Lako je pokazati da rješavanje ovog problema minimizacije vodi do rješavanja sljedećeg sistema jednačina

OLS u regresionoj analizi (aproksimacija podataka)

Neka bude n (\displaystyle n) vrijednosti neke varijable y (\displaystyle y)(ovo bi mogli biti rezultati opservacija, eksperimenata, itd.) i povezane varijable x (\displaystyle x). Izazov je osigurati da odnos između y (\displaystyle y) I x (\displaystyle x) aproksimira nekom funkcijom poznatom u okviru nekih nepoznatih parametara b (\displaystyle b), odnosno zapravo pronaći najbolje vrijednosti parametara b (\displaystyle b), maksimalno aproksimirajući vrijednosti f (x, b) (\displaystyle f(x,b)) na stvarne vrednosti y (\displaystyle y). U stvari, ovo se svodi na slučaj „rešavanja“ preodređenog sistema jednačina u odnosu na b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n).

U regresionoj analizi, a posebno u ekonometriji, koriste se probabilistički modeli zavisnosti između varijabli

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

Gdje ε t (\displaystyle \varepsilon _(t))- takozvani slučajne greške modeli.

Shodno tome, odstupanja uočenih vrijednosti y (\displaystyle y) od modela f (x, b) (\displaystyle f(x,b)) već se pretpostavlja u samom modelu. Suština metode najmanjih kvadrata (obična, klasična) je pronalaženje takvih parametara b (\displaystyle b), pri čemu je zbir kvadrata odstupanja (greške, za regresijske modele često se nazivaju regresijskim rezidualima) e t (\displaystyle e_(t)) bit će minimalno:

Gdje R S S (\displaystyle RSS)- Engleski Preostali zbir kvadrata je definisan kao:

U opštem slučaju, ovaj problem se može rešiti metodama numeričke optimizacije (minimizacije). U ovom slučaju govore o nelinearni najmanji kvadrati(NLS ili NLLS - engleski nelinearni najmanji kvadrati). U mnogim slučajevima moguće je dobiti analitičko rješenje. Da bi se riješio problem minimizacije, potrebno je pronaći stacionarne tačke funkcije R S S (b) (\displaystyle RSS(b)), diferencirajući ga prema nepoznatim parametrima b (\displaystyle b), izjednačavanje izvoda sa nulom i rješavanje rezultirajućeg sistema jednačina:

OLS u slučaju linearne regresije

Neka je zavisnost regresije linearna:

Neka y je vektor stupca zapažanja varijable koja se objašnjava, i X (\displaystyle X)- Ovo (n × k) (\displaystyle ((n\puta k)))-matrica faktorskih zapažanja (redovi matrice su vektori faktorskih vrijednosti u datom opažanju, kolone su vektor vrijednosti datog faktora u svim opservacijama). Matrični prikaz linearnog modela ima oblik:

Tada će vektor procjena objašnjene varijable i vektor reziduala regresije biti jednaki

Prema tome, zbir kvadrata reziduala regresije će biti jednak

Diferenciranje ove funkcije s obzirom na vektor parametara b (\displaystyle b) i izjednačavajući derivate sa nulom, dobijamo sistem jednačina (u matričnom obliku):

U dešifrovanom matričnom obliku, ovaj sistem jednačina izgleda ovako:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ t 2 x t x 3 … ∑ t x t x 1 x x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b x 2) (b 1 b x 2) (b 1 b x t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\suma x_(t1)x_(tk)\\\suma x_(t2)x_(t1)&\suma x_(t2)^(2)&\suma x_(t2)x_(t3)&\ldots &\ zbroj x_(t2)x_(tk)\\\suma x_(t3)x_(t1)&\suma x_(t3)x_(t2)&\suma x_(t3)^(2)&\ldots &\zbroj x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\suma x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\suma x_(t1)y_(t)\\\suma x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix)),) gdje su svi zbroji preuzeti preko svih važećih vrijednosti t (\displaystyle t).

Ako je konstanta uključena u model (kao i obično), onda x t 1 = 1 (\displaystyle x_(t1)=1) pred svima t (\displaystyle t), dakle, u gornjem levom uglu matrice sistema jednačina nalazi se broj zapažanja n (\displaystyle n), a u preostalim elementima prvog reda i prve kolone - jednostavno sume vrijednosti varijabli: ∑ x t j (\displaystyle \sum x_(tj)) a prvi element desne strane sistema je ∑ y t (\displaystyle \sum y_(t)).

Rješenje ovog sistema jednačina daje opšta formula OLS procjene za linearni model:

Za analitičke svrhe, posljednji prikaz ove formule se pokazao korisnim (u sistemu jednačina pri dijeljenju sa n umjesto zbroja pojavljuju se aritmetičke sredine). Ako u regresijskom modelu podaci centriran, onda u ovom prikazu prva matrica ima značenje uzorka kovarijanci matrice faktora, a druga je vektor kovarijansi faktora sa zavisnom varijablom. Ako su pored toga i podaci normalizovano na MSE (to jest, na kraju standardizovan), tada prva matrica ima značenje uzorka korelacione matrice faktora, drugi vektor - vektor uzorka korelacije faktora sa zavisnom varijablom.

Važno svojstvo OLS procjena za modele sa konstantom- linija konstruirane regresije prolazi kroz težište podataka uzorka, odnosno zadovoljena je jednakost:

Konkretno, u ekstremnom slučaju, kada je jedini regresor konstanta, nalazimo da je OLS procjena jedinog parametra (same konstante) jednaka srednjoj vrijednosti objašnjene varijable. Odnosno, aritmetička sredina, poznata po dobrim svojstvima iz zakona velikih brojeva, takođe je procjena najmanjih kvadrata - zadovoljava kriterij minimalnog zbira kvadrata odstupanja od nje.

Najjednostavniji specijalni slučajevi

U slučaju uparene linearne regresije y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), kada se procijeni linearna ovisnost jedne varijable od druge, formule za proračun su pojednostavljene (možete bez matrične algebre). Sistem jednačina ima oblik:

Odavde je lako pronaći procjene koeficijenata:

Uprkos činjenici da su u opštem slučaju modeli sa konstantom poželjniji, u nekim slučajevima je iz teorijskih razmatranja poznato da konstanta a (\displaystyle a) mora biti jednak nuli. Na primjer, u fizici je odnos između napona i struje U = I ⋅ R (\displaystyle U=I\cdot R); Prilikom mjerenja napona i struje potrebno je procijeniti otpor. U ovom slučaju govorimo o modelu y = b x (\displaystyle y=bx). U ovom slučaju, umjesto sistema jednačina imamo jednu jednačinu

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Stoga formula za procjenu pojedinačnog koeficijenta ima oblik

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\suma _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Slučaj polinomskog modela

Ako se podaci uklapaju pomoću funkcije polinomske regresije jedne varijable f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), zatim, opažanje stepeni x i (\displaystyle x^(i)) kao nezavisni faktori za svaki i (\displaystyle i) moguće je procijeniti parametre modela na osnovu opće formule za procjenu parametara linearnog modela. Da biste to učinili, dovoljno je uzeti u obzir u općoj formuli da s takvim tumačenjem x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) I x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Prema tome, matrične jednadžbe u ovom slučaju će poprimiti oblik:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x t 2 … ∑ n x t k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t k + 1 … 1) = [ ∑ n y t ∑ n x t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\suma \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\suma \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\suma \ograničenja _(n)x_(t)^(k)&\suma \ograničenja _(n)x_(t)^(k+1)&\ldots &\ suma \ograničenja _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrica)).)

Statistička svojstva OLS estimatora

Prije svega, napominjemo da su za linearne modele procjene OLS linearne procjene, kao što slijedi iz gornje formule. Za nepristrasne procjene OLS-a, potrebno je i dovoljno izvršiti najvažniji uslov regresiona analiza: uslovljeno faktorima, matematičko očekivanje slučajne greške mora biti jednako nuli. Ovo stanje, posebno je zadovoljan ako

1. matematičko očekivanje slučajnih grešaka je nula, i
2. faktori i slučajne greške su nezavisne slučajne varijable.

Drugi uslov - uslov egzogenosti faktora - je fundamentalan. Ako ovo svojstvo nije ispunjeno, onda možemo pretpostaviti da će gotovo sve procjene biti krajnje nezadovoljavajuće: neće biti čak ni konzistentne (odnosno, čak i vrlo velika količina podataka ne dozvoljava nam da dobijemo visokokvalitetne procjene u ovom slučaju ). U klasičnom slučaju, jača se pretpostavka o determinizmu faktora, za razliku od slučajne greške, što automatski znači da je uslov egzogenosti ispunjen. U općem slučaju, za konzistentnost procjena, dovoljno je zadovoljiti uvjet egzogenosti zajedno sa konvergencijom matrice V x (\displaystyle V_(x)) na neku nesingularnu matricu kako se veličina uzorka povećava do beskonačnosti.

Da bi, osim konzistentnosti i nepristrasnosti, procjene (običnih) najmanjih kvadrata bile i efikasne (najbolje u klasi linearnih nepristrasnih procjena), moraju biti zadovoljena dodatna svojstva slučajne greške:

Ove pretpostavke se mogu formulisati za matricu kovarijanse vektora slučajne greške V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Linearni model koji zadovoljava ove uslove naziva se klasična. OLS procjene za klasičnu linearnu regresiju su nepristrasne, dosljedne i najefikasnije procjene u klasi svih linearnih nepristrasnih procjena (u engleskoj literaturi ponekad se koristi skraćenica PLAVA (Najbolji linearni nepristrasni procjenitelj) - najbolja linearna nepristrasna procjena; U ruskoj književnosti češće se citira Gauss-Markovljeva teorema). Kao što je lako pokazati, matrica kovarijanse vektora procjena koeficijenata bit će jednaka:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Efikasnost znači da je ova matrica kovarijanse „minimalna“ (svaka linearna kombinacija koeficijenata, a posebno sami koeficijenti, imaju minimalnu varijansu), odnosno, u klasi linearnih nepristrasnih estimatora, OLS estimatori su najbolji. Dijagonalni elementi ove matrice – varijanse procjena koeficijenata – bitni su parametri kvaliteta dobijenih procjena. Međutim, nije moguće izračunati matricu kovarijanse jer je varijansa slučajne greške nepoznata. Može se dokazati da je nepristrasna i konzistentna (za klasični linearni model) procjena varijanse slučajnih grešaka veličina:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Zamjenom ove vrijednosti u formulu za matricu kovarijanse dobijamo procjenu matrice kovarijanse. Rezultirajuće procjene su također nepristrasne i konzistentne. Također je važno da procjena varijanse greške (a samim tim i varijanse koeficijenata) i procjene parametara modela budu nezavisne slučajne varijable, što vam omogućava da dobijete statistiku testa za testiranje hipoteza o koeficijentima modela.

Treba napomenuti da ako klasične pretpostavke nisu ispunjene, procjene parametara OLS nisu najefikasnije i gdje W (\displaystyle W) je neka simetrična matrica pozitive određene težine. Obični najmanji kvadrati su poseban slučaj ovaj pristup, kada je matrica težine proporcionalna matrici identiteta. Kao što je poznato, za simetrične matrice (ili operatore) postoji ekspanzija W = P T P (\displaystyle W=P^(T)P). Stoga se navedena funkcionalnost može predstaviti na sljedeći način e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), odnosno ovaj funkcional se može predstaviti kao zbir kvadrata nekih transformiranih „ostataka“. Dakle, možemo razlikovati klasu metoda najmanjih kvadrata - LS metode (Least Squares).

Dokazano je (Aitkenova teorema) da su za generalizirani model linearne regresije (u kojem se ne nameću ograničenja na matricu kovarijanse slučajnih grešaka) najefikasnije (u klasi linearnih nepristrasnih procjena) tzv. generalizirani najmanji kvadrati (GLS - generalizirani najmanji kvadrati)- LS metoda sa težinskom matricom jednakom inverznoj kovarijansnoj matrici slučajnih grešaka: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Može se pokazati da formula za GLS procjene parametara linearnog modela ima oblik

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Matrica kovarijanse ovih procjena će prema tome biti jednaka

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\šešir (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

Zapravo, suština OLS-a leži u određenoj (linearnoj) transformaciji (P) izvornih podataka i primjeni običnog OLS-a na transformirane podatke. Svrha ove transformacije je da za transformirane podatke slučajne greške već zadovoljavaju klasične pretpostavke.

Weighted OLS

U slučaju dijagonalne matrice težine (a samim tim i matrice kovarijanse slučajnih grešaka), imamo takozvane ponderisane najmanje kvadrate (WLS). U ovom slučaju, ponderisani zbir kvadrata reziduala modela je minimiziran, odnosno svako opažanje dobija „težinu“ koja je obrnuto proporcionalna varijansi slučajne greške u ovom zapažanju: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). U stvari, podaci se transformišu ponderisanjem zapažanja (deljenjem sa količinom proporcionalnom procenjenoj standardnoj devijaciji slučajnih grešaka), a obični OLS se primenjuje na ponderisane podatke.

ISBN 978-5-7749-0473-0 .

Aproksimacija eksperimentalnih podataka je metoda koja se temelji na zamjeni eksperimentalno dobivenih podataka analitičkom funkcijom koja najbliže prolazi ili se podudara u čvornim točkama s izvornim vrijednostima (podaci dobiveni tijekom eksperimenta ili eksperimenta). Trenutno postoje dva načina za definiranje analitičke funkcije:

Konstruisanjem interpolacionog polinoma n stepena koji prolazi direktno kroz sve tačke dati niz podataka. U ovom slučaju, aproksimirajuća funkcija je predstavljena u obliku: interpolacijskog polinoma u Lagrangeovom obliku ili interpolacijskog polinoma u Newtonovom obliku.

Konstruiranjem n-stepenog aproksimiranog polinoma koji prolazi u neposrednoj blizini tačaka iz datog niza podataka. Dakle, aproksimirajuća funkcija izglađuje sav slučajni šum (ili greške) koji se može pojaviti tijekom eksperimenta: izmjerene vrijednosti tijekom eksperimenta zavise od slučajnih faktora koji fluktuiraju u skladu sa svojim vlastitim slučajni zakoni(greške mjerenja ili instrumenta, nepreciznost ili eksperimentalne greške). U ovom slučaju, aproksimirajuća funkcija se određuje metodom najmanjih kvadrata.

Metoda najmanjeg kvadrata(u engleskoj literaturi Ordinary Least Squares, OLS) je matematička metoda zasnovana na određivanju aproksimativne funkcije koja se konstruiše u najbližoj blizini tačaka iz datog niza eksperimentalnih podataka. Bliskost izvorne i aproksimirajuće funkcije F(x) određena je numeričkom mjerom, odnosno: zbir kvadrata odstupanja eksperimentalnih podataka od aproksimirajuće krive F(x) treba da bude najmanji.

Aproksimirajuća kriva konstruirana metodom najmanjih kvadrata

Koristi se metoda najmanjih kvadrata:

Za rješavanje preodređenih sistema jednačina kada broj jednačina premašuje broj nepoznatih;

Naći rješenje u slučaju običnih (ne preodređenih) nelinearnih sistema jednačina;

Za aproksimaciju vrijednosti tačaka nekom aproksimirajućom funkcijom.

Aproksimirajuća funkcija metodom najmanjih kvadrata određena je iz uvjeta minimalne sume kvadrata odstupanja izračunate aproksimativne funkcije iz datog niza eksperimentalnih podataka. Ovaj kriterij metode najmanjih kvadrata zapisuje se kao sljedeći izraz:

Vrijednosti izračunate aproksimirajuće funkcije u čvornim točkama,

Dati niz eksperimentalnih podataka na čvornim tačkama.

Kvadratni kriterij ima niz “dobrih” svojstava, kao što je diferencijabilnost, pružajući jedinstveno rješenje problema aproksimacije sa polinomskim aproksimirajućim funkcijama.

U zavisnosti od uslova problema, aproksimirajuća funkcija je polinom stepena m

Stepen aproksimirajuće funkcije ne zavisi od broja čvornih tačaka, ali njena dimenzija uvek mora biti manja od dimenzije (broja tačaka) datog eksperimentalnog niza podataka.

∙ Ako je stepen aproksimirajuće funkcije m=1, tada tabelarnu funkciju aproksimiramo ravnom linijom (linearna regresija).

∙ Ako je stepen aproksimirajuće funkcije m=2, tada tabelu funkciju aproksimiramo kvadratnom parabolom (kvadratna aproksimacija).

∙ Ako je stepen aproksimirajuće funkcije m=3, tada tabelu funkciju aproksimiramo kubnom parabolom (kubična aproksimacija).

U opštem slučaju, kada je potrebno konstruisati aproksimirajući polinom stepena m za datu tablične vrijednosti, uslov za minimalnu sumu kvadrata odstupanja po svim čvornim tačkama prepisuje se u sljedećem obliku:

- nepoznati koeficijenti aproksimirajućeg polinoma stepena m;

Broj navedenih vrijednosti u tabeli.

Neophodan uslov za postojanje minimuma funkcije je jednakost sa nulom njenih parcijalnih izvoda u odnosu na nepoznate varijable . Kao rezultat dobijamo sledeći sistem jednačina:

Hajde da transformišemo rezultirajući linearni sistem jednačina: otvorimo zagrade i pomerimo slobodne članove na desnu stranu izraza. Kao rezultat, rezultujući sistem linearnih algebarskih izraza biće napisan u sledećem obliku:

Ovaj sistem linearnih algebarskih izraza može se prepisati u matričnom obliku:

Kao rezultat, dobijen je sistem linearnih jednadžbi dimenzije m+1, koji se sastoji od m+1 nepoznatih. Ovaj sistem se može riješiti bilo kojom metodom za rješavanje linearnih algebarskih jednadžbi (na primjer, Gausovom metodom). Kao rezultat rješenja naći će se nepoznati parametri aproksimirajuće funkcije koji daju minimalni zbir kvadrata odstupanja aproksimirajuće funkcije od izvornih podataka, tj. najbolja moguća kvadratna aproksimacija. Treba imati na umu da ako se promijeni čak i jedna vrijednost izvornih podataka, svi koeficijenti će promijeniti svoje vrijednosti, jer su u potpunosti određeni izvornim podacima.

Aproksimacija izvornih podataka linearnom zavisnošću

(linearna regresija)

Kao primjer, razmotrite tehniku ​​za određivanje aproksimativne funkcije, koja je data u obliku linearna zavisnost. U skladu sa metodom najmanjih kvadrata, uslov za minimum zbira kvadrata odstupanja zapisuje se u sledećem obliku:

Koordinate čvorova tablice;

Nepoznati koeficijenti aproksimirajuće funkcije, koja je specificirana kao linearna ovisnost.

Neophodan uslov za postojanje minimuma funkcije je jednakost nuli njenih parcijalnih izvoda u odnosu na nepoznate varijable. Kao rezultat dobijamo sledeći sistem jednačina:

Hajde da transformišemo rezultujući linearni sistem jednačina.

Rešavamo rezultujući sistem linearnih jednačina. Koeficijenti aproksimirajuće funkcije u analitičkom obliku određuju se na sljedeći način (Cramerova metoda):

Ovi koeficijenti osiguravaju konstrukciju linearne aproksimirajuće funkcije u skladu s kriterijem minimiziranja sume kvadrata aproksimirajuće funkcije iz zadanih tabličnih vrijednosti (eksperimentalnih podataka).

Algoritam za implementaciju metode najmanjih kvadrata

1. Početni podaci:

Naveden je niz eksperimentalnih podataka sa brojem mjerenja N

Specificira se stepen aproksimirajućeg polinoma (m).

2. Algoritam proračuna:

2.1. Koeficijenti se određuju za konstruisanje sistema jednačina sa dimenzijama

Koeficijenti sistema jednadžbi ( lijeva strana jednadžbe)

- indeks broja kolone kvadratne matrice sistema jednačina

Slobodni članovi sistema linearnih jednačina ( desni deo jednadžbe)

- indeks broja reda kvadratne matrice sistema jednačina

2.2. Formiranje sistema linearnih jednadžbi sa dimenzijom .

2.3. Rješavanje sistema linearnih jednadžbi za određivanje nepoznatih koeficijenata aproksimirajućeg polinoma stepena m.

2.4. Određivanje sume kvadrata odstupanja aproksimirajućeg polinoma od originalnih vrijednosti u svim čvornim točkama

Pronađena vrijednost zbira kvadrata odstupanja je najmanja moguća.

Aproksimacija pomoću drugih funkcija

Treba napomenuti da se prilikom aproksimacije izvornih podataka u skladu s metodom najmanjih kvadrata, ponekad kao aproksimirajuća funkcija koriste logaritamska funkcija, eksponencijalna funkcija i funkcija stepena.

Logaritamska aproksimacija

Razmotrimo slučaj kada je aproksimirajuća funkcija data logaritamskom funkcijom oblika: