Ero sivun ”Lineaarinen regressioanalyysi” versioiden välillä

[[Image:Normdist_regression.png|300px|thumb|right|Esimerkki lineaarisesta regressioanalyysista 50 datapisteelle.]]

 

 

Seuraavassa on esimerkki lineaarisesta regressioanalyysista, jossa estimoidaan yhtälön

</math>

 

 

== Oletukset ==

 

* Virhetermit <math>\varepsilon_i</math> ovat jakautuneet siten, että suhteessa ''X_i'':hin niiden odotusarvo on 0. Jos kahdesta satunnaismuuttujasta toisen ehdollinen odotusarvo suhteessa toiseen on 0, eli oletus pätee, on niiden välinen kovarianssi nolla eli ne ovat toisistaan riippumattomat. Oletuksen tarkoituksena on siis, että virhetermin sisältämät muut ''Y'':hyn vaikuttavat tekijät eivät ole riippuvaisia ''X'':stä. [[Satunnaiskoe|Satunnaiskokeessa]] kohteet sijoitetaan satunnaisesti koe- tai kontrolliryhmään, jolloin voidaan olla varmoja että ''X'' vaikuttaa riippumatta muista tekijöistä <math>\varepsilon</math> - seurauksena virhetermin odotusarvo suhteessa ''X'':ään on 0. Muuten kuin hallitulla kokeella kerätyssä havaintoaineistossa ''X_i'':n ja <math>\varepsilon_i</math>:n välinen riippumattomuus täytyy varmistaa muulla tavoin. Jos ''Y'':hyn vaikuttaa seikka, joka korreloi ''X'':n kanssa ja jota ei ole otettu mukaan regressioanalyysiin omana muuttujanaan, syyllistytään [[puuttuvan muuttujan harha]]an. Tällöin estimaattori on harhainen ja tarkentumaton. Ongelma on korjattavissa sisällyttämällä kyseinen muuttuja regressioanalyysin yhtälöön.<ref name="SW">Stock, J. & Watson, M.: ''Introduction to Econometrics''. Pearson, Boston, 2007.</ref>

* ''X_i'' ja ''Y_i'' ovat [[Riippumaton ja identtisesti jakautunut|riippumatomia ja identtisesti jakautuneita]] (eli iid.) eri i:n arvoilla eli havainnosta toiseen. Tämä tarkoittaa, että yhden havainnon saamat arvot eivät riipu toisista havainnoista ja että havainnot ovat edustava otos havaintoaineistosta, eli niillä on sama jakautuma. Satunnaisotanta onnistuessaan takaa tavallisesti riippumattoman ja identtisen jakauman. Kaikki koejärjestelyt eivät toetuta iid-oletusta: jos esimerkiksi tehdään sarja kasvien istutuskokeita eri kastelumäärillä, jossa ''i'':s ruukku kastellaan aina samalla tavalla, ''X_i'' ei ole riippumaton. Se olisi riippumaton jos kokeesta toiseen eri ruukkujen saamat kastelumäärät päätettäisiin satunnaisesti. Aikasarjoissa on tavallista, että muuttujat eivät ole riippumattomia, esim. korkotaso kuukaudesta toiseen vaihtelee, mutta ei täysin satunnaisesti, vaan kuukausina joita edellä on ollut matalakorkoinen kuukausi on todennäköisesti myös matala korko.<ref name="SW"/>

* Suuria poikkeavia havaintoja ei ole. Merkittävät poikkeamat vääristävät PNS-menetelmää, koska neliösummat kasvavat poikkeaman koon neliönä, mikä kasvattaa eksponentiaalisesti poikkeamien merkitystä suhteessa niideen suuruuteen. Jos aineistossa esiintyy suuria poikkeamia, on syytä tarkastaa onko kyseessä selvästi mittaus- tai merkintävirhe. Monet regressioanalyysillä analysoitavat suureet sisältävät luonnollisen rajoitteen, esimerkiksi matkustajamäärät eivät voi alittaa 0:aa eivätkä ylittää kulkuneuvon fyysistä kapasiteettia.<ref name="SW"/>

 

Edellä mainittuja pidetään tavallisesti harhattoman lineaarisen regressioanalyysin vähimmäisehtoina. Kun lisäksi on voimassa, että virhetermit ovat homoskedastisia eli niiden varianssi ''X'':n muuttuessa on vakio, pätee Gauss-Markov -teoreema. Sen mukaan pienimmän neliösumman estimaattori on oletuksien vallitessa tehokkain harhaton lineaarinen [[estimaattori]] eli ''BLUE'' (engl. ''best linear unbiased estimator''). Toisin sanoen PNS ei ole vain eräs harhaton estimaattori, vaan paras. Vaihtoehtoisia menetelmiä ei tarvitse harkita sikäli kun Gauss-Markov-ehdot täyttyvät.<ref name="Wool">Wooldridge, J.: ''Introductory Econometrics''. South-Western, Scarborough, Kanada, 2009.</ref>