|
'''Lineaarinen regressioanalyysi''' on [[tilastotiede|tilastollinen]] analyysimenetelmä, jossa aineiston perusteella estimoidaan tarkasteltavan vastemuuttujan lineaarinen riippuvuutta selittävistä muuttujista. Menetelmää sovelletaan lähes kaikilla tieteenaloilla, joilla tehdään empiiristä tutkimusta. Sen perusajatuksena on, löytää havaintojen avulla [[estimaatti|estimaatit]], jotka minimoivat mallin [[jäännösvirhe]]iden neliöiden summan.
YksinkertainenSeuraavassa on esimerkki lineaarisesta regressiostaregressianalyysista, jossa estimoidaan suoran viivan
jossa estimoidaan suoran viivan :<math>y=ax\alpha+b\beta x</math> tuntemattomat,
tuntemattomat parametrit <math>a\alpha, b\beta</math> kun on annettuna havaintoja
<math>y_i</math> argumentin arvoille <math>x_i, i=1,..,n</math>:. josJos kirjoitetaan:
kirjoitetaan
<math>
y_i=\alpha + \beta x_i+u_i,
y_i+v_i=ax_i+b,
</math>
missä <math>\varepsilon_i</math> on mallin jäännösvirhe eli residuaali. Kun mallin parametrit estimoidaan pienimmän neliösumman menetelmällä, valitaan estimaatit siten, että residuaalien neliöiden summa minimoidaan.
optimaalinen ratkaisu minimoi jäännösvirheiden <math>v_i</math>
neliöllinen summa
Ylensä lineaarisessa regressio-ongelmissa tehdään Gauss-Markov -oletukset:
<math>\sum_{i=1}^{n} v_{i}^{2}.</math>
* Virhetermit ε<sub>''i''</sub> ovat satunnaisia ja niiden odotusarvo on 0.
* Virhetermit ovat korreloimattomia (toisinaan tehdään vahvempi riippumattomuusoletus).
* Virhetermit ovat homoskedastisia eli niiden varianssi on vakio.
Gauss-Markov -teoreeman mukaan estimaattori on oletuksien vallitessa tietyssä mielessä optimaallinen.
==Parametrien estimointi==
==Yleinen formalismi==
Kirjoittamalla malli <math>y_i = \alpha + \beta x_i + \varepsilon_i </math> lineaarisena yhtälösysteeminä, voidaan malli esittää matriisimuodossa, jolloin ''X'' aineistomatriisi, ''Y'' vastevektori ja <math>\delta</math> parametrivektori. Matriisien ''i'':nnes rivi sisältää aineiston rivit <math>x_i </math> ja <math>y_i</math> Tällöin malli voidaan kirjoittaa:
Tasoitusongelma formuloidaan yleisesti [[havaintoyhtälöryhmä]]nä,
jossa kirjoitetaan jokainen havainto kaikkien tuntemattomien
funktiona. Tämän ryhmän kirjoittaminen oikein on käytännön mittaus- ja
laskentatilanteessa aina suurin haaste.
: <math> \begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_n \end{bmatrix}= \begin{bmatrix} 1 & x_1\\ 1 & x_2\\ \vdots & \vdots\\ 1 & x_n \end{bmatrix} \begin{bmatrix} \alpha \\ \beta \end{bmatrix} + \begin{bmatrix} \varepsilon_1\\ \varepsilon_2\\ \vdots\\ \varepsilon_n \end{bmatrix} </math>,
<math>
joka on matriisiena:
\ell_i = \sum_{j=1}^{m} a_{ij} x_j, i=1,...,n,
</math>
: <math>Y = X \delta + \varepsilon \,</math>
jossa ''i'' on haviantoyhtälöiden (määrä ''n'') ja ''j'' tuntemattomien (määrä ''m'') indeksi. (Tässä olemme yksinkertaisuuden vuoksi jättäneet jäännösvirheet pois.)
Nyt yhtälö voidaan kertoa vasemmalta matriisilla <math>X'</math>
Matriisinotaatiossa tämä kaava on
<math>
\mathrm{l} = A\mathrm{x},
</math>
jossa ''A'' on kerrointen matriisi, ns. ''rakennematriisi''.
Koska on aina enemmän havaintoja kuin on tuntemattomia, on
yhtälöryhmän eksakti ratkaiseminen mahdotonta. Likimääiräinen mutta
pienimmän neliösumman menetelmän mukaisesti "paras" ratkaisu
lasketaan monesta oppikirjoista löydettävän suuren
[[Carl Friedrich Gauss]]in standardimenetelmän avulla:
# Havaintoyhtälöiden mahdollinen linearisointi
# Havaintoyhtälöistä rakennetaan [[normaaliyhtälöryhmä]], jossa on yhtä paljon yhtälöitä kuin on tuntemattomia
# Normaaliyhtälöt ratkaistaan matemaattisilla standardimenetelmillä. Normaaliyhtälöiden kerroinmatriisi on aina symmetrinen ja tavallisesti positiivi-definiitti (ellei, on ongelman formulointi puutteellinen; kyseessä voi olla esim. ns. datum-defekti)
# Tarkastetaan tasoituslaskusta myös saatuja havaintojen ''residuaaleja'' eli ''jäännösvirheitä''. Tietyssä havainnossa piileskelevä karkea virhe näkyy yleensä ylen suurena jäännösvirheenä.
# Lasketaan jäännösvirheiden neliöllinen keskiarvo, joka on hyvä mitta koko mittaus- ja laskentaprosessin onnistuneisuudesta.
''Normaaliyhtälöt'' muodostetaan kertomalla havaintoyhtälöt vasemmalta matriisilla <math>A^\mathrm{T}</math>:
<math>
A^\mathrm{T}A\mathrm{x} = A^\mathrm{T}\mathrm{l},
</math>
eli, jos kutsutaan <math>N=A^\mathrm{T}A</math> ja <math>\mathrm{b}=A^\mathrm{T}\mathrm{l}</math>:
<math>
N\mathrm{x}=\mathrm{b},
</math>
josta ratkaistaan standardikeinoin tuntemattomien vektori x. Mikäli kaikki käytetyt havainnot ovat samanarvoisia (siis yhtä tarkkoja), on tämä ''optimaalinen ratkaisu'' pienimmän neliösumman merkityksessä.
Tässä tapauksessa voimme myös laskea jäännösvirheiden neliöllinen keskiarvo:
<math>
\mathcal{E}= \frac{(\mathrm{l}-A\mathrm{x})^\mathrm{T} (\mathrm{l}-A\mathrm{x})}{n-m},
</math>
: <math>X'Y = X'X \delta + X'\varepsilon \,</math>
jossa ''n''-''m'' on "vapausasteiden" määrä eli redundanssiaste, jonka kautta on jaettava, että suureen <math>\mathcal{E}</math> olisi odotusarvoltaan 1. Jos siis laskettu arvo poikkeaa merkittävästi tästä arvosta 1, voidaan päätellä, että asiat eivät ole kunnossa. Jos yksi tai usea havainto on kelvoton, tai käytetyt mallit eivät pidä (riittävällä tarkkuudella) paikkansa.
Olettaen, että matriisi <math>(X'X)^{-1}</math> on olemassa, voidaan yhtälö kertoa sillä vasemmalta puolelta:
Geodeettiset mittausverkot on perinteisesti tasoitettu tämän menetelmän
mukaan; sitä käytetään edelleen geodeettisten [[GPS]]-verkkojen
tasoittamiseksi manner- ja peräti maailmanlaajuisesti. Tähtitieteessä
Gauss käytti menetelmän ensimmäistä kertaa v. 1801 löydetyn
[[Ceres]]-pikkuplaneetan radanmääritykseen.
: <math>(X'X)^{-1}X'Y = (X'X)^{-1}X'X \delta + (X'X)^{-1}X'\varepsilon \,</math>
==Tasoituslaskun variantteja==
Ottamalla odotusarvo ja ratkaisemalla yhtälö saadaan estimaatti:
Kirjallisuudesta löytyy menetelmän variantteja ja eri nimityksiä:
: <math>\widehat{\delta}=(X'X)^{-1}X'Y \,</math>
* [[Kalman-suodatin]] tosiaikainen, käytetään [[navigointi|navigoinnissa]]
* Pienimmän neliösumman [[kollokaatio]]; myös [[kriging]]
* [[Gauss-Markov]] -lause
* [[Wiener]]-suodatin
==Aiheesta muualla==
==Linkkejä==
* [http://mathworld.wolfram.com/LeastSquaresFitting.html Least Squares Fitting -- MathWorld]
* [http://www.gnu.org/software/gama/gama.html GNU GaMa verkkotasoitusohjelmisto]
[[Luokka:Tilastotiede]]
| 