Ero sivun ”Bayesiläinen tilastotiede” versioiden välillä
| [arvioimaton versio] | [katsottu versio] |
Poistettu sisältö Lisätty sisältö
p typoja |
|||
Rivi 1:
'''Bayesiläinen tilastotiede''' on [[frekventistinen tilastotiede|frekventistisen]] (eli klassisen) [[Tilastotiede|tilastotieteen]] ohella tilastotieteen toinen suuri [[paradigma]]. Bayesiläinen tilastotiede perustuu [[Bayesin teoreema|Bayesin kaava]]n soveltamiseen. Bayesiläisessa tilastotieteessä ajatellaan, että havainnot tunnetaan, joten ne ovat kiinteitä, ja todellisuus on tuntematon, johon liittyy epävarmuutta. Tarkoituksena on laskea [[a priori ja a posteriori|posteriori]]todennäköisyyksiä siten, että otetaan huomioon sekä ennakkotieto että havaintoaineiston informaatio. Bayesiläinen tilastotiede on jo vanha keksintö, mutta vasta tietokoneiden kehityttyä riittävästi, sen käyttö alkoi yleistyä 1900
== Bayesin kaava ==
{{Pääartikkeli|[[Bayesin teoreema]]}}
Bayesin kaava voidaan kirjoittaa seuraavasti:
:<math>P(B|A) = \frac{P(A|B)P(B)}{P(A)}</math>
missä
* P(A) on tapahtuman A [[a priori ja a posteriori|priori]]-todennäköisyys.
Rivi 32:
* malli havainnolle <math>p(\mathbf{y}|\boldsymbol{\theta})</math> ja
* priorijakauma tuntemattomalle <math>\boldsymbol{\theta}</math>.
Näistä ensimmäinen on uskottavuusfunktio <math>p(\mathbf{y}|\boldsymbol{\theta})=:L(\boldsymbol{\theta};\mathbf{y})</math>.
Priorijakauma on ennakkokäsitys tuntemattomasta <math>\boldsymbol{\theta}</math>, ja usein se riippuu hyperparametreistä <math>\boldsymbol{\eta}</math>. Priori voidaan esittää jakaumana <math>p(\boldsymbol{\theta}|\boldsymbol{\eta})</math>.
==== Konjugaattipriori ====
Jos priori valitaan siten, että se kuuluu samaan jakaumaperheeseen posteriorijakauman kanssa, sitä kutsutaan konjugaattiprioriksi. Tällöin syntyy myös laskennallisesti mukavampi tilanne. Jos havaintojen yhteisjakauma kuuluu eksponenttiseen perheeseen, aina on olemassa konjugaattipriori (Morris, 1983).<ref>{{Lehtiviite
| Tekijä = Morris, Carl N.| Otsikko = Natural exponential families with quadratic variance functions: Statistical theory| Julkaisu = The Annals of Statistics | Ajankohta = 1983| Numero = 2 | Sivut = 515-529| www = http://www.stat.harvard.edu/People/Faculty/Carl_N._Morris/NEF-QVF_1983_2240566.pdf}}</ref>
==== Epäinformatiivinen priori ====
Jos ilmiösta ei ole ennakkotietoa, prioriksi voidaan valita epäinformatiivinen priori, joka vaikuttaa mahdollisimman vähän posteriorijakaumaan.
Esimerkiksi seuraavalla tavalla:
:<math>\mathbf{y}|\boldsymbol{\theta} \sim N(\boldsymbol{\theta},\mathbf{v})</math>, missä <math>\mathbf{v}</math> tunnettu
:<math>\boldsymbol{\theta} \sim N(0,\mathbf{w})</math>, <math>\mathbf{w}</math> suuri.
Yksi vaihtoehto on myös Jeffreys'in priori:
:<math>p(\boldsymbol{\theta}) = \left[J(\boldsymbol{\theta})\right]^{1/2}</math>, missä <math>\left[J(\boldsymbol{\theta})\right]</math> on havainnon Fisher informaatio:
<math>\left[J(\boldsymbol{\theta})\right] = E\left[\left(\frac{\partial log(p(\mathbf{y}|\boldsymbol{\theta}))}{\partial\boldsymbol{\theta}}\right)^2|\boldsymbol{\theta}\right] = -E\left[\frac{\partial^2 log(p(\mathbf{y}|\boldsymbol{\theta}))}{\partial\boldsymbol{\theta}^2}|\boldsymbol{\theta}\right]</math>.
Rivi 69 ⟶ 67:
Jos posteriorijakauman laskeminen analyyttisesti ei onnistu, useimmiten siksi, että nimittäjässä on moniulotteinen integraali, joka on erittäin vaikea laskea, on olemassa myös muita keinoja. Kun havaintoja on paljon, posteriorijakaumaa voidaan approksimoida normaalijakauma-approksimaatiolla:
:<math>\boldsymbol{\theta} \sim N(\hat{\boldsymbol{\theta}},I(\hat{\boldsymbol{\theta}})^{-1})</math>, missä
<math>\hat{\boldsymbol{\theta}}</math> on suurimman uskottavuuden estimaatti ja <math>I(\hat{\boldsymbol{\theta}})</math> on havaittu informaatio(matriisi).
Muita keinoja approksimoida posteriorijakaumaa ovat numeerinen integrointi,
== Posteriorijakauman simulointi MCMC-menetelmällä ==
Rivi 83 ⟶ 81:
MCMC-menetelmiä ovat esimerkiksi Metropolisin algoritmi ja sen muunnelma [[Metropolisin ja Hastingsin algoritmi]].
Kun oletetaan, että on pystytty konstruoimaan posteriori
<math>p(\theta|y)\,\propto\,p(\theta)\,p(y|\theta)</math>,
Metropolisin algoritmin idea posteriorijakauman simuloimiseksi on seuraavanlainen:
Rivi 104 ⟶ 102:
== Mallikritiikki ==
Oleellinen osa Bayes-tilastotiedettä on mallikritiikki, ja se pohjautuu pitkälti prediktiiviseen jakaumaan <math>p(\tilde{y}|\mathbf{y})</math>.
Joitakin lähestymistapoja mallikritiikille:
* [[Herkkyysanalyysi]]
** Tehdään kohtuullisia muutoksia oletuksiin, ja katsotaan miten ne vaikuttavat posterioriin ja lopputuloksiin.
* Ristiin validointi
** Aineistosta jätetään osa pois, ja jäljelle
* Mallien vertailu
** Jos on monta vaihtoehtoista mallia, niitä voi vertailla esimerkiksi poikkeamaindeksin (DIC) avulla.
| |||