Kielimalli
Tilastollinen kielimalli on sanajonon sanojen todennäköisyysjakauma tai sellainen todennäköisyysfunktio, joka tuottaa jakauman. Jos sanajonossa, esimerkiksi lauseessa, on sanaa, antaa kielimalli koko sanajonolle todennäköisyyden . Kielimalli voidaan määritellä myös sanan osille, kuten morfeemeille.
Todennäköisyyksien avulla kielimallit osaavat muun muassa ennustaa, miten jonkin lauseen tulisi jatkua, vastata kysymyksiin, tai muodostaa kehotteen avulla pitkiäkin tekstejä kuten keskusteluja, runoja, koodeja tai artikkeleita.[1] Ensimmäiset kielimallit (tilastollinen kielimalli, engl. Statistical Language Model, SLM) esiteltiin 1980-luvulla ja ne saivat alkunsa puheentunnistuksesta. Varhaiset kielimallit eivät sisältäneet tietoa kielen mallinnuksesta.[2]
Kielimallin perustana käytetään olemassaolevaa tekstiaineistoa eli korpusta, jonka avulla malli opetetaan. Aineisto voi olla peräisin kirjoista, sanomalehdistä, tv-ohjelmien transskripteistä tai vaikka internetistä. Mitä suurempi opetusaineisto, sitä parempi yleensä mallin ennustuskyky. Suurten opetusmateriaalien vuoksi mallit saattavat joskus oppia niistä myös ei-haluttuja asioita, kuten ennakkoasenteita.[1]
Kielimalleja voidaan käyttää erilaisissa tietokonelingvistiikan sovelluksissa, kuten puheentunnistuksessa, konekääntämisessä, luonnollisen kielen tuottamisessa, kielen jäsentämisessä, tekstintunnistuksessa tai tiedonhaussa.
Kielimallien tyyppejä
muokkaaTyyppejä:[3]
- 1-grammi-malli eli unigram-malli: saneen todennäköisyys ei riipu muista saneista
- 2-grammi-malli: vain edellinen sane määrittää seuraavan saneen todennäköisyyden
- n-grammi-malli: ottaa huomioon n − 1 edellistä sanetta
- neuroverkkokielimallit
- ehdollistettu kielimalli: ottaa kehotteen lisäksi huomioon kontekstivektorin
- Transformer, jonka kehitti Google vuonna 2017[4]
Tekniikkaa
muokkaaUsein kielimallit käyttävät liukulukuja, mutta tutkijat ovat ehdottaneet yksinkertaistamista kolmiarvoisiin (-1, 0, 1) lukuihin, jolloin laskutoimitukset ovat yksinkertaisempia. Tutkijoiden mukaan kolmiarvoiset luvut ja tarkoitukseen tehdyt FPGA-piirit mahdollistavat virrankäytön ja muistitarpeen pienentämisen.[5][6]
Joitain kuuluisia kielimalleja
muokkaa- Meta Platforms/Facebookin LLaMA [9]
- vuotanut julkisuuteen ja ajettavissa kotikoneella.
- Google AI: LaMDA (Language Model for Dialogue Applications)[10], PaLM (Pathways Language Model)
- sovelluskohde Google Bard
- PaLM 2 on Google Kääntäjän käyttämä kielimalli[11]
- DeepMind: Chinchilla
- BERT: Bidirectional Encoder Representations from Transformers (BERT)
- Googlen vuonna 2018 julkaisema ensimmäinen transformer-perustainen kielimalli
Suomen kielen kielimalleja
muokkaaLähteet
muokkaa- ↑ a b Tekoälyn uudet kielimallit hämmästyttävät | Vaasan yliopisto www.uwasa.fi. 20.9.2021. Viitattu 17.2.2023.
- ↑ Rosenfeld, Roni: Two Decades of Statistical Language Modeling: Where Do We Go From Here? 2018. Carnegie Mellon University. Journal contribution.. doi:10.1184/R1/6611138.v1. (englanniksi)
- ↑ Hauhio, Iikka: Kielimallien luovuuden kriteerit, s. 10-11. Helsingin yliopisto, 2022. Teoksen verkkoversio.
- ↑ https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
- ↑ Benj Edwards: Researchers upend AI status quo by eliminating matrix multiplication in LLMs arstechnica.com. 26.6.2024. Viitattu 27.6.2024. (englanniksi)
- ↑ Scalable MatMul-free Language Modeling arxiv.org. kesäkuu 2024. doi:10.48550/arXiv.2406.02528. Viitattu 27.6.2024. (englanniksi)
- ↑ ChatGPT: Optimizing Language Models for Dialogue openai.com. 30.11.2022. en
- ↑ https://blogs.bing.com/search/march_2023/Confirmed-the-new-Bing-runs-on-OpenAI%E2%80%99s-GPT-4
- ↑ https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
- ↑ https://blog.google/technology/ai/lamda/
- ↑ Samuel Axon: Google Translate just nearly doubled its number of supported languages arstechnica.com. 27.6.2024. Viitattu 27.6.2024. (englanniksi)
- ↑ Kotimaiseen kielimalliin tarvittiin miljardeja sanoja – nyt tekoäly osaa kirjoittaa vaikka satuja suomeksi Yle Uutiset. 20.12.2021. Viitattu 17.2.2023.
- ↑ TurkuNLP/FinBERT github.com. 28.1.2023. Viitattu 17.2.2023.
- ↑ TurkuNLP turkunlp.org. Viitattu 20.2.2023.
Kirjallisuutta
muokkaa- Lindroos, Jari & Poso, Venla & Toivanen, Ida: ”Uhka vai mahdollisuus? Transformer-mallit tekstin käsittelyssä”. Teoksessa Haapaniemi, Riku & Ivaska, Laura & Katajamäki, Sakari (toim.): Tekstit ympärillämme: Kirjoituksia tekstikäsityksistä ja -käytänteistä, s. 201–208. Tampere: Tampereen yliopisto, 2024. ISBN 978-952-03-3465-9. Vapaasti luettavissa