Wikipedia:Merkityt versiot/Arviointitasojen muutos 2018

Tälle sivulle on koottu lyhyt selostus seulonnassa käytetyistä arviointitasoista ja niiden ongelmista. Lisäksi tähän on koottu selostusta siitä mitä muutoksia voitaisiin tehdä.

Nykyiset arviointikategoriat

muokkaa

Tällä hetkellä käytössä on yksi arviointikategoria jossa on kolme eri arvoa:

  1. silmäilty
  2. kunnossa
  3. hyvin lähteistetty

Ongelmat

muokkaa

1.) On epäselvää mitä arvioidaan

muokkaa

Käyttäjät arvioivat ristiin sekä sivun muutoksia, että koko sivun sisältöä. Ei ole myöskään mitään sovittuja sääntöjä siitä milloin mitäkin arvoa käytetään. Osa muokkaajista asettaa sivun tilaksi aina "silmäillyn", koska lomaketta tarkastellessaan he ovat silmäilemässä muutosta. Toiset taas arvoivat sivun tilaksi "hyvin lähteistetty", koska muokkaus oli hyvin lähteistetty jne. Kolmannet puolestaan käyvät koko sivun sisällön läpi ja merkitsevät sen lopputuloksen.

Ratkaisu: Muutetaan arviointikäyttöliittymää siten, että arviointitasojen valinta näkyy pelkästään sivun lopussa. Muutokset -näkymässä puolestaan olisi pelkästään vaihtoehdot hyväksy ja hylkää. Lisäksi kirjoitetaan ohjeet siitä miten arviointi pitäisi tehdä.

  • helppo ja pystytään tekemään itse

2.) Arviointi ei muista valintoja

muokkaa

Seulonta ei muista "hyvin lähteistetty" valintoja vaan seuraavalla arviointikerralla ehdotettu arvo on "kunnossa".

Ratkaisu: muutetaan asetuksia siten, että systeemi muistaa valinnat.

  • helppo ja vaatii pyynnön asetusmuutoksesta phabricatorissa

3.) Seulonnan arviointadataa ei saada hyödynnettyä

muokkaa

Työkalut eivät tue merkittyjen versioiden keräämää dataa joten sitä ei pystytä hyödyntämään seulonnan ulkopuolella. Käytännön esimerkki tästä on se, että tällä hetkellä ei pystytä Petscanilla hakemaan luokista tietylle arviointitasolle arvioituja artikkeleita.

Ratkaisu: tehdään botti joka tallentaa viimeisimmän arvioinnin tiedot artikkelissa olevaan mallineeseen. Malline luokittelee artikkelit siihen tallennettujen tietojen perusteella ja näitä luokituksia voi käyttää työkaluissa.

  • vaatii botin ja bottiajon. Joudutaan tekemään itse.

Ratkaisu 2: käytetään luokitteluun flaggedpages.fp_quality arvoa joka saa numeron 0-3. Arvon perusteella koodi lisäisi artikkeliin seurantaluokan. Tässä 0 = stable, 1=quality ja 2=prestige. Fiwikin nykyconffeilla arvot ovat 0/1.

Kysymyksiä

muokkaa
 
Akselit kuvassa ovat:
Accuracy: Unapproved, Spot checked, Accurate, Well sourced, Featured
Depth: Unapproved, Basic, Moderate, High, Featured
Readability: Unapproved, Acceptable, Good, Concise, Featured

Jos ollaan muuttamassa systeemiä, niin voitaisiin samalla miettiä sitä mitä halutaan mitata. Käytännössä merkityt versiot mahdollistaa useampiuloitteisen tiedon tallentamisen kuin pelkästään nyt käytetyt silmäilty, kunnossa ja hyvin lähteistetty.

Toinen ajatus on, että yksi tallennettu tieto voisi olla, että käyttäjä voisi merkitä miten hän on käynyt artikkelin läpi. Asetettava arvo voisi olla tällöin silmäilty, yhden ihmisen tekemä vertaisarviointi, monen ihmisen tekemä vertaisarvioiti (jne). Tämä merkintä näkyisi artikkelin historiasivulla eri väreinä (vrt nykyinen silmäillyn sininen ja hyvin lähteistetyn vihreä). Tätä tietoa puolestaan voisi käyttää sen seuraamiseen mihin asti artikkelin sisältöä on käyty läpi.

Tiedettyjä yleisiä ongelmia joihin ei ole ratkaisua

muokkaa
  1. Merkityt versiot toimivat käytännössä pelkästään työpöytäpuolella. Mobiilipuolella näyttää sivuista aina uusimman version eikä seulontakäyttöliittymä toimi siellä mitenkään fiksusti.
  2. Merkittyjen versioiden kehitys on jäissä joten jos siihen haluaa koodimuutoksia, niin ne pitäisi tehdä itse.