Wikipedia:Merkityt versiot/Arviointitasojen muutos 2018

Tälle sivulle on koottu lyhyt selostus seulonnassa käytetyistä arviointitasoista ja niiden ongelmista. Lisäksi tähän on koottu selostusta siitä mitä muutoksia voitaisiin tehdä.

Nykyiset arviointikategoriat

Tällä hetkellä käytössä on yksi arviointikategoria jossa on kolme eri arvoa:

1. silmäilty
2. kunnossa
3. hyvin lähteistetty

Ongelmat

1.) On epäselvää mitä arvioidaan

Käyttäjät arvioivat ristiin sekä sivun muutoksia, että koko sivun sisältöä. Ei ole myöskään mitään sovittuja sääntöjä siitä milloin mitäkin arvoa käytetään. Osa muokkaajista asettaa sivun tilaksi aina "silmäillyn", koska lomaketta tarkastellessaan he ovat silmäilemässä muutosta. Toiset taas arvoivat sivun tilaksi "hyvin lähteistetty", koska muokkaus oli hyvin lähteistetty jne. Kolmannet puolestaan käyvät koko sivun sisällön läpi ja merkitsevät sen lopputuloksen.

Ratkaisu: Muutetaan arviointikäyttöliittymää siten, että arviointitasojen valinta näkyy pelkästään sivun lopussa. Muutokset -näkymässä puolestaan olisi pelkästään vaihtoehdot hyväksy ja hylkää. Lisäksi kirjoitetaan ohjeet siitä miten arviointi pitäisi tehdä.

• helppo ja pystytään tekemään itse

2.) Arviointi ei muista valintoja

Seulonta ei muista "hyvin lähteistetty" valintoja vaan seuraavalla arviointikerralla ehdotettu arvo on "kunnossa".

Ratkaisu: muutetaan asetuksia siten, että systeemi muistaa valinnat.

• helppo ja vaatii pyynnön asetusmuutoksesta phabricatorissa

3.) Seulonnan arviointadataa ei saada hyödynnettyä

Työkalut eivät tue merkittyjen versioiden keräämää dataa joten sitä ei pystytä hyödyntämään seulonnan ulkopuolella. Käytännön esimerkki tästä on se, että tällä hetkellä ei pystytä Petscanilla hakemaan luokista tietylle arviointitasolle arvioituja artikkeleita.

Ratkaisu: tehdään botti joka tallentaa viimeisimmän arvioinnin tiedot artikkelissa olevaan mallineeseen. Malline luokittelee artikkelit siihen tallennettujen tietojen perusteella ja näitä luokituksia voi käyttää työkaluissa.

• vaatii botin ja bottiajon. Joudutaan tekemään itse.

Ratkaisu 2: käytetään luokitteluun flaggedpages.fp_quality arvoa joka saa numeron 0-3. Arvon perusteella koodi lisäisi artikkeliin seurantaluokan. Tässä 0 = stable, 1=quality ja 2=prestige. Fiwikin nykyconffeilla arvot ovat 0/1.

• vaatii koodimuutoksen merkittyjen versioiden koodiin --Zache (keskustelu) 30. tammikuuta 2018 kello 08.56 (EET)

Kysymyksiä

Akselit kuvassa ovat:
Accuracy: Unapproved, Spot checked, Accurate, Well sourced, Featured
Depth: Unapproved, Basic, Moderate, High, Featured
Readability: Unapproved, Acceptable, Good, Concise, Featured

Jos ollaan muuttamassa systeemiä, niin voitaisiin samalla miettiä sitä mitä halutaan mitata. Käytännössä merkityt versiot mahdollistaa useampiuloitteisen tiedon tallentamisen kuin pelkästään nyt käytetyt silmäilty, kunnossa ja hyvin lähteistetty.

Toinen ajatus on, että yksi tallennettu tieto voisi olla, että käyttäjä voisi merkitä miten hän on käynyt artikkelin läpi. Asetettava arvo voisi olla tällöin silmäilty, yhden ihmisen tekemä vertaisarviointi, monen ihmisen tekemä vertaisarvioiti (jne). Tämä merkintä näkyisi artikkelin historiasivulla eri väreinä (vrt nykyinen silmäillyn sininen ja hyvin lähteistetyn vihreä). Tätä tietoa puolestaan voisi käyttää sen seuraamiseen mihin asti artikkelin sisältöä on käyty läpi.

Tiedettyjä yleisiä ongelmia joihin ei ole ratkaisua

1. Merkityt versiot toimivat käytännössä pelkästään työpöytäpuolella. Mobiilipuolella näyttää sivuista aina uusimman version eikä seulontakäyttöliittymä toimi siellä mitenkään fiksusti.
2. Merkittyjen versioiden kehitys on jäissä joten jos siihen haluaa koodimuutoksia, niin ne pitäisi tehdä itse.