Miksi sanapeli sopii mittaamaan, mitä sanoja ihmiset tuntevat

Sanamahdista on tarkoitus tehdä väline, joka mittaa sanojen tunnettuutta: sitä, kuinka suuri osa ihmisistä tuntee sanan. Mittaus ei ole vielä käynnissä. Tässä kerrotaan, mistä menetelmä on peräisin, miksi sanapeli sopii siihen ja missä sen rajat ovat.

Tunnettuus on eri asia kuin yleisyys

Sanan yleisyys lasketaan teksteistä. Tunnettuus kysytään ihmisiltä. Englanniksi käsite on word prevalence.

Brysbaert, Mandera, McCormick ja Keuleers julkaisivat vuonna 2019 tunnettuusluvut noin 62 000 englannin sanalle. Luvut kerättiin verkkotestillä, johon osallistui yli 220 000 ihmistä. Tutkijoiden mukaan tunnettuus ennustaa sanan käsittelynopeutta vielä senkin jälkeen, kun sanan yleisyys ja pituus on otettu huomioon. Tunnettuus kertoo siis sanasta jotain, mitä yleisyys ei kerro.

Miten tunnettuutta mitataan

Testin rakenne on yksinkertainen. Vastaaja näkee kirjainjonoja ja kertoo jokaisesta, tunteeko hän sanan. Osa jonoista on tekosanoja, jotka näyttävät sanoilta mutta eivät ole. Jos vastaaja sanoo tuntevansa tekosanan, hän arvaa, ja tulosta korjataan sen mukaan.

Saman tutkimusryhmän vuonna 2016 kuvaamassa testissä sadasta kohdasta 67 oli sanoja ja 33 tekosanoja. Tulos saatiin vähentämällä tekosanojen kyllä-osuus sanojen kyllä-osuudesta.

Sanamahtiin on suunnitteilla sama rakenne pienempänä: nauha, jossa on kymmenen kohtaa, joista kolme on tekosanoja. Pelaaja vastaa jokaiseen ”tunnen” tai ”en tunne”. Tekosanoihin annetut kyllä-vastaukset kertovat, kuinka paljon vastaaja arvaa, ja sanan tunnettuusluku on tarkoitus korjata niiden perusteella.

Miksi juuri peli

Pelaajat palaavat. Kyselyyn vastataan kerran, peliä pelataan uudelleen. Sama väline voi mitata samaa sanaa viikosta toiseen ja näyttää muutoksen. Mittarin on tarkoitus näyttää uudet sanat sekä tunnettuuden nousijat ja laskijat.

Pyyhkäisy on tuottamista. Testissä sana näytetään valmiina. Laudalla pelaajan on kaivettava se itse muistista. Hylätyt pyyhkäisyt näyttävät lisäksi, mitä pelaajat tarjoavat sanoiksi. Ensimmäisessä kokeessa selvitettiin, kuinka suuri osa niistä on taivutusmuotoja, kuinka suuri osa roskaa ja kuinka suuri osa oikeita perusmuotoja.

Mittaus voidaan kohdistaa. Nauhan sanat on tarkoitus valita sen mukaan, mistä sanoista tiedetään vähiten.

Missä menetelmän rajat ovat

Pelaajat eivät ole otos väestöstä. Sanapeliin hakeutuu todennäköisesti ihmisiä, joita sanat kiinnostavat tavallista enemmän. Luku kertoo, kuinka moni vastanneista pelaajista tuntee sanan, ei kuinka moni suomalaisista. Suunnitellussa tietomallissa ei ole vastaajien taustatietoja, kuten ikää tai asuinpaikkaa, joten lukuja ei voi painottaa väestöä vastaaviksi.

Ruudukko rajaa, mitä voi löytää. Sanamahtia varten tehdyssä simulaatiossa satunnaisilla 16 ruudun laudoilla tietyn kuusikirjaimisen sanan sai muodostettua noin yhdellä laudalla 850:stä ja kahdeksankirjaimisen yhdellä 21 000:sta. Pitkä sana osuu laudalle harvoin. Siksi tunnettuusluku on tarkoitus laskea nauhasta. Pyyhkäisyt ovat vihjeitä.

Tunnistaminen ei ole osaamista. ”Tunnen” tarkoittaa, että sana on tuttu. Se ei kerro, osaako vastaaja selittää sanan tai käyttääkö hän sitä. Saman varauksen tekevät testin laatineet tutkijat: tunteminen voi olla niin ohutta, että ihminen tietää vain sanan olevan olemassa.

Tekosana ei ole täydellinen kontrolli. Suomelta näyttävä kirjainjono voi olla murresana, erisnimi tai jonkin sanan taivutusmuoto. Kuinka hyvin tekosanakontrolli toimii pelissä kerättynä, on avoin kysymys. Se on yksi opinnäyteaiheista.

Palkkio voi vääristää. Nauhaan vastaamisesta on tarkoitus antaa kolikoita, ja palkkio voi houkutella vastaamaan huolimattomasti. Siksi vastaukset on tarkoitus painottaa sen mukaan, miten vastaaja vastaa tekosanoihin.

Pieni aineisto on kohinaa. Yksittäisen sanan luku on luotettava vasta, kun vastauksia on riittävästi. Suunnitelmassa sanan alentaminen harvinaiseksi edellyttää vähintään 200 arviota sanaa kohti. Keksittyjä lukuja tai esimerkkilukuja ei julkaista.

Mitä aineistolle tehdään

Mittauksen tulokset on tarkoitus julkaista avoimena aineistona ilman pelaajatunnisteita. Silloin lukuja voi verrata esimerkiksi sanojen yleisyyteen tekstiaineistoissa. Lisenssi ja ensimmäisen julkaisun sisältö ovat päättämättä. Menetelmä kuvataan sivulla Menetelmä.

Arvostele menetelmää

Jos tutkit sanastoa tai etsit opinnäytteen aihetta ja näet menetelmässä korjattavaa, kerro se yhteydenottolomakkeella. Kritiikistä on eniten hyötyä nyt, kun mittaria vasta suunnitellaan.