Miten onnistuimme? – viisi vinkkiä arviointitiedon tulkintaan 

1. Mittaa oikeita asioita oikeilla välineillä 

Jos esimerkiksi haluat tietää, mikä vertaisryhmässä toimii ja mikä vaatii kehittämistä, tarvitset tietoa siitä, mitä tiettyjen menetelmien käytöstä seuraa. Tätä tietoa et yleensä saa pelkästään numeerisia kysymyksiä sisältävillä kyselyillä. Tarvitset myös laadullista tietoa. 

Keskity mittaamaan ja arvioimaan muutamaa asiaa kerrallaan. Ennen kuin lähdet pohtimaan omia työkaluja, tutustu standardoituihin mittareihin – niiden on pitkän kehittämistyön tuloksena todettu mittaavan sitä, mihin ne on kehitetty. 

2. Helpota työtäsi 

Jos sinulla on käytössäsi kyselytyökalu, joka laskee esimerkiksi vastausten keskiarvot ja muita tunnuslukuja, hyödynnä sitä. Ota huomioon, että joissain kyselyissä myös en osaa sanoa -vastaus saa numeerisen arvon ja se voi vääristää tuloksia.

Laadullisten aineistojen kohdalla kannattaa hyödyntää esimerkiksi erilaisia sanapilviohjelmia silloin, kun alat jäsentää vastauksia. Näet niiden avulla jo alustavasti, mitä teemoja nousee esiin. 

3. Entä, jos vastaajia on vähän? 

Jos vastaajaryhmä on pieni, kannattaa kiinnittää huomiota sekä vastaajien nimettömyyteen että vastausten esittämistapaan.

Esimerkiksi Kuntoutussäätiön Artsi-toiminnan oppaassa suositellaan, että jos vastaajia on alle 30, vastausten jakauma kannattaa ilmoittaa lukumäärinä eikä prosenttisuuksina (esim. Kahdestakymmenestä toimintaan osallistuneesta 18 oli tyytyväisiä).

Silloin, kun vastaajia on vähän, keskiarvotkin voivat vääristyä ja yhdenkin vastaajan näkemys voi vaikuttaa tulokseen merkittävästi. Pienen joukon vastauksista ei myöskään kannata tehdä suuria yleistyksiä. 

4. Varaa aikaa laadullisen aineiston analysoimiseen 

Jos olet kerännyt arviointitietoa esimerkiksi haastattelujen avulla, sinulla voi olla monta sivua litteroitua tekstiä ja muistiinpanoja edessäsi. Niiden analysoiminen vie aikaa ja vaatii osaamista. Perinteisesti arvioinnissa laadullista aineistoa teemoitellaan ja sitten tarkastellaan kunkin teeman yleisyyttä ja sisältöjä. 

Voit käyttää apuna tiedonlouhinnan ohjelmistoja tai esimerkiksi sanapilviä, mutta arvioinnissa tärkeää on tulkinta: Miksi jokin teema toistuu vastauksissa? Miksi osa käyttäjistä ei ole pitänyt palvelusta?

Isojen aineistojen keruussa ja analyysissä voi hyödyntää myös opinnäytettä tekeviä opiskelijoita, joilla on jatkuvasti tarve löytää sopivia tutkimusaiheita. Opiskelijoilla on usein myös aikaa paneutua aineistoon.

5. Kanna vastuusi aineistosta ja vastaajista 

Arvioinnissa kerätty tieto on ensisijaista. Arvioijalla voi olla ennakkokäsityksiä toiminnan laadusta, mutta ne eivät saa vaikuttaa analyysiin tai tiedon esittämiseen.

Arvioinnin luotettavuutta voi lisätä dokumentoimalla tarkasti ja avoimesti, miten tietoa on analysoitu. Myös useamman arvioijan mukanaolo lisää luotettavuutta. Erityisesti laadullisen aineiston tulkintaa helpottaa, jos aineistoa voi analysoida jonkun kanssa yhdessä. 

Kun analysoit yksilöiltä kerättyä palautetta tai muuta arviointitietoa, muista että vastauksen on antanut toinen ihminen. Arvioinnista ei saisi olla haittaa kenellekään. Mieti, miten saat vastaajien nimettömyyttä suojeltua esimerkiksi silloin, kun haluat nostaa arviointiraporttiin heidän kommenttejaan. Tämä on erityisen tärkeää pienissä organisaatioissa, joissa kaikki tuntevat toisensa.