Miten onnistuimme? – viisi vinkkiä arviointitiedon tulkintaan
Miten järjestömme toiminta onnistui? Missä olimme hyviä? Missä olisi parantamisen varaa? Kun järjestötoiminnan onnistumisesta kerätään tietoa, on tärkeää osata tulkita, mitä luvut tai osallistujien esiin nostamat teemat kertovat. Tässä on viisi vinkkiä tiedon tulkitsemiseen.
1. Mittaa oikeita asioita oikeilla välineillä
Jos esimerkiksi haluat tietää, mikä vertaisryhmässä toimii ja mikä vaatii kehittämistä, tarvitset tietoa siitä, mitä tiettyjen menetelmien käytöstä seuraa. Tätä tietoa et yleensä saa pelkästään numeerisia kysymyksiä sisältävillä kyselyillä. Tarvitset myös laadullista tietoa.
Keskity mittaamaan ja arvioimaan muutamaa asiaa kerrallaan. Ennen kuin lähdet pohtimaan omia työkaluja, tutustu standardoituihin mittareihin – niiden on pitkän kehittämistyön tuloksena todettu mittaavan sitä, mihin ne on kehitetty.
2. Helpota työtäsi
Jos sinulla on käytössäsi kyselytyökalu, joka laskee esimerkiksi vastausten keskiarvot ja muita tunnuslukuja, hyödynnä sitä. Ota huomioon, että joissain kyselyissä myös en osaa sanoa -vastaus saa numeerisen arvon ja se voi vääristää tuloksia.
Laadullisten aineistojen kohdalla kannattaa hyödyntää esimerkiksi erilaisia sanapilviohjelmia silloin, kun alat jäsentää vastauksia. Näet niiden avulla jo alustavasti, mitä teemoja nousee esiin.
3. Entä, jos vastaajia on vähän?
Jos vastaajaryhmä on pieni, kannattaa kiinnittää huomiota sekä vastaajien nimettömyyteen että vastausten esittämistapaan.
Esimerkiksi Kuntoutussäätiön Artsi-toiminnan oppaassa suositellaan, että jos vastaajia on alle 30, vastausten jakauma kannattaa ilmoittaa lukumäärinä eikä prosenttisuuksina (esim. Kahdestakymmenestä toimintaan osallistuneesta 18 oli tyytyväisiä).
Silloin, kun vastaajia on vähän, keskiarvotkin voivat vääristyä ja yhdenkin vastaajan näkemys voi vaikuttaa tulokseen merkittävästi. Pienen joukon vastauksista ei myöskään kannata tehdä suuria yleistyksiä.
4. Varaa aikaa laadullisen aineiston analysoimiseen
Jos olet kerännyt arviointitietoa esimerkiksi haastattelujen avulla, sinulla voi olla monta sivua litteroitua tekstiä ja muistiinpanoja edessäsi. Niiden analysoiminen vie aikaa ja vaatii osaamista. Perinteisesti arvioinnissa laadullista aineistoa teemoitellaan ja sitten tarkastellaan kunkin teeman yleisyyttä ja sisältöjä.
Voit käyttää apuna tiedonlouhinnan ohjelmistoja tai esimerkiksi sanapilviä, mutta arvioinnissa tärkeää on tulkinta: Miksi jokin teema toistuu vastauksissa? Miksi osa käyttäjistä ei ole pitänyt palvelusta?
Isojen aineistojen keruussa ja analyysissä voi hyödyntää myös opinnäytettä tekeviä opiskelijoita, joilla on jatkuvasti tarve löytää sopivia tutkimusaiheita. Opiskelijoilla on usein myös aikaa paneutua aineistoon.
5. Kanna vastuusi aineistosta ja vastaajista
Arvioinnissa kerätty tieto on ensisijaista. Arvioijalla voi olla ennakkokäsityksiä toiminnan laadusta, mutta ne eivät saa vaikuttaa analyysiin tai tiedon esittämiseen.
Arvioinnin luotettavuutta voi lisätä dokumentoimalla tarkasti ja avoimesti, miten tietoa on analysoitu. Myös useamman arvioijan mukanaolo lisää luotettavuutta. Erityisesti laadullisen aineiston tulkintaa helpottaa, jos aineistoa voi analysoida jonkun kanssa yhdessä.
Kun analysoit yksilöiltä kerättyä palautetta tai muuta arviointitietoa, muista että vastauksen on antanut toinen ihminen. Arvioinnista ei saisi olla haittaa kenellekään. Mieti, miten saat vastaajien nimettömyyttä suojeltua esimerkiksi silloin, kun haluat nostaa arviointiraporttiin heidän kommenttejaan. Tämä on erityisen tärkeää pienissä organisaatioissa, joissa kaikki tuntevat toisensa.
Arviointiverstas 28.5.2024 klo 13–14
-
Tule keskustelemaan ja oppimaan yhdessä!
Vahvista arviointisosaamistasi! Tule mukaan kevään viimeiseen Arviointiverstaiseen jakamaan kokemuksia ja syventämään osaamistasi. Tapaamisessa keskustellaan osallistujien esiin nostamista arviointiasioista ja ratkotaan pulmia yhdessä.
Verstaan vetäjinä toimivat Siviksen asiantuntijat Marion Fields ja Raisa Omaheimo, jotka ovat muun muassa Vaikuttavasti.fi-sivuston takana.
Lue myös
- 1.3.2024 Vinkkinurkka Miten innostat osallistujat mukaan arviointiin?
- 22.1.2024 Vinkkinurkka Viisi vinkkiä järjestötoiminnan arviointiin ja mittaamiseen
- 7.1.2024 Vinkkinurkka Ota vaikuttavuuden käsitteet käyttöön
- 4.11.2023 Pinnalla NYT Vaikuttavasti.fi avaa järjestötyön vaikuttavuuden ja arvioinnin käsitteitä
- 25.9.2021 Pinnalla NYT Järjestöjen kyky kertoa toiminnan tuloksista korostuu tulevaisuudessa
- 23.11.2023 Vinkkinurkka Lisää laatua koulutukseen – ota uudistettu opas käyttöön!