8.9.2023
Onneksi meillä kielitaidon arvioinnissa markkinointi tulee halvaksi, kun pärjätään ilman Julia Robertsia.
Osallistuin hiljattain kiinnostavaan (ja sanomattakin selvää, että kalliiseen) koulutukseen, jossa kouluttaja Angela Verschoor heitti ohimennen ilmaan kysymyksen paljonko testin ja yhden testikysymyksen laatiminen maksaa. No, ostajan kannalta tietysti ihan liikaa ja meidän Testipisteen näkökulmasta aivan naurettavan vähän. Kahdessa eri tutkimuksessa yhden testikysymyksen hinnaksi on arvioitu 2 000 euroa ja 1 000 dollaria.
Alkoi kummasti kiinnostaa paljonko vaikka yhden kuullun ymmärtämisen testin laatiminen Testipisteessä maksaa. Olen laatinut kielitestejä vuodesta 2010 ja kokenut siirtymän kynä ja paperi -testeistä sähköisiin ohjelmiin ja edelleen adaptiiviseen testaukseen. Yritän seuraavassa listata erilaisia kulueriä, mutta jotain on saattanut unohtuakin.
Asiantuntemus
Luotettavien ja laadukkaiden kielitestien laatiminen edellyttää ehdottomasti vankkaa osaamista. Kirjallisuutta (1) voi tilata helposti verkkokaupoista, ja siitä oppii paljon, mutta syvällinen osaaminen vaatii mielestäni koulutuksiin (2) osallistumista. Hyödyllisiä sisältöjä ovat ainakin tehtävänlaadinta (puhuminen, kirjoittaminen, luetun ymmärtäminen, kuullun ymmärtäminen), tilastoanalyysi (niin klassinen testiteoria kuin item response theory), pisterajojen asettaminen ja nykyaikana adaptiivinen testaus. Suomesta emme ole tällaisia koulutuksia löytäneet, joten osallistumismaksujen lisäksi koulutuksista tulee myös matkakuluja (3). Alkuvaiheessa osaamista voi tietysti myös ostaa (4). Esimerkiksi tilastolliset analyysit ja äänitysstudion palvelut voi helposti hankkia ulkopuoleltakin, mutta pidemmän päälle se tulee kalliimmaksi kuin osaamisen hankkiminen koulutuksissa. Ei pidä myöskään unohtaa osaavaa IT-tukea (5).
Ohjelmistot ja tekniikka
Tavallisilla toimistotyökaluilla kuten Wordilla ja Excelillä pääsee alkuun. Äänitiedostojen raakaversiot voi tehdä ilmaisilla audio-ohjelmilla, mutta lopullisten kuuntelutestien äänitys vaatii studio-olosuhteita (6). Itse testitilanne on nykyään yhä useammin digitaalinen, joten tarvitaan sähköinen testiohjelmisto (7), johon liittyy yleensä käyttäjämääriin perustuva lisenssi. Nykyaikaiset testit voidaan myös räätälöidä mukautumaan kunkin osallistujan osaamisen mukaisesti. Tällaiset adaptiivisen testauksen ohjelmistot (8) vasta maksavatkin. Kun testi on sitten saatu järjestettyä ja data kerättyä, testisuoritukset analysoidaan laadullisesti ja tilastollisesti (9), ja tässäkin tapauksessa moni ohjelma maksaa. Ilmaisiakin ohjelmistoja on olemassa, karvalakkimallista jopa sofistikoituneisiin – ilmaisten tee se itse -versioiden kohdalla kaupan päälle tulee sitten iltaisin opeteltua jotain ohjelmointikieltä.
Työtunnit
Isoin rahareikä testinlaadinnassa on eittämättä palkkakulut (10). Työtunteja kuluu lukemiseen, kouluttautumiseen, tehtävän laadintaan, äänittämiseen, tehtävien siirtämiseen käytettäviin ohjelmistoihin, suoritusten pisteytykseen, paperitestien vastausten koodaamiseen Excelissä, analyysiin, pisterajojen asettamiseen, ohjelmistojen opetteluun, tietoteknisiin ongelmiin, virheiden tekemiseen ja niiden korjaamiseen. Yksin, työparin kanssa, koko tiimin kesken, isomman arvioijaraadin kanssa. Testipisteen miehitys on ohuimmillaan ollut neljä kokoaikaista työntekijää, ja luulen, että silloin mennään aivan äärirajoilla, koska on ensiarvoisen tärkeää, että syntyvää testiä katsotaan useiden silmäparien kautta. Minimimiehitys tarkoittaa myös sitä, että työssä saa olla melkoinen kymmenottelija, jos mielii hallita koko testinlaadinnan prosessin.
Joissakin tilanteissa olemme selvinneet Testipisteessä edullisesti. Kalliiden ääninäyttelijöiden (11) sijasta olemme voineet pyytää studioon lahjakkaita työtovereitamme, ja pisterajojen asettamisessa tarvittavat arvioijapaneelitkin (12) olemme saaneet koottua kokeneista opettajakollegoista. Lisäksi Testipisteellä on ollut onni pystyä tekemään tehtävien ja testikokonaisuuksien koekäyttöä (13) ilmaiseksi. Isojen pilotointien organisointiin menee tietysti työaikaa, sillä meillä yksi kuullun ymmärtämisen testi on yleensä vaatinut vähintään noin 600 opiskelijan osallistumista. Siitä voi sitten arvioida, kuinka paljon osallistujia on tarvittu Testipisteen yli 20 testipaketin kehittämisessä. On aivan huikeaa, että Testipiste-konsortion oppilaitosten eli Taitotalon, Axxellin, CareeriaPlussan ja Eiran aikuislukion opettajat ovat ryhmissään teettäneet testejämme normaalin opetuksensa lomassa!
Jakelu ja ylläpito
Työ ei lopu siihen, että testi saadaan valmiiksi. Opetussektorillakin testiä on markkinoitava (14), ja opettajien tueksi on laadittava opas tai jokin muu käyttöönottoa tukeva materiaali (15). Pelkkä testimateriaalien jakelukin käy työstä, jos käyttäjiä on liki sata. Myöhemmin testin toimivuutta pitää seurata (16) uutta dataa keräämällä ja analysoimalla, ja tarvittaessa testiä on päivitettävä.
Ei siis ole ihme, että testikysymykset kokoavaa tiedostoa tai järjestelmää kutsutaan osiopankiksi. Jokainen kysymys eli osio on todellakin kullan arvoinen. Ethän siis jätä testimateriaalia lojumaan kopiokoneen viereen, ettei kiireinen sijainen nappaa sitä opetukseensa ”hyvänä matskuna”.
Elina Stordell on kielitaidon arvioinnin ja suomi toisena kielenä -opetuksen asiantuntija. Häntä kiinnostaa etenkin laadukas ja luotettava kielitaidon arviointi sekä kielitaidon merkitys yhteiskunnassa. Vapaa-aikanaan hän ahmii dekkareita ja syö ihan liikaa salmiakkia.
Testipiste on Suomen suurin aikuisten maahanmuuttajien kielitaidon arviointikeskus. Palvelua ylläpidetään neljän pääkaupunkiseudun aikuisoppilaitoksen yhteistyönä. Koordinaattorina toimii Axxell Monikulttuurisuuskeskus ja kumppaneina CareeriaPlus, Eiran aikuislukio ja Taitotalo.
