Lukiolaiset multimodaalisen videon tulkitsijoina

Multimodaalisissa teksteissä voidaan yhdistellä kirjoitettua kieltä, kuvaa, liikettä ja ääntä. Multimodaalisista teksteistä, kuten videoista, on tullut vallitseva tapa kommunikoida. Esimerkiksi ”Some ja nuoret” -kyselyyn vastanneista 13–29-vuotiasta 88 % kertoi käyttävänsä YouTubea. Multimodaalisten tekstien tulkinta vaatii uudenlaista lukutaitoa, kun lukijan on osattava analysoida ja tulkita, miten eri ilmaisumuotojen avulla luodaan merkityksiä. Tutkimuksessamme (Kiili, Smith, Räikkönen, & Marttunen, 2021) selvitimme, miten lukiolaiset tulkitsivat rokottamista käsittelevää videota, joka oli ilmaisumuodoiltaan varsin rikas.

Tutkimukseen osallistui 404 lukiolaista (ka=17.39 vuotta) seitsemästä eri lukiosta. Opiskelijat analysoivat rokottamisesta kertovaa videota osana laajempaa nettilukutehtävää. Videossa yhdysvaltalaiset koomikot (Penn ja Teller) pyrkivät vakuuttamaan, että vanhempien tulisi rokottaa lapsensa. Video oli pituudeltaan noin puolitoista minuuttia ja se oli tekstitetty suomeksi. Video kannattaa katsoa, jotta blogissa esitetyt tulokset olisi helpompi ymmärtää.

Opiskelijoita pyydettiin ensin kirjoittamaan, mikä on videon keskeisin sanoma ja mitkä ovat tärkeimmät perustelut, joilla tätä sanomaa tuetaan. Tämän jälkeen opiskelijat valitsivat kolme tärkeintä ilmaisumuotoa, joita hyödynnettiin videon pääsanoman muodostamisessa. Valinnan he saivat tehdä viidestä vaihtoehdosta: visuaalinen, auditiivinen, tekstuaalinen, liikkeet sekä ilmeet ja eleet. Tämän jälkeen opiskelijoita pyydettiin erittelemään, miten näitä kolmea ilmaisumuotoa hyödynnettiin videon pääsanoman muodostamisessa.

Perusteltujen tulkintojen tekeminen videon pääsanomasta oli monille vaikeaa

Kun opiskelijat pohtivat videon pääsanomaa, he kiinnittivät huomiota kahteen asiaan: rokotteiden hyödyllisyyteen ja rokotteiden turvallisuuteen. Jaoimme opiskelijoiden tulkinnat rokotteiden hyödyllisyydestä neljään tasoon niiden argumentoinnin laadun perusteella. Nämä tasot on kuvattu taulukossa 1. Kuten taulukosta voidaan havaita, hieman vajaa neljännes (23,8 %) opiskelijoista tulkitsi rokotteiden olevan hyödyllisiä, ja he myös perustelivat tulkintansa relevantilla tavalla (taso 4). Kolmannelle tasolle yltäneissä vastauksissa (22,3 %) opiskelijoiden perustelut olivat epätarkkoja tai ylimalkaisia. Opiskelijat saattoivat esimerkiksi kuvata rokottamisen hyötyjä esittelevän demonstraation, mutta vastaus jäi vaille kuvailusta tehtävää päätelmää. Tason 2 vastauksista (39,9 %) puuttui joko väite tai perustelu. Jotkut opiskelijat (7,7 %) yliyleistivät esitettyä evidenssiä, kuten esimerkki ”jos et ota lapsellesi rokotusta, hän kuolee” osoittaa. Vain noin 6 % opiskelijoista ei maininnut rokotteiden hyödyllisyyttä lainkaan. 

Rokotteiden turvallisuus mainittiin hieman hyödyllisyyttä harvemmin (58,2 % vastauksista). Mielenkiintoista oli, että osa tulkinnoista oli positiivisia (38,6 %) ja osa negatiivisia (19,6 %). Positiivisissa tulkinnoissa opiskelijat tulkitsivat rokotukset turvallisiksi tai niiden ei tulkittu aiheuttavan autismia. Negatiivisissa tulkinnoissa opiskelijat ajattelivat rokotteiden aiheuttavan tai saattavan aiheuttaa autismia. Erilaisten tulkintojen syynä lienee se, että videolla koomikot leikittelivät rokotteita vastustavien tahojen väitteellä siitä, että rokotukset aiheuttavat autismia. Viestinnässä hyödynnettiin eri ilmaisumuotoja, mikä voi omalta osaltaan selittää vastakkaisia tulkintoja. Eri ilmaisumuodot voivat välittää erilaista informaatiota ja tämän informaation yhdistäminen eri tavoin voi johtaa erilaisiin tulkintoihin. Lisäksi opiskelijat voivat kiinnittää huomioita johonkin ilmaisumuotoon enemmän kuin toiseen.

Taulukko 1. Opiskelijoiden tulkintojen taso rokotteiden hyödyllisyydestä.

Visuaalisuus kytkettiin muita ilmaisumuotoja useammin argumentaatioon

Opiskelijat pitivät auditiivista (93 % opiskelijoista valitsi kolmen tärkeimmän muodon joukkkoon) ja visuaalista (91 %) ilmaisumuotoa tärkeimpinä videon pääsanoman muodostamisessa. Ilmaisumuodoista tekstit valittiin vain harvoin (7 % opiskelijoista) kolmen tärkeimmän ilmaisumuodon joukkoon. Tekstit jätettiin jatkoanalyysien ulkopuolelle.

Opiskelijoiden vastaukset, jotka tarkastelivat kolmen tärkeimmän ilmaisumuodon hyödyntämistä videon pääsanoman muodostamisesta, analysoitiin kahdessa vaiheessa. Tunnistimme ensin opiskelijoiden mainitsemat spesifit multimodaaliset elementit. Tällaisia olivat esimerkiksi objektit tai värit (visuaalinen ilmaisumuoto), puhe, musiikki tai äänenpainot (auditiivinen ilmaisumuoto), esineiden heittäminen tai siirtymät (liikkeet) sekä kehon kieli ja kasvojen ilmeet (ilmeet ja eleet). Tämän jälkeen tarkastelimme, oliko tiettyä ilmaisumuotoa edustava multimodaalinen elementti kytketty argumentointiin, videon aiheeseen eli rokotteisiin tai kommunikatiivisiin tavoitteisiin. Mikäli multimodaalinen elementti oli tunnistettu, mutta sen merkitystä ei ollut tulkittu, koodattiin valitun ilmaisumuodon tulkinta puutteelliseksi. Ilmaisumuodon tulkinta koodattiin puutteelliseksi myös silloin, kun opiskelija ei maininnut spesifiä multimodaalista elementtiä, mutta kytki ilmaisumuodon argumentointiin, videon aiheeseen tai kommunikatiivisiin tavoitteisiin.

Kuten kuvio 1 osoittaa, visuaaliset elementit kytkettiin muita elementtejä useammin videon argumentointiin tai videon aiheeseen. Tämä on ymmärrettävää, sillä videon keskeisenä elementtinä oli visuaalinen demonstraatio siitä, miten rokotukset suojaavat lapsia vaarallisilta taudeilta. Koska liikkeet olivat olennainen osa demonstraatiota, myös liikkeisiin liittyvät elementit yhdistettiin argumentointiin useammin kuin esimerkiksi auditiiviset elementit. Auditiiviset elementit, kuten puhe, yhdistettiin vain harvoin argumentointiin. Tämä oli hieman yllättävää, sillä osa keskeisistä argumenteista esitettiin puheessa.  Kun opiskelijat tulkitsivat puhetta, he kiinnittivät huomiota esimerkiksi äänenpainoihin ja kirosanojen käyttöön. Nämä elementit liitettiin yleensä kommunikatiivisiin tavoitteisiin.

Kuvio 1. Opiskelijoiden tulkinnat eri ilmaisumuodoista.

Yksilölliset erot

Taulukko 1 ja kuvio 1 osoittavat, että opiskelijat erosivat melko paljon siinä, miten he tulkitsivat videon pääsanomaa ja ilmaisumuotoja. Tämän vuoksi tarkastelimme myös tekijöitä, jotka voisivat olla yhteydessä opiskelijoiden välisiin eroihin. Havaitsimme, että mitä paremmat opiskelijoiden aiemmat tiedot rokotuksista olivat, sitä todennäköisemmin he perustelivat rokottamisen hyödyllisyyden relevantilla tavalla. Sitä vastoin aikaisemmalla tiedolla ei ollut johdonmukaista yhteyttä eri ilmaisumuotojen tulkintaan. Sukupuolella ja äidinkielen arvosanalla ei myöskään ollut systemaattista yhteyttä opiskelijoiden tekemiin tulkintoihin.

Vinkkejä opetukseen

Vaikka nuoret ovat ahkeria videoiden kuluttajia, tarvitsevat he tukea tieteellisiä aiheita käsittelevien multimodaalisten tekstien tulkintaan. Opettaja voi tukea opiskelijoita tekstien analysointia ohjaavilla kysymyksillä, joita käytimme myös tässä tutkimuksessa. Kysymysten avulla voidaan opiskelijoiden huomio suunnata erilaisiin merkityksen rakentamisen tapoihin.

Videota voidaan katsoa myös tietystä näkökulmasta esimerkiksi keskittymällä yhteen ilmaisumuotoon kerrallaan (erittely). Tämän jälkeen opiskelijat voivat tarkastella eri ilmaisumuotojen välisiä yhteyksiä ja pohtia, miten merkitykset rakentuvat eri ilmaisumuotojen vuorovaikutuksessa (integraatio). Opiskelijat voivat hyödyntää multimodaalista transkriptiota, jonka avulla he voivat analysoida eri ilmaisumuotoja systemaattisesti. Teimme multimodaalisen transkription videosta, jota opiskelijat analysoivat tutkimuksessamme. Sen voi ladata täältä.

Yhteisöllisten menetelmien käyttäminen opetuksessa on myös varsin perusteltua. Opiskelijat saattavat kiinnittää huomiota videon eri elementteihin ja tehdä erilaisia tulkintoja niistä. Tämä saa parhaimmillaan aikaan merkitysneuvotteluita, jotka ovat yhteisöllisessä oppimisessa keskeisiä. Yhteisen representaation, kuten multimodaalisen transkription laatiminen, voi helpottaa merkitysneuvotteluita.

Tutkimuksen tulokset on julkaistu (avoin julkaisu):

Kiili, C., Smith, B. E., Räikkönen, E., & Marttunen, M. (2021). Students’ interpretations of a persuasive multimodal video about vaccines. Journal of Literacy Research, 53(2), 196–218. https://doi.org/10.1177/1086296X211009296