Finnish MindStars-virtual tutor study kicks off in January 2014 / Suomalainen virtuaalitutor -tutkimus alkaa tammikuussa 2014

ENG: The study will be conducted in University of Jyväskylä Teacher Training School, called Normaalikoulu. All of the three First Grades will take part in to the study, resulting ca. 60 children participants. The children will study MindStars -multimedia books on life science topics on weekly basis for couple months. Data of user experience and learning gains will be gathered, with special focus on generalizability of learning to novel material, and the role of visual avatars character in multimedia learning. After the study, we will record children's speech during reading aloud the MindStars Book content. This corpus is then used to train the Finnish speech recognition for children populations, which will be required for developing Finnish Oral Reading Fluency component to be incorporated in to the next development version of the MindStars Books. 

******

FIN: Tutkimus suoritetaan Jyväskylän yliopiston harjoittelukoulun, Normaalikoulun, kaikilla kolmella ekalla luokalla alkaen viikolla 3/2014. Tutkimuksessa lapset opiskelevat luonnontietoa vuorovaikutteisten multimediakirjojen (6 kpl) avulla tietokoneluokassa. Tutkiaksemme opetuksen tehokkuutta testaamme lasten tiedot opetettavista aiheista ennen ja jälkeen kurssin. Ohjelman käytettävyyttä ja motivoivuutta tutkitaan lyhyillä käyttäjäkokemus arvioinnilla jokaisen kirjan lukemisen jälkeen sekä kurssin päätyttyä. Tutkimme erityisesti oppivatko lapset soveltamaan multimediakirjoista oppimiaan asioita, ja mikä vaikutus on kirjoja elävöittävällä animoidulla puhuvalla päällä oppimistuloksille ja käyttäjäkokemukselle. Kurssin jälkeen keräämme lapsilta lisäksi ääneenlukemisdataa, kehittääksemme multimediakirjoihimme puheentunnistukseen perustuvaa ääneen lukemisen automaattista harjoitusmenetelmää. Lisäksi tapaustutkimuksessa mittaamme yhden multimediakirjan lukemisen aikaiset silmänliikkeet.

A virtual tutor? / Virtuaalitutori?

ENG: Our project partner at Boulder Language Technologies (BLT; Colorado, US) have combined several language technologies including automatic speech recognition, character animation, semantic parsing, dialog modelling, and language and speech generation to produce virtual tutors capable for natural, spoken form of interaction with people. Such natural form of interaction opens up new possibilities for applications e.g. in educational domain. For example virtual tutors can assist children in learning to read by providing individualized reading aloud exercises based on speech recognition assessment of children's reading aloud performance. Or virtual tutors can stimulate students' thinking on science topics by asking open relevant questions and being able to respond meaningfully on students' responses.

During the year 2013 we at Agora Center have developed a Finnish version of BLT's latest virtual tutor application, called MindStars Books. These books are easy-to-use platform for generating and playing multimedia books. User can record audio lines, write corresponding texts, and combine these with pictures. When playing the book, the virtual tutor plays the audio lines with its mouth movements coordinated. Written words are highlighted according the avatars speech, and pictures are showed accordingly. Comprehension can be assessed with multiple choice questions. The system was piloted in Colorado with eight life science topics - these books were translated into Finnish and will be used in our first virtual tutor study during winter 2014.

Our next step is to integrate the new Oral Reading Fluency (ORF) component into the Finnish MindStars Books. With ORF the virtual tutor can assess user’s reading aloud performance on accuracy and fluency dimensions. In an encouraging manner, the tutor then informs the user which portions of text or words needs more practice. Such technology has promise for automatized method for training reading fluency.

 

******

FIN: Yhteistyökumppanimme Boulder Language Technologiesissa (BLT; Colorado, Yhdysvallat) ovat yhdistäneet useita kieliteknologioita kuten puheentunnistusta, animaatiota, semanttista jäsennintä, dialogin mallinnusta, ja kielen ja puheen syntetisointia luodakseen virtuaalitutorin, joka kykenee jopa puhuttuun vuorovaikutukseen käyttäjänsä kanssa. Luonnollinen puheeseen perustuva vuorovaikutus avaa uusia mahdollisuuksia esim. opetusteknologioille. Esimerkiksi virtuaalitutoria voidaan käyttää arvioimaan ja harjoittamaan ääneen lukemista tai tutori voi ohjata lasta pohtimaan opetettavaa aihetta esittämällä hänelle kysymyksiä ja antamalla lapselle oivaltavaa palautetta.

Vuoden 2013 aikana olemme Agora Centerissä kehittäneet suomenkielistä versiota BLT:n viimeisimmästä virtuaalitutor sovelluksesta nimeltään MindStars Books. MindStars Books on helppokäyttöinen ohjelmisto omien multimediakirjojen luomiseksi ja esittämiseksi. Käyttäjä voi yhdistää kuvia ja tekstejä ja puhetta kirjan sisällöksi. Kirjaa luettaessa tietokonehahmo esittää sisällön realistisin suunliikkein, ja hänen ääneen lukemansa sanat välähtelevät oikea aikaisesti. Myös monivalintakysymykset ovat mahdollisia. BLT:ssa ohjelmaa testattiin kahdeksalla eläinaiheisiin keskittyvällä kirjalla - nämä kirjat ovat nyt käännetty suomeksi tutkimustamme varten.

Seuraava askeleemm ohjelmistonkehityksessä on alustaa suomenkielinen ääneenlukemiskomponentti MindStars -kirjoihin. Tässä virtuaalitutor pyytää lasta lukemaan ääneen esittämänsä tekstin. Puheentunnistuksen avulla ohjelmisto tunnistaa lukemisen oikeellisuuden ja sujuvuuden, ja pyytää innostavaan sävyyn lasta lukemaan harjoitusta vaativat kohdat uudelleen. Tämänkaltainen teknologia on lupaava menetelmä lukusujuuden harjoittamiseksi.

A sample from Finnish MindStars Books / Ote suomenkielisestä multimediakirjasta