Project 5: Onderwijs
Samen met partners als SpaceBuzz en Zwijsen onderzoeken we hoe we virtual reality effectief kunnen inzetten in het onderwijs. Gezien de snelle veranderingen in onze maatschappij en de belangrijke rol van technologie in dit proces, is het huidige onderwijssysteem verouderd en hard aan verandering toe. Het gebruik van kunstmatige intelligentie in combinatie met virtual reality omgevingen kan een oplossing bieden, vooral in de belichaming van een virtuele leraar.
Virtual reality in het onderwijs
Partners
Het project
Het gedrag en zelfs het uiterlijk van de virtuele leraar kan worden aangepast aan de interesses van de leerling. In het project richten we ons op het verbeteren van de technologie van avatars en om ze zo natuurlijk mogelijk te maken. Dit betekent dat we werken aan natuurlijke spraak en gedrag, gezichtsbewegingen en passende uitdrukkingen bij een dialoog.
In dit project onderzoeken we het gebruik van een virtuele leerkracht in het basisonderwijs. We voeren studies uit op basisscholen naar de verschillende aspecten van de belichaming van een virtuele leerkracht, zoals spraak, karakteristieken en contextuele relevantie. In een onderzoek naar computer gegenereerde spraak in het Nederlands hebben we verschillende Nederlandse stemmen getest die zijn gemaakt met verschillende hoeveelheden trainingsdata. We evalueerden de spraakkwaliteit van de tekst-naar-spraak (TNS) modellen en evalueerden ook in hoeverre de kwaliteit van de stem invloed heeft op hoe goed studenten informatie onthouden. In een andere studie onderzochten we de effecten van het combineren van TNS-stemmen met VR-agents, waarbij we ons richtten op de perceptie en het geheugen van studenten. Hebben leerlingen een betere perceptie van TNS-stemmen als ze worden gecombineerd met een VR-agent?
In ons meest recente VR-onderzoek zijn we dieper ingegaan op de effecten van inhoudelijk afgestemde VR-omgevingen en agent outfits op leerresultaten en leerervaring. Presteren studenten beter als de uitrusting van de VR-agent en de omgeving zijn afgestemd op de leerinhoud? Momenteel breiden we ons onderzoek uit om te onderzoeken hoe de interactiviteit van de agent de leerresultaten en de algehele ervaring van studenten beïnvloedt, met als doel zowel de educatieve efficiëntie als de betrokkenheid van studenten in VR-omgevingen te optimaliseren.
Links: Standaard klaslokaal, ter illustratie van de niet-inhoudelijke omgeving en de uitrusting van de agent.
Rechts: VR-omgeving met ruimtethema en agent-outfit, passend bij de educatieve inhoud over astronomie. Dit benadrukt de rol van thematische consistentie in VR-leerbetrokkenheid.
Hoe kunnen we het onderwijssysteem ondersteunen met interactieve avatars?
Wetenschappelijke publicaties en conferenties
2023
- Dai, L., Kritskaia, V., van der Velden, E., Vervoort, R., Blankendaal, M., Jung, M. M., Postma, M., & Louwerse, M. M. (2023). Text-to-Speech and Virtual Reality Agents in Primary School Classroom Environments. [Manuscript submitted for publication]. Department of Cognitive Science & Artificial Intelligence, Tilburg University.
- Dai, L., Kritskaia, V., van der Velden, E., Jung, M. M., Postma, M., & Louwerse, M. M. (2023). Evaluating the usage of Text-To-Speech in K12 education. In Proceedings of the 2022 6th International Conference on Education and E-Learning (pp. 182–188). Association for Computing Machinery. https://doi.org/10.1145/3578837.3578864.
2022
- Dai, L., Jung, M. M., Postma, M., & Louwerse, M. M. (2022). A systematic review of pedagogical agent research: Similarities, differences, and unexplored aspects. Computers & Education, 190, Article 104607. https://doi.org/10.1016/j.compedu.2022.104607.
2021
- Dai, L. (2021). Photogrammetry-based VR interactive pedagogical agent for K12 education. In Proceedings of the 2021 International Conference on Multimodal Interaction (pp. 793–796). Association for Computing Machinery. https://doi.org/10.1145/3462244.3481280.
