Het vastleggen van gebarentaal voor de toekomst door AI en machine learning
Meer dan driehonderd gebarentalen zijn geregistreerd in de wereld. Maar ondanks de vooruitgang in Kunstmatige Intelligentie en taaltechnologie wordt slechts een klein aantal daarvan ondersteund door AI-tools en taaltechnologie. Om de automatische vertaling tussen gebarentalen en gesproken talen te verbeteren werkten taalkundige expert Mirella De Sisto, kunstmatige intelligentie specialist Dimitar Shterionov en PhD-studente Lisa Lepp aan de automatische herkenning en vertaling van gebarentaal door middel van machine learning en computationele taal benaderingen in het SignON-project. Zo kan de communicatiekloof tussen horende en dove mensen te verkleind worden.
SignOn was een 3-jarig door de EU gefinancierd project onder leiding van Dr. Shterionov dat eindigde in december 2023. Het hoofddoel van SignON was om een mobiele vertaalapplicatie te creëren. Maar afgezien van de technische en wetenschappelijke innovaties op het gebied van AI en gebarentaalvertaling, was SignON een uniek project vanwege de nauwe samenwerking met de dove gemeenschap, wat een van de eerste grootschalige projecten was die een co-creatief proces hanteerden.
'Er is geen universele gebarentaal'
Lisa Lepp legt uit hoe gebarentaal is ontstaan: "Waar dove mensen samenkomen, ontstaan gebarentalen. Er is geen universele gebarentaal: mensen van over de hele wereld gebruiken verschillende woorden, uitdrukkingen en gebaren. Daarom zijn er net zoveel verschillen in gebarentalen als in gesproken talen. Het was pas 75 jaar geleden dat wetenschappelijke interesse in gebarentaal ontstond. Het was het moment waarop onderzoekers het bestaan van gebarentaal(talen) erkenden met al hun complexiteit en nuances. Globalisering speelde daarbij ook een rol, deze zorgt voor een grotere behoefte aan eenvoudige (meertalige) communicatie en een beter begrip van elkaar wereldwijd, inclusief dove en horende mensen."
Lepp is zelf doof. Ze deelt dat ze later in haar leven doof werd: "Ik kreeg onderwijs in het horende systeem. Het was een lange reis (lacht): via mondeling praktijkonderwijs, hoger onderwijs, een bacheloropleiding Nederlandse taal en cultuur, een masteropleiding Algemene Taalkunde met een specialisatie in Gebarentalen, kwam ik uiteindelijk uit bij deelname aan dit onderzoek."
Het was pas 75 jaar geleden dat wetenschappelijke interesse in gebarentaal ontstond. Het was het moment waarop onderzoekers het bestaan van gebarentaal(talen) erkenden met al hun complexiteit en nuances.
- Lisa Lepp (l).
Gedurende de afgelopen drie jaar hebben Shterionov en De Sisto gewerkt aan het SignON-project: Sign Language Translation Mobile Application and Communication. Het doel was om een mobiele app te ontwikkelen voor automatische vertaling tussen gebaren- en gesproken (geschreven en gesproken) talen. Het richtte zich op Ierse, Britse, Nederlandse, Spaanse en Vlaamse gebarentalen en op Iers (Gaelisch), Engels, Nederlands (inclusief de Vlaamse variant) en Spaans gesproken talen. Gebarentaal heeft kenmerken die het natuurlijk onderscheiden van gesproken taal. Shterionov: "Gebarentaal wordt overgebracht door lichaams-, hand- en lipbewegingen en door gezichtsuitdrukkingen die gelijktijdig kunnen voorkomen." De Sisto: "Gesproken taal wordt geproduceerd door geluiden uit het spraakkanaal en opgevangen door oren in een reeks opeenvolgende geluiden."
Ontwikkeling technologie
Taaltechnologie voor gesproken talen is geëvolueerd op basis van kenmerken van gesproken talen. Automatische gebarentaalherkenning (SLR) wordt tegenwoordig gebruikt in sommige toepassingen, waar gebruikers gebaren voor een camera of een video uploaden en het systeem de verschillende gebaren herkent. Bovendien zijn machinevertalingstechnieken (MT) toegepast om te vertalen tussen gebaren- en gesproken talen. Echter, SLR- of MT-tools zijn verre van optimaal.
Ze stuitten ook op andere problemen. Naast gelijktijdigheid van gebaren en uitdrukkingen is het ontbreken van een officieel geaccepteerde en breed aangenomen geschreven vorm voor gebarentalen lastig. Hoe identificeer en herken je gebaren om ze te codificeren als een taal wanneer je geen schrijfnorm hebt? Het team merkte op dat het eenvoudiger (voor een computer) is om spraak (en gesproken taal) op te nemen en te verwerken. Daarnaast, net als bij veel andere taken die met AI worden opgelost, hadden ze enorme hoeveelheden data nodig. Gebarentaalherkenning, -vertaling en -synthese hebben geen toegang tot grote volumes (hoogwaardige) gegevens. Samen met de problemen van gegevensbeschikbaarheid is een andere zorg privacy. Privacy is een groot probleem bij het verzamelen van gegevens, niet alleen omdat mensen mogelijk niet herkenbaar willen zijn op camera, maar ook omdat persoonlijke kenmerken (en veel meer dan in het geval van spraak- en gesproken taalverwerking) een rol spelen bij de ontwikkeling van het model.
Mobiele applicatie
Het consortium van 17 partnerorganisaties in SignON ontwikkelde onder andere een gebarende avatar, genaamd EVA, in de mobiele applicatie. Het is een app die kan helpen bij het herkennen en vertalen (vergelijkbaar met Google Translate) tussen gebaren- en gesproken talen. Lepp: "Het kan nog geen perfecte vertaling maken, maar het kan ons nog steeds helpen, want met de [machine learning] app kun je jezelf filmen en gegevens verzamelen om de machine te voeden. Dit zal ons helpen bij het ontwikkelen van betere modellen."
Samenwerking is noodzakelijk om de juiste methodologie en technologische aanpassingen vast te stellen. We hebben veel bereikt in nauwe samenwerking met de dove en slechthorende gemeenschap. In het verleden werd er over hun hoofden heen gesproken. Dit project is uniek; het is een co-creatie.
- Mirella De Sisto
Linguïst De Sisto voegt toe dat er meer kennis nodig is over de betrokken gebarentalen. "Samenwerking is noodzakelijk om de juiste methodologie en technologische aanpassingen vast te stellen. We hebben veel bereikt in nauwe samenwerking met de dove en slechthorende gemeenschap. In het verleden werd er over hun hoofden heen gesproken. Dit project is uniek; het is een co-creatie. Ik hoop dat ons onderzoek de basis heeft gelegd voor verdere samenwerking." Inderdaad erkennen de drie onderzoekers de positieve effecten van co-creatie, wat een van de belangrijkste lessen is binnen SignON.
Toekomst
Het SignON-project werd afgerond in december, maar de onderzoekers zullen doorgaan. Lepp, met haar promotieonderzoek, streeft ernaar om het werk samen met de Nederlandse gebarentaalgemeenschap voort te zetten. "Inderdaad, in het verleden werd onderzoek van bovenaf uitgevoerd, niet vanuit de dove gemeenschap zelf. Gebarentaal was verboden in Europa, bij wet uitgesproken in Milaan, in 1880. Het was zelfs verboden om gebarentaal te gebruiken in onderwijsinstellingen tot 1980 was het belangrijkste. Onderzoek werd alleen gedaan door getrainde personen en was niet inclusief. Nu maken we deel uit van de onderzoeksgroep en werken we op gelijke voet. Ik wil bieden wat de gemeenschap nodig heeft." Lepps promotieonderzoek heeft tot doel een samenwerkings-, open en inclusief kader op te zetten dat de ontwikkeling van SL-tools en -technologie samen met de belangrijkste belanghebbenden, de dove gemeenschap, zal bevorderen. Dit zal niet alleen mogelijk maken dat het repertoire van vertaal- en tolktools wordt uitgebreid, maar ook de documentatie van gebarentaal bevorderen. "Uiteindelijk hoop ik dat we gebarentaal kunnen documenteren en toegankelijk kunnen maken voor iedereen." Lepps promotieproject, onder naam van SignUs, bevindt zich in het eerste jaar, maar heeft al de eerste stappen gezet naar het opzetten van een co-creatie netwerk tussen de onderzoekers en de dove gemeenschap.
SignUs wordt gefinancierd in het kader van het starterssubsidie-initiatief; promovendus mevrouw Lisa Lepp, promotor Dr. Grzegorz Chrupala en dagelijkse begeleiders Dr. De Sisto en Dr. Shterionov.