Nieuws > algemeen > StorySign-app helpt dove kinderen met lezen

StorySign-app helpt dove kinderen met lezen

11-12-2018 algemeen , samenleving & maatschappij , techniek & ontwikkeling

Voor dove kinderen is leren lezen lastiger dan voor hun horende leeftijdsgenootjes. Dit komt doordat zij de klanken niet aan geschreven woorden kunnen koppelen. Huawei introduceerde afgelopen week de app StorySign, die de tekst van het kinderboek ‘Waar is Dribbel?’ omzet in gebarentaal. De app heeft als doel de (voor)leesmomenten tussen ouders en hun dove kind te bevorderen.

Wereldwijd zijn er 32 miljoen dove kinderen die moeite hebben met leren lezen. Hierdoor lopen zij vaak al op vroege leeftijd een taalachterstand op. ‘Wij willen de wereld van boeken toegankelijker maken voor dove kinderen’, zegt Andrew Garrihy, Hoofd Marketing van Huawei West-Europa, ‘zodat zij samen met hun ouders gebarentaal en leesvaardigheid ontwikkelen.’

StorySign

Om dit te bereiken ontwikkelde Huawei, producent van o.a. mobiele telefoons en digitale communicatiemiddelen, de app StorySign. In deze app vertaalt het personage Star het kinderboek ‘Waar is Dribbel?’ in gebarentaal. Dit gebeurt door middel van AI (Artificial Intelligence, oftewel: kunstmatige intelligentie).

‘We hebben de exacte gezichtsuitdrukkingen van gebarentolken gekopieerd om Star tot leven te brengen’, vertelt Neil Pymer, creative director bij Aardman Animations, de studio die verantwoordelijk is voor de animatie van Star. ‘Een klus die heel nauw luistert, want we hebben het ontwikkeld voor tien talen en elke taal is anders. Mimiek is zeer belangrijk, omdat dit 70% van de gebarentaal bepaalt. Elke knik of glimlach doet er toe.’

De kunstmatige intelligentie van Huawei zorgt samen met Image Recognition (beeldherkenning) en Optical Character Recognition (herkennen van woorden) dat de app de woorden herkent en omzet in gebarentaal. Doordat het kind de woorden leest en de gebarentaal erbij ziet, leert het de woorden beter begrijpen.

Voorleesmoment

StorySign moet ouders helpen om samen met hun dove kinderen een warm en vertrouwd voorleesmoment te creëren. Volgens FODOK, Federatie voor Ouders van Dove Kinderen, is het erg belangrijk dat er meer aandacht komt voor leesbevordering. ‘Voorleeskilometers maken met dove en slechthorende kinderen zorgt voor leesplezier. En voorlezen vergroot hun greep op de wereld’, zegt Mariën Hannink van FODOK.

Ouders kunnen hun kind met behulp van de StorySign-app voorlezen uit het boek ‘Waar is Dribbel?’ door de app te openen en met hun smartphone de woorden in het boek te scannen. Het personage Star verschijnt en vertaalt de tekst naar gebarentaal. Hierbij worden de woorden die Star aan het gebaren is gemarkeerd met een kleur, in de volgorde van gebarentaal. Zo leren de kinderen de betekenis kennen van de woorden.

Geen vertaal-app

Voor het doorontwikkelen van de app en om aandacht te vragen voor het belang van voorlezen, is Huawei een grote campagne begonnen. Iedereen kan doneren via een speciale doneerpagina van StorySign. Donaties komen ten goede aan FODOK en worden besteed aan projecten om dove kinderen te helpen met hun taalontwikkeling, zoals nieuwe boekjes voor StorySign.

En die nieuwe boekjes zijn nodig, want StorySign werkt op dit moment alleen bij het boek ‘Waar is Dribbel?’. Het is dus niet zo dat je de app kunt gebruiken bij het voorlezen van andere boeken. Oftewel: StorySign is geen vertaal-app, waarmee je iedere geschreven tekst kunt omzetten naar gebarentaal. Om een ander verhaal dan Dribbel te kunnen lezen, moet je wachten totdat Huawei een nieuw boek toevoegt aan de bibliotheek van de app. Huawei zegt de bibliotheek te gaan uitbreiden, maar het is nog niet bekend wanneer en om hoeveel boeken het dan zal gaan.

Interactie blijft belangrijk

De app is een mooi voorbeeld van hoe moderne technologie kan bijdragen aan oplossingen voor verschillende problemen binnen onze samenleving. Ook is het goed dat Huawei met de ontwikkeling van de app aandacht vraagt voor de uitdagingen waar dove kinderen (en hun ouders) tegenaan lopen. Onderzoek van de NSDSK, de Nederlandse Vereniging voor het Dove en Slechthorende Kind, wijst uit dat met name de interactie tussen de voorlezende ouder en het dove of slechthorende kind voor een groter tekst- en woordbegrip zorgt. Een app als StorySign legt de nadruk eerder op het geschreven woord en het bijbehorende gebaar.

StorySign is te downloaden via de Google Play Store en via de HUAWEI App gallery, in tien verschillende talen. Naast Nederlands en Vlaams is de app ook in het Duits, Engels, Iers, Frans, Spaans, Italiaans, Zwitsers en Portugees verkrijgbaar.

In onderstaand filmpje kun je zien hoe het werkt:

Bronnen: Huawei, het PR Bureau, NSDSK en Bright

Reacties

Er zijn 4 reacties Bekijk

19/02/2019 19:49

Waarom is er geen voorbeeldfilmpje te zien?

Beantwoord

Redactie Doof

20/02/2019 09:46

Beste SC, toen we het bericht plaatsten was er alleen een promotiefilmpje in kerstsfeer beschikbaar. Om u tegemoet te komen hebben we nu een wat algemener filmpje toegevoegd.

Beantwoord

22/02/2019 00:27

Ja, dat was een wel heel algemene. Kon net in een flits zien wat vermoedelijk de vertaling voor de kinderen is. Of nee, wacht, het is natuulijk gewoon exact zoals het meestal gaat: over hoofden van kinderen en patiënten heen.

Beantwoord

Redactie Doof

22/02/2019 09:55

Beste SC,
Wat jammer om te lezen dat u steeds zo teleurgesteld bent in de content op onze website. Uit de vele positieve reacties die wij ontvangen, maken wij op dat onze website voor een grote groep mensen wél heel waardevol is. We stellen onze berichten met grote zorgvuldigheid samen en kijken altijd naar de nieuws- en informatiewaarde voor onze lezers. Hopelijk zit er ook voor u af en toe iets interessants tussen.
Met vriendelijke groet,
Redactie Doof

Beantwoord