Computer leert liplezen

Apparaten die automatisch liplezen, bieden de mogelijkheid om spraakherkenning te verbeteren in een omgeving met veel achtergrondruis. Het principe kan ook alleenstaand worden gebruikt. Toepassingsgebieden zijn dan: interfaces voor doven en slechthorenden, spraakreconstructies vanuit stomme of beschadigde films, of geluidloze interfaces. De Delftse promovendus Alin Chiţu onderzocht verschillende technieken

In de toekomst kunnen we met apparaten communiceren via spraak en lichaamsbewegingen. Automatische spraakherkenning door de opname en verwerking van geluid, is een van de ontwikkelingen in deze richting. Hoewel dit soort automatische spraakherkenning in sommige, beperkte toepassingen heel goed werkt, is het resultaat nog steeds sterk afhankelijk van de context, bijvoorbeeld het niveau van achtergrondruis.

Op dit moment is de rekencapaciteit van gangbare systemen dusdanig dat ze gemakkelijk kunnen omgaan met andere datastromen zoals beeld en geluid als meest belangrijke. In de nabije toekomst kunnen we systemen verwachten waar we mee kunnen communiceren via spraak en lichaamsbewegingen en die zich automatisch en transparant kunnen aanpassen aan de omgeving van de gebruiker. Dit kan bijvoorbeeld plaatsvinden door herkenning van de emotionele toestand van de gebruiker, door herkenning van de taken en herkenning van de context waarbinnen de interactie plaatsvindt.

Robuust

Automatische spraakherkenning door opname en verwerking van het geluidsignaal is een van de ontwikkelingen in deze richting. Alhoewel automatische spraakherkenning in gecontroleerde omgevingen spectaculaire resultaten heeft bereikt, is het resultaat nog steeds sterk afhankelijk van de context (bijvoorbeeld het niveau van achtergrondruis). Automatische liplezen biedt de mogelijkheid om spraakherkenning te verbeteren in omgevingen met veel achtergrondruis. Andere toepassingsgebieden, waarbij spraakherkenning als apart systeem wordt gebruikt, zijn: interfaces voor auditief gehandicapte personen, applicaties in beveiligde omgevingen, spraak reconstrueren vanuit stomme of beschadigde films, of geluidloze interfaces. Door de vooruitgang in visuele signaalverwerking is het onderzoek binnen liplezen ook gerevitaliseerd. Echter op het moment van het schrijven van deze thesis, was liplezen in afwachting van de grote sprong vooruit. In het proefschrift van Alin Chiţu worden verschillende technieken onderzocht waardoor liplezen meer robuust wordt.