Cirka 500 000 amerikanere bruker amerikansk tegnspråk (ASL). For døve brukere av ASL kan kommunikasjon med de som ikke er flytende i språket, være en utfordring. Selv om de fleste døvefødte amerikanere lærer talespråk gjennom taleterapi, har noen fortsatt vanskelig for å gjøre seg forstått muntlig, eller ganske enkelt finne tegnspråk en mer flytende form for å uttrykke seg.
Nå har forskere ved Texas A&M University utviklet et bærbart apparat som "oversetter" tegnspråk til engelsk ved å føle brukerens bevegelser. Enheten, fremdeles i prototypetrinnet, kan kjenne igjen 40 ASL-skilt med 96 prosent nøyaktighet.
Systemet bruker to sensorer. Den ene er en bevegelsessensor med et akselerometer og et gyroskop, som måler brukerens hånd og armhastighet og vinkel. Ved å føle hvor brukerens hender og armer er, kan det begynne å gjette hvilket ord de kan signere. Så er det en elektromyografisk sensor, som måler det elektriske potensialet i muskelbevegelse. Den kan fortelle nøyaktig hvilken del av hendene og fingrene som beveger seg, noe som er kritisk.
"Hvis du ser på amerikansk tegnspråk ordforråd, er det tilfeller hvor hånden i bevegelse er, og så har du veldig finkornet bevegelse av fingrene, " sier Roozbeh Jafari, ingeniøren som ledet prosjektet. "Hvis du vil oppdage dem, vil du ikke kunne bruke bare håndbevegelsen."
For eksempel innebærer ordet "vær så snill" i ASL å lage sirkler over brystet med den åpne hånden. Ordet "beklager" bruker en identisk bevegelse, men hånden er lukket i en knyttneve.
Sensorene bæres på brukerens høyre håndledd. Informasjonen som samles inn sendes via Bluetooth til en bærbar datamaskin. Denne bærbare datamaskinen har en algoritme for å tolke skiltet og viser ordet på engelsk på skjermen.
Etter hvert håper Jafari å avvise behovet for den bærbare datamaskinen ved å integrere en liten datamaskin direkte i enheten. Datamaskinen kan deretter sende de engelske ordene til en annen persons telefon, slik at de kan lese hva samtalepartneren deres sier.
Det er klart, at oversetteren også må bli dyktig i langt flere tegn enn 40 for å være et levedyktig produkt. Mens det er hundrevis av ASL-skilt, ble de originale 40 skiltene valgt fordi de er vanlige og nyttige, sier Jafari. En person kan bruke dem til å si enkle, avgjørende setninger som "Jeg trenger vann." Enheten må også komme raskere - akkurat nå må brukerne ta en pause mellom ordene for å gi den tid til å oversette.
"I virkeligheten snakker ikke folk slik, " sier Jafari.
Men dette mer avanserte systemet, sier han, er en måter nedover linjen, og vil innebære mer arbeid og finansiering.
Tidligere ASL-oversettelsesteknologier har brukt kameraer for å lese bevegelser. Men disse fungerer ikke bra i lave lysforhold, sier Jafari. I tillegg er det mange som ikke liker ideen om å ha et kamera som ser på dem hele tiden.
Det er laget en rekke andre teknologier de siste årene for å hjelpe døve og hørende mennesker med å kommunisere med hverandre. En app kalt Transcense, som ble utgitt i fjor, oversetter tale fra flere personer til skrevne ord, og presenterer dem på skjermen i fargekodede bobler. Det er ment å hjelpe døve på møter eller i sosiale situasjoner, der flere foredragsholdere kan være en utfordring for selv de dyktigste leppeleserne. Et annet selskap, MotionSavvy, har jobbet med et nettbrett som tolker ASL-bevegelser og leser ordene høyt på engelsk. I Kina har forskere brukt Microsofts Kinect bevegelsesfølende utstyr for å oversette kinesisk tegnspråk til talte og skrevne ord.
Som en som lenge har jobbet med bærbare teknologier, for eksempel klokker som overvåker hjerterytmen, forstår Jafari viktigheten av komfort og estetikk. Hvis en enhet er ubehagelig og påtrengende, vil folk ikke bruke den. Den nåværende prototypen på oversettelsesenheten for tegnspråk ser ut som et medisinsk redskap, med elektroder og stropper og ledninger. Jafari vil at den endelige versjonen skal være liten og attraktiv.
"Jeg vil gjøre at hele systemet får plass i en klokke, " sier han.
