I løpet av de siste tiårene har forskere jevnlig utviklet enheter som er ment å oversette American Sign Language (ASL) til engelsk, med håp om å lette kommunikasjonen mellom mennesker som er døve og tunghørte og hørselsverdenen. Mange av disse teknologiene bruker hansker for å fange opp bevegelsen om signering, som kan være klumpete og vanskelig.
Nå har en gruppe forskere ved Michigan State University (MSU) utviklet en hanskefri enhet på størrelse med et rør Chapstick de håper vil forbedre ASL-engelsk oversettelse.
Teknologien, kalt DeepASL, bruker et kameraenhet for å fange håndbevegelser, og deretter mate dataene gjennom en dyp læringsalgoritme, som passer den til tegn på ASL. I motsetning til mange tidligere enheter, kan DeepASL oversette hele setninger i stedet for enkeltord, og krever ikke at brukerne pauser mellom tegn.
"Dette er en virkelig ikke-påtrengende teknologi, " sier Mi Zhang, professor i elektro- og datateknikk som leder forskningen.
Zhang og teamet hans håper DeepASL kan hjelpe mennesker som er døve og tunghørte ved å tjene som en sanntidsoversetter. Det kan være spesielt nyttig i nødsituasjoner, sier Zhang, når det å vente på en oversetter kan koste dyrebare minutter. Enheten, som kan integreres med en telefon, nettbrett eller datamaskin, kan også hjelpe med å lære ASL, sier Zhang. Siden mer enn 90 prosent av døve barn blir født av foreldre som hører, er det et stort fellesskap av voksne som trenger å lære ASL raskt. DeepASL kan fungere som en digital veileder, og gi tilbakemelding på om elevene signerer riktig.
Zhang har søkt om patent og håper å ha et utstyr på markedet i løpet av et år. Fordi det er basert på rimelig teknologi - Leap Motion bevegelsessystemet selger for $ 78 - kan det være mer tilgjengelig enn tidligere innsats.
Forskerne Biyi Fang og Mi Zhang demonstrerer DeepASL. (Michigan State University) Men Christian Vogler, professor i kommunikasjonsstudier ved Gallaudet University, et universitet for døve eller hørselshemmede, er skeptisk til enheter designet for å oversette ASL, og skepsisen hans deles av mange i døvesamfunnet.
Enheter generelt ikke "oversetter" ASL, bare gjenkjenner håndsignaler og gjør dem om til et engelsk ord per tegn, sier Vogler. Dette betyr at viktig grammatisk informasjon går tapt, informasjon om en setning er et spørsmål, en negasjon, en relativ klausul og så videre. Mens DeepASL oversetter hele setninger, går noen funksjoner i ASL-grammatikk utover håndsignaler - ansiktsuttrykk brukes ofte som modifikatorer, øyenbrynheving kan gjøre en frase til et spørsmål, kroppsposisjonering kan indikere når ASL-brukeren siterer noen andre.
Så langt har “ingen av systemene vært til og med fjernt nyttige for mennesker som signerer, ” sier Vogler, og legger til at forskere ofte ser ut til å ha “veldig lite kontakt med [døve og tunghørte] -samfunnet og veldig liten ide om deres virkelige behov.”
Zhangs team testet ikke enheten på mennesker som var døve og tunghørte, men på studenter i et oversettelsesprogram for tegnspråk. Zhang understreker at DeepASL er designet for å kun muliggjøre grunnleggende kommunikasjon på dette tidspunktet, og at dette bare er et utgangspunkt. Han sier at teamet hans håper å utvide DeepASLs evner i fremtiden for også å fange ansiktsuttrykk.
"Det vil være den neste viktige milepælen for oss å nå, " sier han.
Vogler sier det er positivt at MSU-teknologien bruker dype læringsmetoder, som har hatt suksess med talespråk. Men til tross for at det ikke nødvendigvis trenger en hanske, har enheten sannsynligvis de samme fallgruvene til noe tidligere system, siden det ikke fanger ansikts- og kroppsbevegelser.
Vogler mener forskere bør gå bort fra ideen om at tegnspråkgjenkjenningsenheter virkelig kan dekke kommunikasjonsbehov for personer.
"Vi har mange alternativer for å tilrettelegge for personlig kommunikasjon, og inntil vi har noe som faktisk respekterer de språklige egenskapene til signerte språk og den faktiske kommunikasjonsatferden til signatører, vil denne innsatsen ikke komme i nærheten av å erstatte eller erstatte dem, " sier han. "I stedet må folk jobbe med faktiske samfunnsmedlemmer, og med mennesker som forstår kompleksiteten i signerte språk."
Vogler sier det ville være nyttig for tegnspråkgjenkjenningsteknologi som MSU-er å jobbe med stemmegrensesnitt som Alexa. Veksten av disse grensesnittene er en tilgjengelighetsutfordring for mennesker som er døve og tunghørte, sier han, omtrent som internett - et stort sett visuelt medium - har presentert en stor utfordring for mennesker som er blinde gjennom årene.
"Vi har foreløpig ikke en effektiv og effektiv måte å samhandle med disse stemmegrensesnittene hvis vi ikke er i stand til, eller ikke ønsker å bruke stemmen vår, " sier han. "Gjenkjenning av tegnspråk passer perfekt i denne situasjonen, og en som faktisk kan ende med å bli nyttig og bli brukt."
