Med fremskritt innen elektronikk og nevrovitenskap, har forskere vært i stand til å oppnå bemerkelsesverdige ting med hjerneimplantasjonsapparater, for eksempel å gjenopprette en sans for blinde. I tillegg til å gjenopprette fysiske sanser, søker forskere også innovative måter å lette kommunikasjonen for de som har mistet evnen til å snakke. En ny "dekoder" som mottar data fra elektroder som er implantert i hodeskallen, for eksempel, kan hjelpe lammede pasienter med å snakke med bare sinn.
Forskere fra University of California, San Francisco (UCSF) utviklet en totrinns metode for å gjøre hjernesignaler om til datasyntetisert tale. Resultatene deres, publisert denne uken i vitenskapelig tidsskrift Nature, gir en mulig vei mot mer flytende kommunikasjon for mennesker som har mistet evnen til å snakke.
I årevis har forskere prøvd å utnytte nevrale innganger for å gi en stemme tilbake til mennesker hvis nevrologiske skader hindrer dem i å snakke - som hjerneslagsoverlevende eller ALS-pasienter. Til nå har mange av disse grensesnittene mellom hjernen og datamaskiner hatt en bokstav-til-bokstav-tilnærming, der pasienter beveger øynene eller ansiktsmusklene for å uttale tankene sine. (Stephen Hawking regisserte berømt sin talesynteser gjennom små bevegelser i kinnet.)
Men disse typer grensesnitt er treg - de fleste produserer 10 ord per minutt, en brøkdel av menneskers gjennomsnittlige talehastighet på 150 ord per minutt. For raskere og mer flytende kommunikasjon brukte UCSF-forskere dype læringsalgoritmer for å gjøre nevrale signaler om til talte setninger.
“Hjernen er intakt hos disse pasientene, men nevronene - traseene som fører til armene, munnen din eller bena - er ødelagt. Disse menneskene har høy kognitiv funksjon og evner, men de kan ikke utføre daglige gjøremål som å bevege seg rundt eller si noe, sier Gopala Anumanchipalli, medforfatter for den nye studien og en forsker som spesialiserer seg i nevrologisk kirurgi ved UCSF. "Vi omgår i det vesentlige banen som er ødelagt."
Forskerne startet med høyoppløselig hjerneaktivitetsdata samlet inn fra fem frivillige over flere år. Disse deltakerne - som alle hadde normal talefunksjon - gjennomgikk allerede en overvåkingsprosess for epilepsibehandling som innebar implantering av elektroder direkte i hjernen. Changs team brukte disse elektrodene for å spore aktivitet i talerelaterte områder i hjernen da pasientene leste hundrevis av setninger.
Derfra jobbet UCSF-teamet en totrinns prosess for å gjenskape de talte setningene. Først opprettet de en dekoder for å tolke de innspilte hjerneaktivitetsmønstrene som instruksjoner for å bevege deler av en virtuell vokalvei (inkludert lepper, tunge, kjeve og strupehode). De utviklet deretter en synthesizer som brukte de virtuelle bevegelsene for å produsere språk.
Annen forskning har forsøkt å avkode ord og lyder direkte fra nevrale signaler og hoppe over det midterste trinnet i å avkode bevegelse. Imidlertid antyder en studie UCSF-forskerne publiserte i fjor at hjernens talesenter fokuserer på hvordan du kan bevege stemmekanalen til å produsere lyder, i stedet for hva de resulterende lydene blir.
"Mønstrene for hjerneaktivitet i talesentrene er spesifikt rettet mot å koordinere bevegelsene i vokalveiene, og bare indirekte knyttet til taleelydene selv, " Edward Chang, professor i nevrologisk kirurgi ved UCSF og medforfatter av den nye artikkelen, sa det i en pressemelding denne uken. "Vi prøver eksplisitt å avkode bevegelser for å lage lyder, i motsetning til direkte avkoding av lydene."
Et eksempel på hjerneimplantat-utvalg av intrakranielle elektroder av den typen som brukes til å registrere hjerneaktivitet. (UCSF) Ved å bruke denne metoden, forskere vellykket omkonstruerte ord og setninger fra hjerneaktivitet som omtrent matchet lydopptakene til deltakernes tale. Da de ba frivillige på en online crowddsourcing-plattform om å prøve å identifisere ordene og transkribere setninger ved hjelp av en ordbank, kunne mange av dem forstå den simulerte talen, selv om nøyaktigheten deres langt fra var perfekt. Av 101 syntetiserte setninger ble omtrent 80 prosent perfekt transkribert av minst en lytter ved hjelp av en 25-orders bank (denne satsen falt til omtrent 60 prosent når ordbankens størrelse fordoblet seg).
Det er vanskelig å si hvordan disse resultatene sammenligner med andre syntetiserte taleundersøkelser, sier Marc Slutzky, en nordvestlig nevrolog som ikke var involvert i den nye studien, i en e-post. Slutzky jobbet nylig med en lignende studie som produserte syntetiserte ord direkte fra cerebral cortex-signaler, uten å avkode bevegelse av vokalveiene, og han mener den resulterende talekvaliteten var lik - selv om forskjeller i ytelsesmålinger gjør det vanskelig å sammenligne direkte.
Et spennende aspekt ved UCSF-studien er imidlertid at dekoderen kan generalisere noen resultater på tvers av deltakerne, sier Slutzky. En stor utfordring for denne typen forskning er at trening av dekoderalgoritmer vanligvis krever at deltakerne snakker, men teknologien er beregnet på pasienter som ikke lenger kan snakke. Å kunne generalisere noe av algoritmenes opplæring kan tillate videre arbeid med lammede pasienter.
For å møte denne utfordringen testet forskerne enheten med en deltaker som lydløst etterlignet setningene i stedet for å snakke dem høyt. Selv om de resulterende setningene ikke var like nøyaktige, sier forfatterne at syntese var mulig selv uten vokalisert tale har spennende implikasjoner.
"Det var virkelig bemerkelsesverdig å finne at vi fortsatt kunne generere et lydsignal fra en handling som ikke genererte lyd i det hele tatt, " uttalte Josh Chartier, en medforfatter for studien og bioingeniørstudent ved UCSF. .
Bilde av studieforfatter Gopala Anumanchipalli, PhD, som holder et eksempel på en rekke intrakranielle elektroder av den typen som ble brukt til å registrere hjerneaktivitet i den aktuelle studien. (UCSF) Et annet mål for fremtidig forskning er å fortsette demonstrasjoner i sanntid av dekoderen, sier Anumanchipalli. Den nåværende studien var ment som et bevis på konsept - dekoderen ble utviklet separat fra datainnsamlingsprosessen, og teamet testet ikke sanntidshastigheten for å oversette hjerneaktivitet til syntetisert tale, selv om dette ville være det endelige målet med et klinisk apparat.
At syntese i sanntid er noe som må forbedres for at en slik enhet skal være nyttig i fremtiden, sier Jaimie Henderson, en nevrokirurg i Stanford som ikke var involvert i studien. Likevel sier han forfatternes totrinnsmetode er en spennende ny tilnærming, og bruk av dyp læringsteknologi kan gi ny innsikt i hvordan tale virkelig fungerer.
"For meg er bare ideen om å begynne å undersøke det underliggende grunnlaget for hvordan tale produseres hos mennesker veldig spennende, " sier Henderson. "[Denne studien] begynner å utforske en av våre mest menneskelige evner på et grunnleggende nivå."
