En eterisk lyd, med en jevn, rangert melodi som blander seg gjennom tastene, og et mykt trykk for en takt, fyller et laboratorium ved Toronto's Holland Bloorview Kids Rehabilitation Hospital. Gjøres mulig med bærbare sensorer på et barns fingertupp og bryst som sporer puls, pust, temperatur og svette, og en algoritme som tolker dataene som lyd, er den elektroniske utgangen ikke virkelig dansbar. Men endringene i tempo, melodi og andre musikalske elementer gir i stedet innsikt i barnets følelser.
Dette er biomusikk, et emosjonelt grensesnitt som sporer fysiologiske signaler assosiert med emosjonelle tilstander og oversetter dem til musikk. Oppfunnet av et team ved Holland Bloorview, ledet av biomedisinske ingeniører Stefanie Blain-Moraes og Elaine Biddiss, er hensikten å tilby et ekstra kommunikasjonsmiddel til mennesker som kanskje ikke uttrykker sin emosjonelle tilstand lett, inkludert, men ikke begrenset til, barn med autismespekter lidelse eller med dyptgående intellektuelle og flere funksjonshemninger. I en studie fra 2016 i Frontiers in Neuroscience, registrerte Biddiss og hennes coauthors biomusikken til 15 barn rundt 10 år - begge barn med autismespekterforstyrrelse og vanligvis utvikler barn - i angstinduserende og ikke-angstinduserende situasjoner og spilte det tilbake til voksne for å se om de kunne fortelle forskjellen. De kunne. (I bunnen av studien kan du laste ned og lytte til biomusikken.)
"Dette er barn som kanskje ikke er i stand til å kommunisere gjennom tradisjonelle stier, noe som gjør ting litt vanskelig for omsorgspersonene deres, " sier Stephanie Cheung, doktorgradskandidat i Biddiss 'laboratorium og hovedforfatter av studien. "Tanken er å bruke dette som en måte for omsorgspersoner å lytte til hvordan signalene endrer seg, og på den måten å bestemme følelsen av personen de kommuniserer med."
Mens Biddiss ’studier benyttet den atmosfæriske lyden, trenger den ikke være en spesiell type musikk, påpeker Blain-Moraes, en adjunkt i fysisk og ergoterapi som driver Biosignal Interaction and Personhood Technology Lab ved McGill University. Blain-Moraes, en tidligere doktorgradsstudent med Biddiss ved Holland Bloorview, som hjalp til med å oppfinne det originale systemet. Blant hennes endringer er alternativet å bruke forskjellige "lydskins" som bruker støy som brukeren synes er hyggelig. Målet er ikke å designe en teknologi for en enkelt gruppe.
"Vi ser mye etter det vi kaller resonansdesign, " sier hun. "Vi prøver ikke å designe for en tilstand, vi ser etter å utforme for et behov, og ofte resonerer disse behovene på tvers av forhold." Dette kan være en omsorgsperson som ønsker mer informasjon fra pasienten sin, eller en mor som ønsker en alternativ måte å overvåke en baby i et annet rom. Det kan gjelde et individ som ønsker å spore sin egen følelsesmessige tilstand, eller noen med en aldrende forelder som har blitt mindre i stand til å uttrykke seg selv.
I opprinnelig tilstand inneholdt teknologien en fingertuppsensor som sporet hjertefrekvens, hudtemperatur og elektrodermal aktivitet (svette). Disse kom til uttrykk henholdsvis i takt, tangent og melodi av musikken. En ekstra brystbelte sporet brystutvidelsen, som ble integrert i musikken som en slags susende lyd. Hver av disse fysiologiske egenskapene kan endres når en person føler seg engstelig: Perspirasjon, hjerterytme og respirasjon øker, mens blodkarene trekker seg sammen, noe som får hudtemperaturen til å synke.
Men det er fremdeles mange hinder å overvinne, teknologisk og ellers. Ideelt sett er systemet mindre påtrengende. Blain-Moraes implementerte en metode for å estimere puste basert på mengden blod i fingeren, for å erstatte brystbåndet, og plasserte andre sensorer i et FitBit som armbånd. Å montere det hele i et forbrukerprodukt som en Apple Watch, selv om det ikke er utenkelig, vil kreve mindre, bedre sensorer enn vi har tilgjengelig nå.
"Det er et viktig skille du må gjøre mellom endringer i kroppen din som opprettholder homeostase og endringer i kroppen din som er spesifikke for emosjonelle og mentale tilstander, " sier Blain-Moraes. "Du trenger sensorer som er følsomme nok til å kunne plukke opp disse endringene - og de har en tendens til å være mye mindre og raskere - som er relatert til fysiologiske, mentale og emosjonelle tilstander."
Så er det de vitenskapelige utfordringene. Å oppdage angst så ut til å virke, sammenlignet med en avslappet tilstand. Men hvordan ville teknologien klare seg når man sammenligner angst med spenning, to tilstander som har mange av de samme fysiologiske signalene, enn si komplekse og overlappende følelser? Det kan hjelpe å bruke situasjonens kontekst, men prosessen blir ytterligere komplisert av brukerne - barn med autismespekterforstyrrelse viser ikke alltid de samme fysiologiske signalene, noen ganger viser økt hjerterytme i tilstander som ikke er angst, og viser et smalere utvalg av elektrodermal aktivitet og forskjellige hudtemperaturresponser.
"Biomusikk- og sonifikasjonsteknologier er en interessant tilnærming til å kommunisere emosjonelle tilstander, " sier Miriam Lense, en klinisk psykolog og forskningsinstruktør ved Vanderbilt University Medical Center i Program for Music, Mind and Society. "Det gjenstår å se hvor godt denne teknologien kan skille tilstander som har overlappende fysiologisk effekt - for eksempel, både spenning og angst involverer økt opphisselse - så vel som blandede og svingende tilstander. I forskjellige populasjoner og for forskjellige individer kan det være forskjeller i hvordan stater manifesteres fysiologisk. "
Til slutt, og mest problematisk, er det etiske dilemmaer. Det biomusikken gjør er å kringkaste veldig personlig informasjon - ens følelsesmessige tilstand - offentlig. I mange av brukssakene har ikke de aktuelle personene mulighet til å kommunisere samtykke. Og når en person ikke er i stand til å bekrefte nøyaktigheten av den informasjonen - si at de faktisk føler seg engstelig - kan det hende at personen ikke kan rette opp en misforståelse.
"Det er som med mange etiske spørsmål, det er ikke en rettighet eller det er ikke noe galt, " sier Biddiss. "Det kan også betraktes som galt å nekte en person en kommunikasjonsvei med sine kjære."
I verste fall kan dette spille ut i en tilbakemeldingssløyfe med pinlig biomusikk. En gang, under et foredrag, hadde Blain-Moraes på seg et biomusikksystem. Da hun ble spurt et vanskelig spørsmål, intensiverte biomusikken seg, noe som fikk alle til å le, noe som gjorde henne flau, så den forsterket seg ytterligere, og alle lo mer - og så videre.
Til tross for disse problemene, biomusikk utvikler seg som en teknologi. Det er enkelt å tolke og krever ikke udelt visuell oppmerksomhet. Blain-Moraes 'team på McGill jobber mot en app, med følgesensorer. De er i forsknings- og designfasen, sier hun, og deler prototyper med omsorgspersoner og pasienter med demens eller autisme for å sikre at det er en deltakende prosess. I en tidligere studie i Augmented and Alternative Communication av Blain-Moraes, Biddiss og flere andre, så foreldre og omsorgspersoner på biomusikk som et kraftig og positivt verktøy, og kalte det forfriskende og humaniserende.
"Dette er egentlig ment å være et allestedsnærværende verktøy, som kan brukes til å gjøre folk mer bevisste på følelsene sine, " sier Blain-Moraes.
