I Steven Spielbergs film 2018 Ready Player One fra 2018, basert på 2011-boken av Ernest Cline, kommer folk inn i en oppslukende verden av virtuell virkelighet kalt OASIS. Det som var mest gripende med den futuristiske teknologien i denne sci-fi-filmen, var ikke VR-beskyttelsesbrillene, som ikke virker så langt unna headsetene som for tiden selges av Oculus, HTC og andre. Det var engasjementet av en følelse utenfor syn og lyd: berøring.
Karakterer hadde hansker med tilbakemeldinger som lot dem føle de imaginære objektene i hendene. De kunne oppgradere til kroppsdrakter som reproduserte kraften fra et slag til brystet eller stryket av en kjærtegn. Og likevel er kanskje disse mulighetene ikke så langt unna som vi forestiller oss.
Vi er avhengige av berøring - eller “haptisk” - informasjon kontinuerlig, på måter vi ikke engang kjenner oss igjen bevisst. Nerver i huden, ledd, muskler og organer forteller oss hvordan kroppene våre er plassert, hvor tett vi holder på noe, hvordan været er, eller at en kjære viser kjærlighet gjennom en klem. Over hele verden jobber nå ingeniører for å gjenskape realistiske berøringsopplevelser, for videospill og mer. Å delta i interaksjoner mellom mennesker og datamaskiner vil forbedre robotkontroll, fysisk rehabilitering, utdanning, navigasjon, kommunikasjon og til og med online shopping.
"I det siste har haptics vært flinke til å gjøre ting merkbart, med vibrasjoner i telefonen din eller rumblepakkene i spillkontrollere, " sier Heather Culbertson, en dataforsker ved University of South California. "Men nå har det skjedd et skifte mot å gjøre ting som føles mer naturlig, som mer etterligner følelsen av naturlige materialer og naturlige interaksjoner."
Fremtiden er ikke bare lys, men strukturert.
* * *
Haptiske enheter kan grupperes i tre hovedtyper: grepbare, bærbare og berørbare. For grep, tenk joysticks. En klar applikasjon er i bruk av roboter, slik at en operatør kan føle hvor mye motstand roboten presser mot.
Ta kirurgiske roboter, som gjør det mulig for leger å operere fra den andre siden av verden, eller å manipulere verktøy som er for små eller i områder som er for stramme for hendene. Tallrike studier har vist at å legge haptisk tilbakemelding til kontrollen av disse robotene øker nøyaktigheten og reduserer vevsskader og driftstid. Personer med haptisk tilbakemelding gjør det også mulig for leger å trene på pasienter som bare eksisterer i virtuell virkelighet, mens de får følelsen av å kutte og suturere. En av Culbertsons studenter utvikler for tiden tannsimulatorer, slik at en tannlegestudents første feilaktige boring ikke er på en virkelig tann.
Ingeniører bygger systemer for å formidle realistiske berøringsopplevelser til videospill, robotkontroller og mer, med en rekke mulige bruksområder. (Med tillatelse av Knowable Magazine) Å få en følelse av hva roboten under kommandoen din gjør, ville også være nyttig for å desinfisere bomber eller trekke ut folk fra kollapsede bygninger. Eller for å reparere en satellitt uten å passe på en romvandring. Selv Disney har sett på haptiske telepresensroboter, for sikre interaksjoner mellom mennesker og roboter. De utviklet et system som har pneumatiske rør som forbinder en humanoids robotarmer med et speilsett for et menneske å fatte. Personen kan manipulere speilbot for å få den første boten til å holde en ballong, plukke opp et egg eller klappe et barn på kinnene.
I mindre skala har laboratoriet til robotikeren Jamie Paik ved Swiss Federal Institute of Technology i Lausanne (EPFL) utviklet et bærbart haptisk grensesnitt kalt Foldaway. Enheter om størrelsen og formen på en firkantet drikkebane har tre hengslede armer som dukker opp, og møtes i midten. (Stefano Mintchev, en postdoc på laboratoriet, kaller dem “miniatyriserte origami-roboter.”) Et lite plasthåndtak kan festes på toppen der armene møtes, og skaper en joystick som fungerer i tre dimensjoner - og armene skyver tilbake for å gi brukeren en følelse av gjenstandene de skyver mot. I demonstrasjoner har teamet brukt enhetene for å kontrollere en luftdrone, klemme virtuelle objekter og føle formen til virtuell menneskelig anatomi.
Det er visse utfordringer med å ta tak i haptics som kan virke uoverkommelige - for eksempel, hvordan gir du en følelse av vekt når du griper og løfter vektløse digitale objekter? Men ved å studere nevrovitenskap, har ingeniører klart å finne noen få løsninger. Culbertson og kollegene utviklet et apparat kalt Grabity for gravitasjonsproblemet. Det er en slags skrustikke som man tar tak i og klemmer for å hente virtuelle objekter. Bare ved å vibrere på visse måter, kan det gi illusjonen av vekt og treghet.
Men "å lure hjernen går bare så langt, " sier Ed Colgate, en maskiningeniør ved Northwestern University som jobber i haptikk. Noen ganger er det lett å bryte haptiske illusjoner. I det lange løp trenger ingeniører å gjenskape fysikken i den virkelige verden - vekt og alt - så trofast som mulig. "Det er et veldig vanskelig problem."
Den gripbare haptiske enheten kalt Grabity (bunn) gir illusjonen av vekt og treghet til håndtering av virtuelle objekter. Her etterligner det følelsen av en blokk (topp). (Med tillatelse fra Stanford Shape Lab) Grepbare enheter utnytter ofte kinestetiske opplevelser: følelser av bevegelse, posisjon og kraft som er formidlet av nerver ikke bare i huden vår, men også i musklene, senene og leddene våre. Bærbare apparater er derimot vanligvis avhengige av følbare følelser - trykk, friksjon eller temperatur - formidlet av nerver i huden.
En rekke eksperimentelle enheter bæres på fingeren, og presser mot fingertoppen med ulik grad av styrke når man berører objekter i virtual reality. Men en nylig enhet gir samme slags tilbakemelding uten å dekke til fingerputen. I stedet er den slitt der man kan ha på seg en ring og inneholder motorer som strekker huden under. Det holder fingrene frie til å samhandle med gjenstander fra den virkelige verdenen mens de fremdeles føler "virtuelle" objekter - en nyttig funksjon for både spill og seriøse applikasjoner.
I en test kunne en person holde et ekte stykke kritt og føle press mens de “skrev” på et virtuelt tavle i kraft av en haptisk illusjon: Da de samtidig så krittet komme i kontakt med tavlen og følte at huden deres var strukket, ble de lurt å føle press i fingertuppene.
Mer ofte kommuniserer bærbare haptiske enheter gjennom vibrasjoner. For eksempel jobber Culbertsons laboratorium på et armbånd som guider brukeren ved å vibrere i retningen han eller hun trenger å vri. Og NeoSensory, et selskap grunnlagt av Stanford nevrovitenskapsmann David Eagleman, utvikler en vest med 32 vibrasjonsmotorer som ble vist frem i en episode av HBOs sci-fi-serie Westworld der det tilsynelatende hjalp karakterer å identifisere retningen for å nærme seg fiender.
En av vestens første virkelige bruksområder vil være å oversette lyd til følbar sensasjon for å gjøre talespråk mer forståelig for mennesker med dyptgående eller fullstendig hørselstap. Eagleman jobber også med å oversette aspekter av den visuelle verden til vibrasjoner for mennesker som er blinde. Andre tiltak involverer mer abstrakt informasjon som markeds- og miljødata - i stedet for et rutenett som indikerer hvor ting er romlig, kan et komplekst mønster av vibrasjoner indikere prisene på et dusin aksjer.
Dette bildet viser utformingen av et mykt, fleksibelt hudlignende materiale som samsvarer med kroppen, for bærbare haptiske enheter. Sensor- og aktuatorlag skilles med silikonlag. I sensorsjiktet oversetter blyzirkonat titanat (PZT) kraft til elektrisk ladning for tilbakemelding til datamaskinen. Aktuatorlaget inneholder små lommer som kan fylles med luft mange ganger i sekundet for vibrerende tilbakemeldinger til brukeren. (Tilpasset fra HA Sonar et al / Frontiers in Robotics and AI 2016) Vibrerende motorer kan være klumpete, så noen laboratorier utvikler mer komfortable løsninger. Paiks laboratorium på EPFL jobber med en myk pneumatisk aktuatorhud (SPA) - et ark med fleksibel silikon som er mindre enn 2 millimeter tykt, og som er oversvømmet med ørsmå luftlommer. De kan blåses opp og tømmes uavhengig dusinvis av ganger i sekundet og fungerer derved som piksler - eller "taxeller" for taktile elementer - og skaper et sensasjonsgitter. De kan gi følelser av den typen draktene tilbyr i Ready Player One, eller tilbakemelding om plasseringen av roboter eller protesebein. SPA-hud er også innebygd med sensorer laget av en ny, korrosjonsbestandig metalllegering som gjør at den samme huden kan brukes til datamaskininngang når brukeren klemmer på den.
En enda tynnere haptisk film - mindre enn en halv millimeter tykk - er også i ferd, laget av Novasentis og laget av en ny form for polyvinylidenfluoridplast som balanserer styrke, fleksibilitet og elektrisk respons. Når filmen er lagdelt på den ene siden av et ark med fleksibelt materiale og det påføres en elektrisk ladning, trekker filmen seg sammen og bøyer den ved å legge press mot huden. Novasentis leverer nå materialet til enhetsprodusenter som legger det i hansker for virtual reality og spill.
"Du kan skille mellom vann og sand og stein, " sier Sri Peruvemba, selskapets markedsdirektør. VR-designere kan også lage mer abstrakte representasjoner, for eksempel sensasjonsleverte meldinger om tilstanden til et spill. "Vi kan lage et helt haptisk språk med vår teknologi, " sier Peruvemba.
Vibrasjoner kan produsere en annen type haptisk illusjon: følelsen av å trekke. Hvis en enhet som vibrerer frem og tilbake parallelt med hudens overflate beveger seg raskt i den ene retningen og sakte tilbake den andre veien, mange ganger i sekundet, føles det som om den trekker huden i den første retningen.
Mens de fleste bærbare benytter følbar sensasjon, kan de også bruke muskel-ledd-seneinngang fra kinestetisk følelse. Ingeniører har utviklet robot-eksoskeletter, et slags stillaser som er festet til kroppen med sensorer og motorer, som kan hjelpe lammede mennesker til å gå, gi soldater super styrke og la folk kontrollere roboter på avstand. Et laboratorium på EPFL har utviklet FlyJacket, som man bærer med armene rett ut til sidene, forbundet med stempler til midjen. Det ser ikke spesielt flua ut, men det gjør at folk kan kontrollere fly av droner ved å bevege armene og vri torso. Når dronen kjenner et vindkast, gjør du det også.
Den siste kategorien av enheter er berørbare grensesnitt, for eksempel smarttelefonskjermer som gir et lite støt når du klikker på en app. Culbertsons arbeid skyver utover enkle humper og summinger. Hun simulerer tekstur på overflater ved å bruke det hun kaller “datadrevet haptikk.” I stedet for å skrive kompliserte algoritmer eller fysikkmodeller for å generere vibrasjoner som simulerer virkelige, registrerer hun hva som skjer når noe dras over forskjellige stoffer eller andre materialer i forskjellige hastigheter og trykk. Så har hun et overflatespill av vibrasjonene når en penn dras over den. Programmer kan omfatte netthandel og virtuelle museer.
En berørbar haptisk enhet lar brukeren "føle" forskjellige strukturer avhengig av hvilke vibrasjonsmønstre som overføres gjennom pennen. Vibrasjonene endres avhengig av hastigheten pennen beveges med, eller hvor mye trykk brukeren bruker. Målet er å realistisk simulere overflatenes ujevnhet, hardhet og tøffhet. (Med tillatelse av Heather Culbertson) Berørbare overflater tillater også typer illusjoner. For eksempel, sier Culbertson, hvis du spiller av lyden til en knappeklikking når du banker på et bilde av en knapp, blir det til å føles som om knappen faktisk klikker. Hvis du ser ut til at skjermen deformeres under fingeren, kan det føles mykere. Folk konstruerer oppfatning ved å binde sammen syn, lyd, berøring, smak og lukt - og som Culbertson sier: "Det er veldig enkelt å lure hjernen din hvis du har et misforhold mellom sansene dine."
Realistiske haptics for VR kan for alltid være klønete og dyre. Eller teknologi kan etter hvert gjøre at Ready Player One ser sjarmerende ut. I begge tilfeller, som vi kan se med babytrinn som gjennomgripende rumling av videospillkontrollere og uendelige vibrerende telefoner og klokker, er haptiske enheter her for å bli, og tilfører en ny dimensjon til våre digitale liv.
Knowable Magazine er en uavhengig journalistisk innsats fra årlige anmeldelser. 
