Datamaskiner har dominert mennesker i en-til-en-spill som sjakk i flere tiår, men å få kunstig intelligens (AI) til å samarbeide med lagkamerater er litt vanskeligere. Nå har forskere ved Googles DeepMind-prosjekt lært AI-spillere å samarbeide på lag med både mennesker og andre datamaskiner for å konkurrere i videospillet Quake III Arena i 1999.
Edd Gent på Science rapporterer at når AI bare har en motstander, gjør det vanligvis ganske bra siden det bare er å forutse de mulige bevegelsene til et enkelt sinn. Men teamarbeid er en helt annen sak fordi den inkluderer handlinger som datamaskiner ikke tradisjonelt er gode til, som å forutsi hvordan en gruppe lagkamerater vil oppføre seg. For å gjøre AI virkelig nyttig, må den lære å samarbeide med andre intelligenser.
Googles DeepMind-team forklarer i et blogginnlegg:
“Milliarder mennesker bebor planeten, hver med sine egne individuelle mål og handlinger, men fremdeles i stand til å komme sammen gjennom team, organisasjoner og samfunn i imponerende visninger av kollektiv intelligens. Dette er en setting vi kaller multi-agent læring: mange individuelle agenter må opptre uavhengig, men likevel lære å samhandle og samarbeide med andre agenter. Dette er et uhyre vanskelig problem - for med tilpasningsagenter forandrer verden seg hele tiden. ”
Multiplayer, førstepersons videospill, der team av spillere løper rundt i virtuelle verdener, vanligvis skyter pistoler eller granatoppskyttere på hverandre, er det perfekte stedet for AI å lære vanskeligheter med teamarbeid. Hver spiller må handle individuelt og ta valg som gagner laget som helhet.
For studiet trente teamet AI til å spille fange flagget på Quake III Arena- plattformen. Reglene er ganske enkle: To lag vender mot på et labyrintlignende slagmark. Målet er å fange så mange av de andre lagene virtuelle flagg mens de beskytter sine egne, og hvilket lag som fanger flest flagg på fem minutter vinner. I praksis kan ting imidlertid bli veldig kompliserte.
DeepMind-teamet opprettet 30 nevrale nettverksalgoritmer og fikk dem til å kjempe mot hverandre på en serie tilfeldig genererte spillkart. Botene scoret poeng ved å fange flagg og kappe andre spillere, sende dem tilbake til et respawn område der karakteren deres blir startet på nytt. Til å begynne med virket handlingen til botene tilfeldig. Men jo mer de spilte, jo bedre ble de. Eventuelle nevrale nettverk som konsekvent tapte ble eliminert og ble erstattet av modifiserte versjoner av å vinne AI På slutten av 450 000 kamper, kronet laget ett nevralt nettverk - kalt For The Win (FTW) - som mesteren.
DeepMind-gruppen spilte FTW-algoritmen mot det som kalles en mirror bots, som mangler AI-læringsevner, og deretter mot menneskelige team. FTW knuste alle utfordrere.
Gruppen holdt deretter en turnering der 40 menneskelige spillere ble matchet opp tilfeldig som både lagkamerater og motstandere av boten. I følge blogginnlegget fant menneskelige spillere at robotene var mer samarbeidende enn deres virkelige lagkamerater. Menneskelige spillere sammen med FTW-agenter klarte cyber-krigerne i omtrent 5 prosent av kampene.
Som de lærte, oppdaget robotene noen strategier som lenge ble omfavnet av menneskelige spillere, som å henge i nærheten av et flagg som ligger bak for å ta tak i det når det dukker opp igjen. FTW-teamene fant også en feil de kunne utnytte: hvis de skjøt sin egen lagkamerat i ryggen, ga det dem et raskt løft, noe de brukte til sin fordel.
"Det som var fantastisk under utviklingen av dette prosjektet var å se fremveksten av noen av disse atferdsnivåene på høyt nivå, " forteller DeepMind-forsker og hovedforfatter Max Jaderberg til Gent. "Dette er ting vi kan forholde oss til som menneskelige spillere."
En hovedårsak til at robotene var bedre enn menneskelige spillere, er at de var raske og nøyaktige markører, noe som gjorde dem raskere på trekningen enn sine menneskelige motstandere. Men det var ikke den eneste faktoren for suksess. I følge bloggen, da forskere bygget inn et kvart sekund forsinket reaksjonstid i robotskytterne, kunne de beste menneskene fremdeles bare slå dem rundt 21 prosent av tiden.
Siden denne første studien har FTW og dens etterkommere blitt sluppet løs på hele Quake III Arena slagmark, og har vist at de kan mestre en enda mer kompleks verden med flere alternativer og nyanser. De har også laget en bot som utmerker seg i det ultrakomplekse strategiromsspillet Starcraft II.
Men forskningen handler ikke bare om å lage bedre videospillalgoritmer. Å lære om teamarbeid kan til slutt hjelpe AI-arbeid i bilparker med selvkjørende biler eller kanskje en dag bli robotassistenter som hjelper til med å forutse kirurgenes behov, melder Science 's Gent.
Ikke alle tror imidlertid arkadestjernebotene representerer ekte teamarbeid. AI-forsker Mark Riedl fra Georgia Tech sier til New York Times at robotene er så gode i spillet fordi hver enkelt forstår strategiene i dybden. Men det er ikke nødvendigvis samarbeid siden AI-teamene mangler ett avgjørende element i menneskelig teamarbeid: kommunikasjon og forsettlig samarbeid.
Og selvfølgelig mangler de også det andre kjennetegnet til den samarbeidsvillige videospillopplevelsen: søppel som snakker det andre laget.
