I fjor lagde en gruppe tyske informatikere bølger ved å demonstrere en ny datarealgoritme som kunne omdanne ethvert digitalt stillbilde til kunstverk som etterligner maleriske stiler av mestere som Vincent van Gogh, Pablo Picasso og Edvard Munch. Selv om en imponerende bragd, det å bruke samme teknikk på bevegelige bilder virket skandaløst den gangen. Men nå har en annen gruppe forskere funnet ut det, raskt og sømløst produserer bevegelige digitale mesterverk, skriver Carl Engelking for Discover .
Relatert innhold
- Denne animerte filmen om Van Gogh er laget helt av oljemalerier
- Dette kunstige nevrale nettverket genererer absurde hentelinjer
I en videodemonstrasjon viser programmererne frem algoritmens kunstneriske evner ved å transformere scener fra filmer og TV-serier som Ice Age og Miss Marple til maleri-lignende animasjoner med et museklikk. Men å utvikle algoritmen var ingen liten bragd.
For å lage en så detaljert transformasjon utviklet dataforsker Leon Gatys og kollegene ved universitetet i Tübingen en dybdelæringsalgoritme som renner av et kunstig nevralt nettverk. Ved å etterligne måtene som nevroner i den menneskelige hjernen lager forbindelser, kan disse maskinlæringssystemene utføre mye mer kompliserte oppgaver enn noen gammel bærbar PC.
Slik fungerer det: når du ser på et bilde av et maleri eller ser på en film på den bærbare datamaskinen din, ser du datamaskinen din dekoder informasjonen i en fil og presenterer den på riktig måte. Men når disse bildene blir behandlet gjennom et nevralt nettverk, er datamaskinen i stand til å ta de mange forskjellige lagene med informasjon som finnes i disse filene og plukke dem fra hverandre stykke for stykke.
For eksempel kan det ene laget inneholde informasjonen om grunnfargene i van Goghs Starry Night, mens det neste tilfører litt mer detalj og tekstur, og så videre, ifølge MIT Technology Review . Systemet kan deretter endre hvert forskjellige lag hver for seg før de settes sammen igjen for å lage et helt nytt bilde.
"Vi kan manipulere begge representasjonene uavhengig av hverandre for å produsere nye, perseptuelt meningsfylte bilder." Gatys skrev i en studie publisert til prepress arXiv-serveren.
Ved å bruke dette systemet med lagbasert læring på malerier av Picasso og van Gogh, for å nevne noen, kunne forskerne utvikle en algoritme som "lærte" datamaskinen å tolke all denne informasjonen på en måte som skiller innholdet i en maleri fra sin stil. Når den forsto hvordan van Gogh brukte penselstrøk og farger, kunne den deretter bruke den stilen som et Photoshop-filter på et bilde og effektivt gjenskape den i sin ikoniske stil, skrev Matt McFarland for Washington Post . Men å bruke denne teknikken på video presenterte et helt nytt sett med problemer.
"I det siste krevde en manuell tegning av et bilde i en viss kunstnerisk stil en profesjonell kunstner og lang tid, " skriver Manuel Ruder og hans team fra University of Freiburg i sin nye studie, også publisert på arXiv. "Å gjøre dette for en enhånds videosekvens var over all fantasi."
Da Ruder og kollegene først prøvde å bruke algoritmen på videoer, klynket datamaskinen seg ut. Etter hvert innså de at programmet behandlet hver ramme av videoen som et eget stillbilde, noe som fikk videoen til å flimre uberegnelig. For å komme forbi dette problemet satte forskerne begrensninger for algoritmen som hindret datamaskinen i å avvike for mye mellom rammer, skriver Engelking. Det gjorde det mulig for programmet å slå seg til ro og bruke en jevn stil på hele videoen.
Algoritmen er ikke perfekt og har ofte problemer med å håndtere større og raskere bevegelser. Imidlertid representerer dette fortsatt et viktig skritt fremover på måter datamaskiner kan gjengi og endre video på. Mens det er i de tidlige stadiene, kan fremtidige algoritmer kanskje bruke denne effekten på videoer tatt gjennom en smarttelefon-app, eller til og med være gjengitt virtual reality-versjoner av favorittmaleriene dine, rapporterer MIT Technology Review .
Ideen om å koke ned en kunstners stil til et sett datapunkter kan rangere noen mennesker, den åpner også dørene for all ny slags kunst som aldri før ble antatt som mulig.
