Med et kamera i hver lomme og ansiktsgjenkjenningsprogramvare innebygd i smarttelefonene og sosiale nettverkene våre, er det noen ganger lett å glemme at det ikke alltid var så enkelt å ta bilder og identifisere ansikter i dem. Enten tapt, skadet eller bare umerket, prosessen med å identifisere menneskene på gamle bilder kan være kjedelig. Men som Kurt Luther, assisterende professor i informatikk ved Virginia Tech, fant ut, kan opplevelsen også være ganske rørende.
Luther var på utstillingen "Pennsylvania's Civil War" på Pittsburghs senator John Heinz History Center i 2013 da han snublet over et bilde av sin tippoldefar onkel, Oliver Croxton. Han har beskrevet å se på bildet, som var det eldste familiebildet han hadde sett, som en reise gjennom tiden.
Allerede en historiebuffé med interesse for den amerikanske borgerkrigen, øyeblikket satt fast hos Luther og han begynte å lure på hvordan han kunne bringe den samme opplevelsen til tusenvis av andre historieentusiaster.
"Jeg begynte å lære mer om borgerkrigsfotografering, " sier Luther, "og om hvordan jeg kan identifisere [mennesker] ved hjelp av forskjellige visuelle ledetråder, som uniformen, insigniene eller fotografens studioinformasjon. I mellomtiden forsket jeg mye på crowdsourcing som informatikkprofessor, og tenkte at det kanskje er en måte å bringe disse to tingene sammen. ”
Luther snublet over et bilde av sin tippoldefar onkel, Oliver Croxton. (Med tillatelse fra Ken Turner-samlingen) Resultatet er en gratis, online programvare kalt Civil War Photo Sleuth som bruker crowddsourcing og ansiktsgjenkjenning for å hjelpe brukere med å identifisere ukjente emner i fotografier fra borgerkrigstiden. Rett før den offisielle utgivelsen i 2018 vant teknologien både toppprisen på $ 25 000 i Microsofts Cloud AI Research Challenge for sin bruk av Microsofts ansiktsgjenkjenningsprogramvare og Best Demo Award på konferansen Human Computation and Crowdsourcing 2018. Denne uken presenterer Luther på Association for Computing Machinerys Intelligent User Interfaces-konferanse i Los Angeles.
Photo Sleuth er designet med hjelp av doktorgrads- og studenterstudenter ved Virginia Tech, inkludert prosjektleder Vikram Mohanty, og i samarbeid med Virginia Techs historiavdeling bruker Photo Sleuth en mangesidig tilnærming for å foreslå de mest nøyaktige identifikasjonene.
Det første avgjørende trinnet i prosessen var å bygge en stor database med allerede identifiserte bilder. Til dags dato har Photo Sleuth omtrent 17 000 identifiserte bilder, fra nasjonale arkiver som US Military History Institute, så vel som private samlinger, som inkluderer ikke bare borgerkrigsoldater, men også sivile og annet militært personell fra tiden.
Luther sier at de var heldige som fikk støtte fra et allerede entusiastisk samfunn av borgerkrigshistorikere med tilgang til disse bildene, fordi uten en solid base av allerede identifiserte bilder ville det vært nesten umulig for programvaren å være nyttig.
"Det er ikke som i Field of Dreams, " sier Luther, "Hvis vi hadde lansert nettstedet uten bilder og bare håpet at brukere ville legge dem til, ville vi møte kaldstartproblemet der du bare ikke har noe innhold. ”
Databasen med identifiserte bilder tjener en viktig rolle i å hjelpe brukerne med å identifisere bilder de laster opp selv. Brukere merker manuelt spesielle visuelle egenskaper, for eksempel pelsfarge, ansiktshår eller militær rangering, og bildet passerer gjennom en ansiktsgjenkjenningsalgoritme for å analysere og logge unike ansiktsforhold, for eksempel avstand mellom ansikts landemerker som nese og øyne. Photo Sleuth sammenligner de visuelle dataene til det ukjente bildet med allerede identifiserte bilder i databasen og presenterer brukeren det den mener er de beste matchene basert på ansiktslikhet og informasjon hentet fra de andre metadataene, for eksempel soldater som ser ut til å være i samme enhet basert på undertegnene til uniformene deres. Mens programvaren tar bevisste skritt underveis for å begrense muligheten for en falsk identifikasjon, sier Luther at på slutten av dagen er det opp til brukeren å gjøre den endelige identifikasjonen når den blir presentert med programvarens beste gjetninger.
"Vi var veldig opptatt av å forhindre falsk identifikasjon, " sier Luther, "fordi når du snakker om internett, når du først har lagt inn litt feil informasjon der ute, er det veldig vanskelig å bli kvitt den eller endre den."
For å forsikre seg om at programvaren deres ga brukerne de best antydede identifikasjonene, utførte Luther en analyse av programvarens første måned med foreslåtte identifikasjoner ved å bruke metoder skissert i kolonner han har bidratt til Civil War historiemagasinet Military Images . Rangerer identifikasjonene fra 'definitivt ikke en kamp', 'sannsynligvis ikke en kamp', 'sannsynligvis en kamp' og 'definitivt en kamp', analysen fant at 85 prosent av de foreslåtte identifikasjonene enten var sannsynligvis eller definitivt en kamp. På konferansen denne uken sier Luther at han planlegger å synliggjøre funnene fra teamets nyeste forskning på Photo Sleuth, inkludert et funn gjort av Dave Morin, en samler av bilder fra New Hampshire Civil War, om et portrett av en uidentifisert unions andre løytnant . Photo Sleuth foreslo at mannen i portrettet var William H. Baldwin fra den første New York Engineers. Morin, som bekreftet at Baldwin var innfødt i New Hampshire, sier at han aldri ville ha funnet den aktuelle granitstatsingeniøren uten hjelp fra Photo Sleuth.
Kurt Luther er adjunkt i informatikk ved Virginia Tech. (Amy Loeffler) Forskningen understreker også komplementære styrker hos menneskelige historikere og selve programvaren. Til tross for deres beste innsats, sier Luther at programvaren bare kan gå så langt når man identifiserer riktige treff og er avhengig av brukere for å identifisere ledetråder som er i ansiktsalgoritmens blinde flekker.
"[Algoritmen] er trent for generell ansiktsgjenkjenning [på] det meste moderne bilder, " sier Luther. “AI har det tøft når et ansikt vendes til siden [i profil]. Det er et slags uvanlig portrett etter dagens standarder, men på midten av 1800-tallet var det vanlig. ”
Teamet fant også ut at brukerne var mye mer vellykket enn algoritmen alene med å identifisere andre unike produsenter som skjegg og arr.
Patrick Lewis, en borgerkrigshistoriker og administrerende redaktør av vitenskapelige ressurser og publisering ved Kentucky Historical Society som ikke har vært en del av Photo Sleuths utvikling, sier at Civil War Photo Sleuth vil være et flott verktøy for ikke bare å bringe disse glemte historiene til livet, men for å bidra til å fortsette å bygge et samarbeidsnettverk av borgerkrigshistorikere rundt om i landet.
"Jeg liker å gå inn og se på de nye Kentucky-merkede bildene, " sier Lewis. “[Og spør] hvem er menneskene som er ute og samler? Er deres individuelle samlere jeg burde være klar over, og skal jeg komme i kontakt med dem for å se om de har andre materialer som kan være av forskningsinteresse? ”
Mens han ennå ikke har fått kontakt med noen individuelle samlere gjennom Photo Sleuth, sier Lewis at Kentucky Historical Society selv har jobbet for å bygge poster over kjente online-arkiver, og at en programvare som Photo Sleuth dramatisk vil forbedre deres evne til å fortsette det arbeidet.
Fremover sier Luther at de ønsker å "doble ned på [den] menneskelige styrken" av programvaren, inkludert å legge til et "Second Opinion" -alternativ som lar flere brukere samarbeide om den endelige identifikasjonen av et bilde, i tillegg til å jobbe på å utvide fysisk oppsøkende virksomhet og samfunnsstyring for å utvide brukerbasen til Photo Sleuth. Programvaren vil også se noen ansiktsløftere, inkludert en ny funksjon som lar brukere laste opp og identifisere personer i et gruppebilde.
"Vårt endelige mål er å identifisere hvert ukjent foto fra borgerkrig, " sier Luther, "og få [Photo Sleuth] større og bedre, fordi 25 000 bilder bare er en dråpe i bøtta."
