Hva er rettferdig?
Det virker som et enkelt spørsmål, men det er et uten enkle svar. Det er spesielt sant i den arcane verdenen av kunstig intelligens (AI), der forestillingen om smarte, følelsesløse maskiner som tar beslutninger som er fantastisk fri for skjevhet, forsvinner raskt.
Den kanskje offentlige offentligheten av den oppfatningen kom med en ProPublica-etterforskning fra 2016 som konkluderte med at dataene som driver et AI-system brukt av dommere for å avgjøre om en domfelt kriminell sannsynligvis vil begå flere forbrytelser, så ut til å være partisk mot minoriteter. Northpointe, selskapet som opprettet algoritmen, kjent som COMPAS, bestred ProPublicas tolkning av resultatene, men sammenstøtet har vekket både debatt og analyse om hvor mye selv de smarteste maskinene skal stole på.
"Det er et veldig varmt tema - hvordan kan du gjøre algoritmer rettferdige og pålitelige, " sier Daniel Neill. "Det er en viktig sak."
Neill befinner seg nå midt i den diskusjonen. En datamaskinforsker ved Carnegie Mellon University, han og en annen forsker, Will Gorr, utviklet et kriminelle forutsigende programvareverktøy kalt CrimeScan for flere år siden. Deres opprinnelige konsept var at voldelig kriminalitet på noen måter er som en smittsom sykdom, at den har en tendens til å bryte ut i geografiske klynger. De trodde også at mindre forbrytelser kan være en innblanding av mer voldelige, så de bygde en algoritme ved å bruke et bredt spekter av "ledende indikatordata", inkludert rapporter om forbrytelser, som enkle overgrep, hærverk og uordnede oppførsel, og 911 samtaler om slike ting som skudd avfyrt eller en person sett med et våpen. Programmet inkluderer også sesongmessige og ukens trender, pluss kortsiktige og langsiktige priser på alvorlige voldsforbrytelser.
Tanken er å spore gnister før en brann utbryter. "Vi ser på mer mindre forbrytelser, " sier Neill. ”Enkle overgrep kan forsterkes til forverrede overgrep. Eller så har du kanskje et eskalerende mønster av vold mellom to gjenger. ”
Å spå når og hvor
CrimeScan er ikke den første programvaren designet for det som er kjent som prediktiv politiarbeid. Et program kalt PredPol ble opprettet for åtte år siden av UCLA-forskere som jobber med Los Angeles Police Department, med målet å se hvordan vitenskapelig analyse av kriminalitetsdata kunne hjelpe til å oppdage mønstre av kriminell atferd. Nå brukt av mer enn 60 politiavdelinger rundt om i landet, identifiserer PredPol områder i et nabolag hvor det er mer sannsynlig at alvorlige forbrytelser vil oppstå i en bestemt periode.
Selskapet hevder at forskningen har funnet at programvaren er dobbelt så nøyaktig som menneskelige analytikere når det gjelder å forutsi hvor forbrytelser vil skje. Ingen uavhengig studie har imidlertid bekreftet disse resultatene.
Både PredPol og CrimeScan begrenser anslagene deres til hvor forbrytelser kan oppstå, og unngå å ta neste skritt med å forutsi hvem som kan begå dem - en kontroversiell tilnærming som byen Chicago har bygget rundt en “strategisk fagliste” over personer som mest sannsynlig vil være involvert i fremtidige skytinger, enten som skytter eller offer.
American Civil Liberties Union [ACLU], Brennan Center for Justice og forskjellige borgerrettighetsorganisasjoner har alle reist spørsmål om risikoen for skjevhet blir bakt i programvaren. Historiske data fra politiets praksis, mener kritikere, kan skape en tilbakemeldingssløyfe der algoritmer tar beslutninger som både gjenspeiler og forsterker holdninger om hvilke nabolag som er "dårlige" og som er "gode." Derfor AI basert først og fremst på arrestasjonsdata bærer en høyere risiko for skjevhet - det reflekterer mer politiets avgjørelser, i motsetning til faktisk rapporterte forbrytelser. CrimeScan holder seg for eksempel borte fra å prøve å forutsi forbrytelser som, som Neill uttrykker det, "du bare vil finne om du ser etter dem."
"Jeg kan ikke si at vi er fri for skjevhet, " sier Neill, "men det er absolutt mer redusert enn hvis vi prøvde å forutsi medisinbesittelse."
Så er det den andre siden av tilbakemeldingssløyfen. Hvis et prediktivt verktøy øker forventningene til forbrytelser i et visst nabolag, vil politiet som patruljerer der være mer aggressive når det gjelder arrestasjoner?
"Det er en reell fare med alle slags datadrevet politiarbeid å glemme at det er mennesker på begge sider av ligningen, " bemerker Andrew Ferguson, professor i jus ved University of District of Columbia og forfatter av bok, The Rise of Big Data Policing: Surveillance, Race, and the Future of Law Enforcement. - Offiserer må kunne oversette disse ideene som antyder at forskjellige bydeler har ulik trusselscore. Og hvis du fokuserer på tallene i stedet for mennesket foran deg, endrer du forholdet ditt til dem. ”
Inni den svarte boksen
Realiteten er at kunstig intelligens nå spiller en rolle - om enn ofte i bakgrunnen - i mange beslutninger som berører hverdagen - fra å hjelpe selskaper å velge hvem de skal ansette til å sette kredittscore til evaluering av lærere. Ikke overraskende har det intensivert den offentlige granskningen av hvordan maskinlæringsalgoritmer opprettes, hvilke utilsiktede konsekvenser de medfører, og hvorfor de generelt ikke blir utsatt for mye gjennomgang.
For det første er mye av programvaren proprietær, så det er liten åpenhet bak hvordan algoritmene fungerer. Og etter hvert som maskinlæring blir mer sofistikert, vil det bli stadig vanskeligere for selv ingeniørene som opprettet et AI-system å forklare valgene det gjorde. At ugjennomsiktig beslutningstaking, med liten ansvarlighet, er en konsekvens av det som har blitt kjent som "black box" -algoritmer.
"Offentligheten får aldri en sjanse til å revidere eller diskutere bruken av slike systemer, " sier Meredith Whittaker, en av grunnleggerne av AI Now Institute, en forskningsorganisasjon ved New York University som fokuserer på AIs innvirkning i samfunnet. "Og dataene og logikkene som styrer spådommene som er gjort, er ofte ukjente selv for de som bruker dem, enn si for menneskene som deres liv blir påvirket."
I en rapport som ble gitt ut i fjor høst, gikk AI Now så langt som å anbefale at ingen offentlige etater som var ansvarlige for saker som strafferettspleie, helsehjelp, velferd og utdanning, skal bruke black box AI-systemer. I følge AI Now blir sjelden juridiske og etiske spørsmål tatt mye i betraktning når programvaren opprettes.
"Akkurat som du ikke ville stole på at en dommer skal bygge et dypt nevralt nettverk, bør vi slutte å anta at en ingeniørgrad er tilstrekkelig til å ta komplekse avgjørelser i domener som strafferettspleie, " sier Whittaker.
En annen organisasjon, Center for Democracy & Technology, har generert et "digitale beslutninger" -verktøy for å hjelpe ingeniører og informatikere med å lage algoritmer som gir rettferdige og objektive resultater. Verktøyet stiller mange spørsmål som er ment å få dem til å veie forutsetningene sine og identifisere uforutsette ringvirkninger.
"Vi ønsket å gi folk et konkret utgangspunkt for å tenke gjennom spørsmål som hvor representative dataene deres er, hvilke grupper mennesker som kan bli utelatt, og om modellens output kommer til å ha utilsiktede negative konsekvenser, " sier Natasha Duarte, som overvåker prosjektet.
Hvem er ansvarlig?
Selv om det har vært et press for å gjøre utviklere mer bevisste om mulige konsekvenser av algoritmene sine, påpeker andre at offentlige etater og selskaper som er avhengige av AI også må være ansvarlige.
“Det legges vekt på at designere forstår et system. Men det handler også om personene som administrerer og implementerer systemet, sier Jason Schultz, professor i jus ved New York University som jobber med AI Now Institute om juridiske og politiske spørsmål. "Det er der gummien møter veien på ansvarlighet. Et myndighetsorgan som bruker AI har mest ansvar, og de trenger å forstå det også. Hvis du ikke kan forstå teknologien, skal du ikke kunne bruke den."
For det formål fremmer AI Now bruken av "algoritmiske konsekvensanalyser", som vil kreve at offentlige etater oppgir systemene de bruker, og lar eksterne forskere analysere dem for potensielle problemer. Når det gjelder politiavdelinger, mener noen juridiske eksperter det også er viktig for dem å tydelig uttale hvordan de bruker teknologi og være villige til å dele det med lokalsamfunnet.
"Hvis disse systemene er designet med tanke på ansvarlighet, rettferdighet og behørig prosess, må den som implementerer systemet forstå at de har et ansvar, " sier Schultz. "Og når vi designer hvordan vi skal implementere disse, er et av de første spørsmålene 'Hvor går dette i politihåndboken?' Hvis du ikke vil ha dette et sted i politihåndboken, la oss ta et skritt tilbake, folk. ”
Andrew Ferguson ser et behov for det han omtaler som et "overvåkningstoppmøte."
"Minst en gang i året bør det være et ansvarsøyeblikk for polititeknologi i alle lokale jurisdiksjoner, " sier han. ”Politimesteren, ordføreren eller kanskje lederen av byrådet måtte forklare samfunnet hva de bruker skattebetalernes dollar for når det gjelder overvåking og teknologi, hvorfor de synes det er en god bruk av pengene, hva de gjør for å revidere dem og beskytte dataene, hva er personvernkonsekvensene. Og samfunnet ville være der for å stille spørsmål. ”
Daniel Neill, CrimeScan-skaperen, sier at han ikke ville motsette seg ideen om regelmessige revisjoner av AI-resultater, selv om han har forbehold om at det blir gjort før en algoritme er tilstrekkelig feltprøvd. Han jobber for tiden med Pittsburgh Bureau of Police for en CrimeScan-rettssak, og i det minste innledningsvis var det en utfordring med å "få riktig patruljeintensitet for de forutsagte hot spots."
Det har vært en læringsprosess, sier han, for å tilpasse CrimeScan slik at politifolk på gatenivå mener det er nyttig. "Vi må vise at vi ikke bare kan forutsi kriminalitet, men også at vi faktisk kan forhindre det, " bemerker Neill. "Hvis du bare kaster verktøyet over veggen og håper på det beste, fungerer det aldri så bra."
Han erkjenner også risikoen for å utsette for mye til en algoritme.
"Et verktøy kan hjelpe politifolk å ta gode avgjørelser, " sier han. “Jeg tror ikke maskiner bør ta beslutninger. De skal brukes til beslutningsstøtte. "
Neill legger til, "Jeg forstår at det i praksis ikke er noe som skjer hele tiden."
