Højesteret skal veje ind på softwareprogrammets hemmelige AI-algoritmer, der sendte mand til fængsel

Da Chief Justice John G. Roberts Jr. besøgte Rensselaer Polytechnic Institute i sidste måned, han blev stillet et overraskende spørgsmål, en med overtoner af science fiction.

”Kan du forudse en dag,” spurgte Shirley Ann Jackson, præsident for kollegiet i det statslige New York, "når smarte maskiner, drevet med kunstige intelligenser, vil hjælpe med retssalen med at finde eller mere kontroversielt retslige beslutninger?"

Rettens svar var mere overraskende end spørgsmålet. ”Det er en dag, der er her,” sagde han, ”og det lægger en betydelig belastning på, hvordan retsvæsenet gør tingene.”

Han har måske tænkt på sagen om en Wisconsin-mand, Eric L. Loomis, der blev idømt seks års fængsel delvis baseret på et privat selskabs proprietær software. Hr. Loomis siger, at hans ret til behørig proces blev krænket af en dommeres overvejelse af en rapport genereret af softwarens hemmelige algoritme, en af ​​Mr. Loomis var ikke i stand til at inspicere eller udfordre.

I marts, i et signal om, at dommerne var fascineret af Mr. Loomis sag, spurgte de den føderale regering for at indsende en ven-af-retten-kort med sine synspunkter på, om retten skal høre hans appel.

Rapporten i Mr. Loomis sag blev produceret af et produkt kaldet Compas, solgt af Northpointe Inc. Det omfattede en række søjlediagrammer, der vurderede risikoen for, at Mr. Loomis ville begå flere forbrydelser.

Compas-rapporten, sagde en anklager for retssagen dommer, viste ”en høj risiko for vold, høj risiko for recidivisme, høj forsigtighedsrisiko.” Dommeren var enig og sagde til Mr. Loomis, at ”du er identificeret gennem Compas-vurderingen, som en person, der er en høj risiko for samfundet. ”

Wisconsin højesteret regerede mod Mr. Loomis. Rapporten tilføjede værdifulde oplysninger, sagde den, og Mr. Loomis ville have fået den samme straf udelukkende baseret på de sædvanlige faktorer, herunder hans forbrydelse - på flugt fra politiet i en bil - og hans kriminelle historie.

På samme tid virket retten utilpas med at bruge en hemmelig algoritme til at sende en mand i fængsel. Justice Ann Walsh Bradley, skriver for retten, drøftede f.eks. en rapport fra ProPublica om Compas der indgået at sorte tiltalte i Broward County, Fla., "var langt mere sandsynligt end hvide tiltalte forkert at blive bedømt til at være i en højere grad af tilbagevenden."

Justice Bradley bemærkede, at Northpointe havde det bestred analysen. Stadig, hun skrev, "denne undersøgelse og andre rejser bekymring for, hvordan en Compas-vurdering risikofaktorer korrelerer med race."

I sidste ende tillade retfærdighed Bradley dog ​​dommere til at bruge Compas. De skal tage hensyn til algoritmens begrænsninger og hemmeligholdelsen omkring den, skrev hun, men sagde, at softwaren kunne være nyttig "til at give domstolene så mange oplysninger som muligt for at nå frem til en individualiseret dom."

Justice Bradley fik Compas 'rolle i straffeudmålingen til at lyde som hensynet til race i et selektivt universitets holistiske optagelsesprogram. Det kunne være en faktor blandt mange, skrev hun, men ikke den afgørende.

Læs hele historien her ...