Algoritmer kan lyve og bedrag, men kan de stoppes?

Algoritmer kan diktere, om du får et prioritetslån eller hvor meget du betaler for forsikring. Men nogle gange har de forkert - og nogle gange er de designet til at bedrag.

Masser af algoritmer går utilsigtet dårligt. Nogle af dem er dog gjort til at være kriminelle. Algoritmer er formelle regler, der normalt er skrevet i computerkode, der giver forudsigelser om fremtidige begivenheder baseret på historiske mønstre. For at træne en algoritme skal du levere historiske data samt en definition af succes.

Vi har set finanser blive overtaget af algoritmer i de sidste par årtier. Handelsalgoritmer bruger historiske data til at forudsige bevægelser i markedet. Succes for den algoritme er en forudsigelig markedsbevægelse, og algoritmen er årvågen for mønstre, som historisk set er sket lige før denne bevægelse. Finansielle risikomodeller bruger også historiske markedsændringer til at forudsige kataklysmiske begivenheder i en mere global forstand, så ikke for en individuel aktie, men snarere for et helt marked. Risikomodellen for værdipapirer med sikkerhed i realkreditlån var berømt dårlig - med vilje - og tilliden til disse modeller kan bebrejdes for meget af omfanget og den efterfølgende skade, der er foretaget af den finansielle krise 2008.

Siden 2008 har vi hørt mindre fra algoritmer inden for økonomi og meget mere fra big data-algoritmer. Målet for denne nye generation af algoritmer er blevet flyttet fra abstrakte markeder til enkeltpersoner. Men den underliggende funktionalitet er den samme: indsamle historiske data om mennesker, profilering af deres adfærd online, placering eller svar på spørgeskemaer, og brug det massive datasæt til at forudsige deres fremtidige køb, afstemningsadfærd eller arbejdsmoral.

Den nylige spredning i big datamodeller er stort set ikke bemærket af den gennemsnitlige person, men det er sikkert at sige, at de vigtigste øjeblikke, hvor folk interagerer med store bureaukratiske systemer, nu involverer en algoritme i form af et scoringssystem. At komme på college, få et job, blive vurderet som en arbejdstager, få et kreditkort eller forsikring, stemme og endda politi er i mange tilfælde udført algoritmisk. Desuden er teknologien, der indføres i disse systematiske beslutninger, stort set uigennemsigtig, også for deres skabere, og er hidtil stort set undgået en meningsfuld regulering, selv når den mislykkes. Det gør spørgsmålet om, hvilke af disse algoritmer, der arbejder på vores vegne, endnu vigtigere og mere presserende.

Jeg har et fire-lags hierarki, når det kommer til dårlige algoritmer. Øverst er der de utilsigtede problemer, der afspejler kulturelle skævheder. For eksempel, da Harvard-professor Latanya Sweeney fandt, at Google søger efter navne, der opfattes som sorte genererede annoncer i forbindelse med kriminel aktivitet, kan vi antage, at der ikke var nogen Google-ingeniør, der skrev racistisk kode. Faktisk blev annoncerne trænet til at være dårlige af tidligere brugere af Google-søgning, som var mere tilbøjelige til at klikke på en annonce med kriminelle poster, da de søgte efter et sort, der lyder under navnet. Et andet eksempel: Googles søgeresultat for "uprofessionelt hår", der næsten udelukkende vendte sorte kvinder tilbage, er på samme måde trænet af de mennesker, der har sendt eller klikket på søgeresultater gennem tiden.

Læs hele historien her ...