I fremtiden afhænger din fremtid muligvis af en række omhyggeligt beregnede nuller og enier.
Når teknologien forbedres, bliver mennesker mindre involveret i beslutninger, der påvirker vores liv - og det er ikke nøjagtigt en god ting.
Da kunstig intelligens vinder plads, har universitetsprofessorer ved University of Massachusetts-Amherst udviklet et program til test af software til bias og forskelsbehandling.
Ja, racediskriminering. Men mere end det. Sundhedsvæsenets beslutninger. Lånbeslutninger. Heck, selv hvordan Amazon beslutter pakkeforsendelsespriser.
"I dag bestemmer software, hvem der får et lån eller bliver ansat, beregner score for risikovurdering, der hjælper med at beslutte, hvem der skal i fængsel, og hvem der er sat fri, og hjælper med at diagnosticere og behandle medicinske patienter," ifølge til programmets udviklere.
Med det er det kritisk "software diskriminerer ikke grupper eller enkeltpersoner," hævder forskere, og tilføjede, at deres studieretning er "undervurderet", og "utallige eksempler på urimelig software er dukket op."
I en videnskabelig artikel udgivet til en kommende software engineering konference, computerforskere Alexandra Meliou og Yuriy Brun, der skabte programmet sammen med ph.d.-studerende Sainyam Galhotra, detaljerede ”den voksende bekymring” for diskrimination af software.
I papiret forudsiger de to professorer den udviklende og stigende indflydelse, software vil have på menneskers liv i fremtiden, og argumenterer, at software i øjeblikket spiller en stor rolle i samfundet.
"Fremover vil vigtigheden af at sikre retfærdighed i software kun øges," hedder det i papiret.
De lærde brugte eksempler, der illustrerer partiskhed mod de velhavende og nedslåede.
Et af eksemplerne på diskrimination af software leveret af Brun og Meliou er programmering, der bruges af Amazon.com til at bestemme, hvilke geografiske områder der vil få gratis levering samme dag. Efter lanceringen af programmet sidste år var det det påståede at mindretalskvarterer modtog fordelene med en meget lavere sats end overvejende hvide kvarterer.
Forfatterne fremhæver også, hvordan software, der bruges i den offentlige sektor, kan projicere bias, spotlighting-teknologi, der bruges i en række stater, der beregner score på sandsynligheden for, at en kriminel kan begå yderligere forbrydelser. Ifølge forskerne har softwaren fundet, at "fejlagtigt markerer sorte tiltalte som fremtidige kriminelle, idet de fejlagtigt mærker dem på denne måde i næsten det dobbelte af satsen for hvide tiltalte."
I vores økonomiske kapitalismesystem baseret på “frie” markeder er markedsdelen allerede 90% kunstig (HFT'er)