Kinas teknokrati, der bruger socialt kreditvurderingssystem til at drive videnskabelig diktatur

Nøglebedømmelser

• Den kinesiske regering har godkendt pilotafprøvning af et socialt kreditsystem, der trækker på borgernes personlige data til at tildele uofficielle kreditresultater, som kommer med fordele og sanktioner, som private virksomheder og regeringsbureauer forvalter.
• De fem dimensioner af kreditvurderingsdata er "brugernes kredithistorie, adfærdsvaner, evne til at betale gæld, personlige oplysninger og sociale netværk."
• De algoritmer, der udleder kreditresultaterne, er handelshemmeligheder, der forbyder former for test, der kan bestemme, hvordan de fungerer.
• Regeringens sortlister over skyldnere deles med private og offentlige kreditvurderingsservices for at forbyde enkeltpersoner at foretage visse transaktioner.

Dette indlæg, det andet i en serie på mobile betalingssystemer, undersøger en kinesisk mobilbetaling-app-funktion i stigende grad dækket i udenlandske medier: test af, hvad der en dag kan være et landsdækkende officielt socialt kreditsystem til erstatning for dets traditionelle analoge modstykke. De mest populære offentligt tilgængelige sociale kreditscorer udstedes i øjeblikket gennem Sesame Credit, et firma etableret af Alibaba-datterselskabet Ant Financial. Vestlige medieindberetninger om det sociale kreditsystem beskriver et science fiction-lignende fænomen, hvor borgerne tildeles scoringer baseret på deres online adfærd, økonomiske oplysninger og offentlige registre. Ant Finansielle repræsentants oplysning har antydet, at sent på aftenen browsing, timer brugt på videospil og specifikke købte varer alle kan sænke ens score. Uanset om disse påstande er sande eller ej, er Sesame Credits scoremekanismer stadig i en eksperimentel fase og kan derfor ændres. Vores udforskning af potentiel sikkerhed, privatlivets fred og andre spørgsmål i et sådant system er beregnet til at rejse spørgsmål, der kan informere diskussioner om, hvordan det vil udvikle sig.

Så tidligt som i 2003, Den kinesiske regering udtrykte interesse ved at skabe et omfattende middel til at tildele borgernes kredit score, der ville være en forbedring i forhold til landets kreditvurderingssystem. Statsrådet godkendte for nylig “Oversigt over regler for opbygning af et socialt kreditsystem (2014-2020)” og i øjeblikket har otte virksomheder fået centralbankens tilladelse til at opføre sig pilottest af deres egne sociale kreditsystemer, i lighed med Fair, Isaac and Company (FICO) forbrugerkreditvurderinger. En del af, hvad der gør en sådan bestræbelse unik i Kina er vaguenheden og i nogle tilfælde fuldstændig fravær af regler vedrørende indsamling af big data til kreditvurderingsformål, potentiel tredjeparts anvendelse af sådanne scoringer og beskyttelse af personlige oplysninger af brugerdata, der indgår i kredit score beregninger. Det ny cybersikkerhedslovgivning frigivet den november 7, 2016 indeholder sprog vedrørende beskyttelse af personlige oplysninger, men alligevel vil ikke blive implementeret før i juni 2017.

Denne artikel vedrører Sesame Credits sociale kreditvurderingsservice, som Alipay-brugere i øjeblikket kan vælge at modtage i appen. Sesame Kredits score er det mest populære eksempel på, hvordan et nationalt kinesisk socialt kreditsystem en dag kan fungere, og giver en fornemmelse af, hvilke overvejelser kinesiske virksomheder, borgere og staten mener bør gå ind i et sådant system. Det er en komponent i et bredere kinesisk regerings skub for at udnytte big data som en ressource til social kontrol. Kreditresultater opdeles i fem dimensioner: "Brugernes kredithistorie, adfærdsvaner, evne til at betale af gæld, personlige oplysninger og sociale netværk." Korte beskrivelser af hver af disse kategorier er inkluderet i Sesame Credit-funktionen i Alipay, men de kaster ikke lys over hvilke særlige handlinger ville ændre ens score.

Ifølge Papir, "Adfærdsmæssige præferencer" henviser til handlinger som betimelig betaling af fakturaer, og "personlige oplysninger" inkluderer alder, køn, erhverv og uddannelseshistorie. Mere bekymrende er de dårligt definerede ”stabilitetsbegreber”, som Sesame Credit angiveligt tager i betragtning, hvilket virksomhedsrepræsentanter har henvist til uden klart at definere. Disse ser ud til at være meget subjektive markører for ens økonomiske og sociale status, som bidrager til kreditvurderingsmekanismen. Det samme artikel fra Papir hævder, at “hvis din adresse ofte ændres, falder din kreditværdighed tilsvarende. Derudover vil dine venners kreditregistreringer også have indflydelse på dine Sesame-point. ”Værelset til forkert gengivelse samt diskrimination på grund af sådanne faktorer er bredt, og de adfærdsændrende incitamenter, der ligger til grund for dem, vedrører også. Ant Financials vigtigste kreditdata-videnskabsmand Yu Wujie har sagt, at "Hvis du regelmæssigt donerer til velgørenhed, vil din kreditværdi være højere, men det vil ikke fortælle dig, hvor mange betalinger du skal foretage hver måned ... men [udvikling] i denne retning [gennemføres med] håbet om, at alle vil donere. ”Desuden Ant Financials teknologidirektør, Li Yingyun, har udtalt, at ”En person, der spiller videospil i 10 timer om dagen, for eksempel ville blive betragtet som en ledig person, og nogen, der ofte køber ble, vil blive betragtet som en sandsynligvis en forælder, der i balance er mere sandsynlig at have en mening af ansvar. ”Disse erklæringer har fremkaldt den fordømmende vestlige mediers dækning af social kredit indtil videre, skønt det skal bemærkes, at den eneste måde at vide med sikkerhed om, at de faktorer, som repræsentanterne for selskabet citerer faktisk kan hæve eller sænke scoringer, ville være at dekonstruere algoritmerne der bestemmer dem, der er mærket forretningshemmeligheder.

Uden muligheden for at udføre statisk eller dynamisk test af de sociale kreditalgoritmer, hvad kan vi udlede om, hvordan de fungerer? Deng Yiming, direktøren for Sesame Kredits forretningsudvikling, har sagt det kun 30 til 40 procent af dataene bruges til at generere kredit score kommer fra Alibaba-ejede virksomheder og tjenester. Bortset fra de data, der er indsamlet gennem brugernes aktivitet inden for Alipay-appen, beregner Sesame Credit individuelle scores med data indsamlet fra Alibabas websteder for e-handel, apps til deling af ride og restauranter forbundet med Alipay og fra regeringsbureauer involverer lov, uddannelse og handel. Et af de mest klare eksempler på en sådan dataudveksling er Sesame Credit's slips til Supreme People's Court, der er rapporteret at have delt sin sortliste over debitorer og andre, der har overtrådt domstolsafgørelser med virksomheden for at forhindre disse mennesker i at foretage såkaldte luksuskøb i Taobao og Tmall. Denne ordning giver anledning til spørgsmålet om, hvorvidt Sesame Credit deler data i den modsatte retning, hvilket muligvis giver sine samarbejdede regeringsbureauer brugernes transaktionsoplysninger. Disse samarbejder er ofte overskygget af dem, hvor Sesame Credit samarbejder med den private sektor for at give fordele til indehavere af høj score.

På nuværende tidspunkt kan privilegierne ved at have en høj social kreditværdi omfatte booking af en lejebil eller et hotelværelse uden at indbetale, tage lån til lavere renter, blive sendt online-køb for at prøve, før de betaler for dem, og få visa til Luxembourg og Singapore gennem en fremskyndet proces. Andre lande, der har udtrykt interesse for at deltage i dette hurtigere udstedelse af visum inkluderer Japan, Sydkorea, Sri Lanka og Det Forenede Kongerige. Der har været diskussion om fremtidig anvendelse af høje kreditresultater, der strækker sig til matchmaking og jobrekruttering, hvilket understreger, i hvilket omfang partiske input kan skabe nye sociale barrierer.

Kinesiske regerings skildringer af det sociale kreditsystem kastede det som et middel til at genindføre tillid mellem borgere og i lokale virksomheder, såsom restauranter, der vil blive overvåget for at overholde sundhedsbestemmelserne. Et andet af indramningsargumenterne for oprettelse af et socialt kreditsystem er, at det vil gøre det muligt for folk, der traditionelt ikke er i stand til at optjene kredit, for at være i stand til at gøre det: studerende, kollegearbejdere, ejere af små virksomheder og lignende. Alligevel ser det ud til, at fordelene ved at have en høj score (hvoraf det faktisk er blevet spekuleret om det) få brugere har opnået) er dem, der favoriserer dem, der er i en bedre økonomisk situation til at foretage overdådige og hyppige udgifter. En kritik har været, at Sesame Credit hæver score for folk, der udfører flere Alipay-transaktioner, hvilket virksomheden har benægtet. Eksemplerne på højere score for køb, der er forbundet med folk, der er forældre, og lavere score for folk, der skifter hjemmeadresser, antyder ofte yderligere, at en mangel på kontekst kan føre til fejlagtige repræsentationer af folks handlinger, der kan have uforholdsmæssige konsekvenser.

Der er en fare ved at forklare big data-initiativer som at tage "objektive" mål for brugerdata, delvis fordi der i tilfælde, hvor en indikator er unøjagtig, bliver det vanskeligt at bestride dette punkt. Et eksempel fra a nylige Wall Street Journal artikel involverer en kvinde, der brugte hendes søns metrokort og blev bøde for en handling, der til en algoritme ser ud til at have været tyveri. Denne mindre hændelse giver anledning til bekymring over den deconteksualiserede måde, hvorpå social kreditvurdering kan være designet til at fungere. Hvad er der eventuelt et juridisk middel til rådighed for langt mere konsekvensfejl under et socialt kreditsystem?

Tilstanden for de aktuelle eksperimenter på dette felt rejser mange spørgsmål om brugerbeskyttelse. Hvad angår brugernes privatliv, har der været lidt diskussion om konsekvenserne af at gøre enkeltpersoners scoringer synlige for andre. Alipay tilbyder a spil, hvor venner kan gætte hinandens kredit score og afslører dem for eksempel. Ud over andre brugere, eksterne virksomheder, der leverer specielle tjenester til indehavere af høj kreditværdighed, og appens samarbejdede regeringsbureauer, med hvilke tredjeparter vil Sesame Credit dele data? Centraliseringen af ​​dataindsamlingsmekanismerne for social kredit gør dang'an-lignende dossierer om enkeltpersoners online og offline liv desto mere bærbare, som flere medier rapporter har bemærket. Hvilke sikkerhedsprocedurer er der for at beskytte disse oplagringssteder med værdifulde personlige oplysninger?

I en ironi, der har plaget mange overvågningsapparater, kan spredningen af ​​et socialt kreditsystem og dets tilknyttede sensorer, QR-koder og andre sporelæseværktøjer skabe nye sikkerhedsproblemer adskilt fra dem, det angiveligt sigter mod at reducere gennem næsten allestedsnærværende overvågning af adfærd. Disse nye trusler involverer måderne, hvorpå kreditresultatdata kan smedes, og de ender, som falske kreditresultater kan bruges til. Det fremskyndet sikkerhedskontrol i Beijing lufthavn for Sesame Credit brugere med høje nok scoringer, der rejser på indenrigsflyvning, giver et eksempel på en situation, hvor en forfalsket høj score kunne sætte nogen i stand til at omgå strengere sikkerhedskontrol, hvilket kan være en trussel mod den nationale sikkerhed fra en kvalificeret og beslutsom nok skuespiller. Jo mere udbredt det sociale kreditsystem bliver, og jo større række fordele det kan give høje scorere, jo flere incitamenter til at finde ud af, hvordan man hacker, vil spredes. Artikler tråde om, hvordan man hæver ens kreditresultater, er allerede stigende, og det er stadig uklart, hvor let det kan være at hacke sig ind på en bestemt konto og forfalske oplysninger.

Som beskrevet i et tidligere indlæg har Alibaba oplevet datalækager fra virksomhedens medarbejdere såvel som eksterne hacks. Det er bydende nødvendigt at stille spørgsmålstegn ved, hvilke forholdsregler de tager, da den hurtige opbygning af et socialt kreditsystem sandsynligvis vil gøre de virksomheder, der er dets forvaltere, mål for datatyveri og afpresning. Da der sælges en række dataindsamlingsinternet (IoT) -enheder overalt i Kina, vil granulære muligheder for at spore borgernes hver bevægelse og trække på denne information som et socialt kreditinput kun vokse stærkere og kræver arbejde fra den side af IoT-producenter for at løse disse problemer. En udvikling, der har potentialet til at gøre de sociale kreditvirksomheder mere gennemsigtige, har været National Development and Reform Commission's meddelelse om, at kreditvurderingsservices åbnes for udenlandske investeringer, som i det mindste kan give mere information om, hvordan virksomheds sociale kreditvurderingsresultater (for restauranter og lokale virksomheder) gennemføres.

Den endelige bekymring, der er forbundet med sikkerhed og censur, vi tilbyder mod vederlag, er muligheden for social kredit og mobil finansiering adgang blokeres for at straffe borgerne for protester, som blot et eksempel. Hvis begge disse tjenester bliver uundværlige i ens daglige liv, kan muligheden for, at regeringen har sanktioneret frysning af brugernes konti, udgøre store skader på borgerlige frihedsrettigheder. Efterhånden som udrulningen af ​​systemet skrider frem, er det vigtigt at huske på, at selv om algoritmerne, der bestemmer kreditresultater, hurtigt kan ændre sig på måder, som brugere og forskere ikke kan opfatte, er statens og virksomhedernes magt, der skaber det sociale kreditsystems udvikling, langt mere forankret og er i sidste ende ansvarlig for de reelle resultater, som det sociale kreditsystem muligvis giver.

Læs hele artiklen her ...