AI-program skjulte data fra skabere til snyder ved den udnævnte opgave

Afhængig af hvor paranoid du er, er denne forskning fra Stanford og google  vil være skræmmende eller fascinerende. Et maskinindlæringsagent, der havde til hensigt at omdanne luftbilleder til gadekort og tilbage, blev fundet at snyde ved at skjule oplysninger, som det senere skulle have brug for, i "et næsten umærkeligt højfrekvenssignal." Smart pige!

Denne begivenhed afslører et problem med computere, der har eksisteret siden de blev opfundet: de gør nøjagtigt, som du beder dem om at gøre.

Forskernes intention var, som du måske skulle gætte, at fremskynde og forbedre processen med at omdanne satellitbilleder til Googles berømte nøjagtige kort. Til dette formål arbejdede teamet med det, der kaldes en CycleGAN - et neuralt netværk, der lærer at omdanne billeder af type X og Y til hinanden, så effektivt men nøjagtigt som muligt gennem en hel del eksperimentering.

I nogle tidlige resultater gjorde agenten det godt - mistænkeligt godt. Det, der gik ud af holdet, var, at når agenten rekonstruerede luftfotos fra dets gadekort, var der masser af detaljer, der slet ikke syntes at være på sidstnævnte. For eksempel vil ovenlysvinduer på et tag, der blev fjernet i processen med at oprette gadekortet, magisk dukke op igen, da de bad agenten om at udføre den omvendte proces:

Det originale kort til venstre; gadekortet genereret fra det originale centrum; og antennekortet genereret kun fra gadekortet. Bemærk tilstedeværelsen af ​​prikker på begge antennekort, der ikke er repræsenteret på gadekortet.

Selvom det er meget vanskeligt at kigge ind i det indre arbejde i et neuralt netværks processer, kunne teamet nemt revidere de data, det genererede. Og med en lille eksperimentation fandt de, at CycleGAN faktisk havde trukket hurtigt.

Hensigten var, at agenten kunne fortolke funktionerne i begge korttyper og matche dem til de rigtige funktioner i den anden. Men hvad agenten var faktiskat blive graderet på (blandt andet) var hvor tæt et antennekort var oprindeligt, og klarhedskoden på gadekortet.

Så det ikke lær hvordan man skaber den ene fra den anden. Den lærte, hvordan man subtil koder funktionerne i den ene i støjmønstrene for den anden. Oplysningerne om luftkortet er hemmeligt skrevet til de faktiske visuelle data på gadekortet: tusinder af små farveændringer, som det menneskelige øje ikke ville bemærke, men som computeren let kan registrere.

Faktisk er computeren så god til at glide disse detaljer ind på gadekortene, som den havde lært at kode enhver luftkort ind i enhvergadekort! Det behøver ikke engang at være opmærksom på det ”rigtige” gadekort - alle de data, der er nødvendige for at rekonstruere luftfotoet, kan uskadeligt overlejres på et helt andet gadekort, som forskerne bekræftede:

Kortet til højre blev kodet til kortene til venstre uden nogen markante visuelle ændringer. (Billeder: agsandrew / Shutterstock)

De farverige kort i (c) er en visualisering af de små forskelle, computeren systematisk introducerede. Du kan se, at de danner den generelle form på luftkortet, men du vil aldrig bemærke det, medmindre det var omhyggeligt fremhævet og overdrevet på denne måde.

Denne praksis med at kode data til billeder er ikke ny; det er en etableret videnskab kaldet steganography, og den bruges hele tiden til, for eksempel, vandmærkebilleder eller tilføje metadata som kameraindstillinger. Men en computer, der opretter sin egen steganografiske metode til at undgå at skulle lære at udføre opgaven is temmelig nyt. (Nå, forskningen kom ud sidste år, så det er det ikke ny nyt, men det er ret roman.)

Læs hele historien her ...