Når sprog AI møder propaganda, er ingen i sikkerhed

Du sidder i en behagelig stol ved bålet, en kold vinternat. Måske har du et krus te i hånden, måske noget stærkere. Du åbner et magasin til en artikel, du har tænkt dig at læse. Titlen antydede en historie om en lovende - men også potentielt farlig - ny teknologi, der er på vej til at blive mainstream, og efter kun at have læst et par sætninger, bliver du trukket ind i historien. En revolution er på vej inden for maskinintelligens, hævder forfatteren, og vi skal som samfund blive bedre til at forudse dens konsekvenser. Men så sker det mærkeligste: Man bemærker, at forfatteren, tilsyneladende bevidst, har udeladt det allersidste ord af det første .

Det manglende ord springer næsten ubudt ind i din bevidsthed: ''det allersidste ord af det første afsnit.'' Der er ingen følelse af en intern søgeforespørgsel i dit sind; ordet ''afsnit'' dukker bare op. Det kan virke som en anden natur, denne udfyldning af tomme øvelser, men at gøre det får dig til at tænke på de indlejrede lag af viden bag tanken. Du har brug for en beherskelse af engelsks stavemåde og syntaktiske mønstre; du skal forstå ikke kun ordbogsdefinitionerne af ord, men også måden, de relaterer til hinanden; du skal være bekendt nok med de høje standarder for magasinudgivelse til at antage, at det manglende ord ikke blot er en tastefejl, og at redaktører generelt ikke bryder sig om at udelade nøgleord i publicerede stykker, medmindre forfatteren prøver at være klog - måske prøver at bruge det manglende ord til at gøre en pointe om din klogskab, hvor hurtigt en menneskelig engelsktalende kan fremtrylle det helt rigtige ord.

Før du kan forfølge den idé yderligere, er du tilbage i artiklen, hvor du finder ud af, at forfatteren har taget dig til et bygningskompleks i forstaden Iowa. Inde i en af ​​bygningerne ligger et vidunder af moderne teknologi: 285,000 CPU-kerner samlet i en kæmpe supercomputer, drevet af solcellepaneler og afkølet af industrielle fans. Maskinerne sover aldrig: Hvert sekund hver dag kører de gennem utallige beregninger ved at bruge avancerede teknikker inden for maskinintelligens, der går under navne som ''stokastisk gradientnedstigning'' og ''konvolutionelle neurale netværk''. Hele systemet menes at være en af ​​de mest kraftfulde supercomputere på planeten.

Og hvad, kan du spørge, laver denne beregningsdynamo med alle disse vidunderlige ressourcer? For det meste spiller det en slags spil, igen og igen, milliarder af gange i sekundet. Og spillet hedder: Gæt hvad det manglende ord er.

Supercomputerkomplekset i Iowa kører et program oprettet af OpenAI, en organisation etableret i slutningen af ​​2015 af en håndfuld Silicon Valley-armaturer, herunder Elon Musk; Greg Brockman, som indtil for nylig havde været teknologichef for e-betalings-juggernauten Stripe; og Sam Altman, på det tidspunkt præsident for start-up inkubatoren Y Combinator. I de første par år, da det opbyggede sin programmeringshjernetillid, blev OpenAIs tekniske præstationer for det meste overskygget af grundlæggernes stjernekraft. Men det ændrede sig i sommeren 2020, da OpenAI begyndte at tilbyde begrænset adgang til et nyt program kaldet Generative Pre-Trained Transformer 3, i daglig tale omtalt som GPT-3. Selvom platformen oprindeligt kun var tilgængelig for en lille håndfuld udviklere, begyndte eksempler på GPT-3's uhyggelige dygtighed med sprog - og i det mindste illusionen om kognition - at cirkulere på tværs af nettet og gennem sociale medier. Siri og Alexa havde populariseret oplevelsen af ​​at konversere med maskiner, men dette var på næste niveau, og nærmede sig et flydende sprog, der lignede kreationer fra science fiction som HAL 9000 fra "2001": et computerprogram, der kan besvare åbne komplekse spørgsmål perfekt sammensatte sætninger.

Som et felt er AI i øjeblikket fragmenteret blandt en række forskellige tilgange, rettet mod forskellige slags problemer. Nogle systemer er optimeret til problemer, der involverer at bevæge sig gennem det fysiske rum, som i selvkørende biler eller robotteknologi; andre kategoriserer billeder for dig, identificerer kendte ansigter eller kæledyr eller ferieaktiviteter. Nogle former for kunstig intelligens - som AlphaFold, et projekt af Alphabet (tidligere Google) datterselskab DeepMind - begynder at tackle komplekse videnskabelige problemer, som at forudsige strukturen af ​​proteiner, hvilket er centralt for lægemiddeldesign og opdagelse. Mange af disse eksperimenter deler en underliggende tilgang kendt som ''deep learning'', hvor et neuralt net vagt modelleret efter strukturen af ​​den menneskelige hjerne lærer at identificere mønstre eller løse problemer gennem endeløse gentagne cyklusser af forsøg og fejl, hvilket styrker neurale forbindelser og svække andre gennem en proces kendt som træning. ''Dybden'' af dyb læring refererer til flere lag af kunstige neuroner i det neurale net, lag der svarer til højere og højere abstraktionsniveauer: I en visionsbaseret model, for eksempel, kan et lag af neuroner detektere lodrette linjer , som derefter ville føres ind i et lag, der detekterede kanter af fysiske strukturer, som derefter ville rapportere til et lag, der identificerede huse i modsætning til lejlighedsbygninger.

GPT-3 tilhører en kategori af dyb læring kendt som en stor sprogmodel, et komplekst neuralt net, der er blevet trænet på et titanisk datasæt af tekst: i GPT-3's tilfælde, omkring 700 gigabyte data hentet fra hele nettet, herunder Wikipedia, suppleret med en stor samling af tekst fra digitaliserede bøger. GPT-3 er den mest fejrede af de store sprogmodeller, og den mest offentligt tilgængelige, men Google, Meta (tidligere kendt som Facebook) og DeepMind har alle udviklet deres egne LLM'er i de seneste år. Fremskridt inden for beregningskraft - og nye matematiske teknikker - har gjort det muligt for LLM'er af GPT-3's årgang at indtage langt større datasæt end deres forgængere og anvende meget dybere lag af kunstige neuroner til deres træning.

Chancerne er, at du allerede har interageret med en stor sprogmodel, hvis du nogensinde har brugt et program - som Gmail - der indeholder en autofuldførelsesfunktion, der forsigtigt beder dig med ordet ''deltag'', efter du har skrevet sætningen ''Desværre vandt jeg 't be able to...'' Men autofuldførelse er kun det mest rudimentære udtryk for, hvad software som GPT-3 er i stand til. Det viser sig, at med nok træningsdata og tilstrækkeligt dybe neurale net, kan store sprogmodeller vise bemærkelsesværdige færdigheder, hvis du beder dem om ikke bare at udfylde det manglende ord, men også at fortsætte med at skrive hele afsnit i stil med den indledende prompt. For eksempel, da jeg gav GPT-3 prompten:

I 1958 introducerede Frank Rosenblatt Perceptron, en tidlig version af et neuralt net, der kun kunne detektere placeringen af ​​en firkant på et trykt kort. Halvtreds år senere er neurale net i stand til . . .

Softwaren fuldførte pligtopfyldende tanken og fortsatte derefter med at samle op på den historiske indramning af den indledende tekst:

. . . opdage og klassificere ansigter, finde mønstre i data og efterligne den menneskelige hjerne. Mens det neurale net modnes i den akademiske verden, fandt det også vej ind i teknologiindustrien. I slutningen af ​​1980'erne og begyndelsen af ​​90'erne blev neurale net brugt i talegenkendelse og karaktergenkendelsesapplikationer. Væksten i computerkraft og evnen til at indsamle større datasæt tillod andre neurale netapplikationer at dukke op.

Siden GPT-3's udgivelse har internettet været oversvømmet med eksempler på softwarens uhyggelige facilitet med sprog - sammen med dets blinde pletter og svagheder og andre mere skumle tendenser. GPT-3 er blevet trænet til at skrive Hollywood-manuskripter og komponere faglitteratur i stil med Gay Talese's New Journalism-klassiker ''Frank Sinatra Has a Cold''. Du kan bruge GPT-3 som en simuleret dungeon-mester, der udfører omfattende tekstbaserede eventyr gennem verdener, der er opfundet i farten af ​​neuralnettet. Andre har fodret software-prompts, der genererer åbenlyst stødende eller vrangforestillinger, som viser modellens begrænsninger og dens potentiale for skade, hvis den bliver brugt bredt i dens nuværende tilstand.

Hidtil har eksperimenterne med store sprogmodeller mest været det: eksperimenter, der undersøger modellen for tegn på ægte intelligens, udforsker dens kreative anvendelser, afslører dens skævheder. Men det ultimative kommercielle potentiale er enormt. Hvis den eksisterende bane fortsætter, kan software som GPT-3 revolutionere, hvordan vi søger efter information i de næste par år. I dag, hvis du har et kompliceret spørgsmål om noget - hvordan du f.eks. sætter dit hjemmebiografsystem op, eller hvad mulighederne er for at oprette en 529 uddannelsesfond til dine børn - skriver du højst sandsynligt et par søgeord i Google og scanner derefter igennem en liste over links eller foreslåede videoer på YouTube, der skimmer alt igennem for at komme til den nøjagtige information, du søger. (Det er overflødigt at sige, du ville ikke engang tænke på at bede Siri eller Alexa om at lede dig igennem noget så komplekst.) Men hvis de sande GPT-3 troende har ret, vil du i den nærmeste fremtid bare stille en LLM spørgsmålet og få svaret tilbagesendt til dig, overbevisende og præcist. Kundeservice kan blive fuldstændig forvandlet: Enhver virksomhed med et produkt, der i øjeblikket kræver et menneskeligt teknisk supportteam, kan muligvis træne en LLM til at erstatte dem.

Læs hele historien her ...