Næste op til AI: At lære at læse dine læber

En patient sidder i en hospitalsseng, et bandage dækker hans hals med en lille åbning til trakeostomirøret, der forsyner ham med ilt.

På grund af hans nylige operation viste manden sig i dette markedsføringsvideo kan ikke tale. Så en læge holder en smartphone op og registrerer patienten, når han munder en kort sætning. En app kaldet SRAVI analyserer læbebevægelserne og returnerer sin fortolkning på cirka to sekunder - ”Jeg har brug for sugning.”

Det virker som en simpel interaktion, og i nogle henseender er SRAVI (app til talegenkendelse til stemmesvækkede) stadig ret forenklet. Det kan kun genkende et par dusin sætninger, og det gør det med cirka 90 procent nøjagtighed. Men appen, der er lavet af den irske opstart Liopa, repræsenterer et massivt gennembrud inden for visuel talegenkendelse (VSR), som involverer træning af AI til at læse læber uden lydindgang. Det vil sandsynligvis være den første læbeaflæsende AI-app, der er tilgængelig til offentligt køb.

Forskere har arbejdet i årtier for at lære computere at læse læber, men det har vist sig at være en udfordrende opgave, selv med fremskridtene inden for dyb læringssystemer, der har hjulpet med at knække andre skelsættende problemer. Forskningen er drevet af en bred vifte af mulige kommercielle applikationer - fra overvågningsværktøjer til lydløs kommunikationsapps og forbedret ydeevne til virtuel assistent.

Liopa er i færd med at certificere SRAVI som et klasse I medicinsk udstyr i Europa, og virksomheden håber at gennemføre certificeringen inden august, hvilket gør det muligt for det at begynde at sælge til sundhedsudbydere.

Mens deres intentioner med teknologien ikke er klare, arbejder mange af teknologigiganterne også med læbestyrende AI. Forskere tilknyttet eller arbejder direkte for Google, Huawei, Samsung og Sony forsker alle i VSR-systemer og ser ud til at gøre hurtige fremskridt ifølge interviews og bundkortets gennemgang af nyligt offentliggjorte forsknings- og patentansøgninger. Virksomhederne svarede enten ikke eller afviste interviews til denne historie.

Da læselæsende AI fremstår som et levedygtigt kommercielt produkt, er teknologer og vagthunde for privatlivets fred i stigende grad bekymrede over, hvordan den udvikles, og hvordan den en dag kan implementeres. SRAVI er for eksempel ikke den eneste anvendelse af læselæse-AI, som Liopa arbejder på. Virksomheden er også i fase to af et projekt med et britisk forsvarsforskningsagentur til at udvikle et værktøj, der gør det muligt for retshåndhævende myndigheder at søge gennem lydløse CCTV-optagelser og identificere, når folk siger bestemte nøgleord.

Overvågningsfirma Motorola Solutions har patent på et læbeaflæsningssystem designet til at hjælpe politiet. Skylark Labs, en opstart, hvis grundlægger har bånd til US Defense Advanced Research Projects Agency (DARPA), fortalte bundkortet, at dets læbeaflæsningssystem i øjeblikket anvendes i private hjem og et statskontrolleret kraftfirma i Indien for at opdage et dårligt og voldeligt sprog. .

”Dette er et af disse områder, fra mit perspektiv, som er et godt eksempel på 'bare fordi vi kan gøre det, betyder ikke, at vi skal,'" sagde Fraser Sampson, Storbritanniens kommissær for biometri og overvågningskamera, til Motherboard. ”Min største bekymring på dette område ville ikke nødvendigvis være, hvad teknologien kunne gøre, og hvad den ikke kunne gøre, det ville være den kølende effekt af folk, der troede, at den kunne gøre, hvad den siger. Hvis det derefter afskrækkede dem fra at tale offentligt, så er vi i et meget større område end blot privatlivets fred, og privatlivets fred er stort nok. ”

Fremkomsten af ​​læbeaflæsende AI minder om ansigtsgenkendelsesteknologi, som var et nicheområde for forskning i årtier, før det blev stille, men hurtigt, kommercialiseret som et overvågningsværktøj begyndende i begyndelsen af ​​2000'erne.