For nylig har neurale netværk overrasket deres evner - kunne du troet for ti år siden, at en computer kunne "animere" portrætter af Dostojevskij og Marilyn Monroe? Forbered dig på at blive forbløffet yderligere, fordi forskere ved MIT har oprettet et Speech2Face neuralt netværk, der er i stand til at tegne portrætter af mennesker ved blot at lytte til deres stemmer. Teknologien er langt fra ideel, men dens evne til at bestemme en persons køn, nationalitet og alder er imponerende.
For at træne det neurale netværk blev AVSpeech-kittet brugt med en million korte videoer med tusinder af talende mennesker. Spor med video og lyd er adskilt, så systemet var i stand til at studere hver type materiale så meget detaljeret som muligt. I den første fase af arbejdet studerede VGG-Face-algoritmen videofragmenter og skabte portrætter af folket på dem i fuld ansigt og neutrale ansigtsudtryk. En anden del af algoritmen studerede spektrogrammet for stemmen og anvendte yderligere ændringer til de resulterende portrætter - som et resultat opnåedes et omtrentlig portræt af hver person, der talte.
Et neuralt netværk til oprettelse af stemmebaserede portrætter er allerede en realitet
Hvis du sammenligner en persons ansigt med en video og den mulighed, der er foreslået af algoritmen, kan du finde mange forskelle. Imidlertid forsikrer forskerne, at de oprindeligt ikke ønskede at skabe det mest lignende portræt af en person - mange faktorer påvirker tonen og intonationen af den menneskelige stemme, så de ville alligevel ikke have fået det ideelle resultat. Men det neurale netværk gør et fremragende stykke arbejde for det, der er vigtigt for forskerne, nemlig den nøjagtige bestemmelse af køn, nationalitet og alder.
Forfatterne af værket bemærkede, at algoritmen i øjeblikket er svag til at bestemme alderen, men at de kan forbedre nøjagtigheden. Det blev også fundet, at algoritmen bedre genskaber europæiske og asiatiske ansigter, men dette skyldes kun, at træningsvideoerne havde et forskelligt antal ansigter fra forskellige nationaliteter.
Salgsfremmende video:
Hvorfor har du brug for et neuralt netværk?
Hvordan kan denne teknologi være nyttig i fremtiden? Alternativt kan der ved hjælp af den oprettes en tjeneste en dag, hvor en brugers virtuelle avatar oprettes automatisk, baseret på hans stemme. Den nye undersøgelse har også store videnskabelige fordele - ved at studere dataene kan forskere finde forholdet mellem en persons udseende og hans stemme. Du kan lytte til stemmer og se på portrætter, der er gendannet på baggrund af projektets hjemmeside.
Ramis Ganiev