Straks da Dr. Blake Richards hørte om dyb læring, indså han, at han stod over for mere end bare en metode, der ville revolutionere kunstig intelligens. Han indså, at han kiggede på noget grundlæggende fra den menneskelige hjerne. Det var begyndelsen af 2000'erne, og Richards underviste et kursus på University of Toronto sammen med Jeff Hinton. Hinton, der stod bag oprettelsen af den algoritme, der erobrede verden, blev tilbudt et introduktionskursus om hans undervisningsmetode, inspireret af den menneskelige hjerne.
Nøgleordene her er "hjerneinspireret." Trods Richards overbevisning spillede spillet mod ham. Som det viste sig, har den menneskelige hjerne ikke en vigtig funktion, der er programmeret i dyb indlæringsalgoritmer. På overfladen krænkede disse algoritmer grundlæggende biologiske fakta, der allerede er bevist af neurovidenskabsfolk.
Men hvad nu hvis dyb læring og hjernen faktisk er kompatible?
Og i en ny undersøgelse offentliggjort i eLife foreslog Richards, der arbejdede med DeepMind, en ny algoritme baseret på den biologiske struktur af neuroner i neocortex. Cortex, cerebral cortex, er hjemsted for højere kognitive funktioner såsom resonnementer, forudsigelser og fleksibel tænkning.
Holdet kombinerede deres kunstige neuroner i et lagdelt netværk og udfordrede det til opgaven med klassisk computersyn - at identificere håndskrevne numre.
Den nye algoritme gjorde et fremragende stykke arbejde. Men en anden ting er vigtigt: Han analyserede eksempler på læring på samme måde som dyb indlæringsalgoritmer gør, men var helt bygget på hjernens grundlæggende biologi.
”Dyb læring er mulig i en biologisk struktur,” konkluderede forskerne.
Da denne model i øjeblikket er en computerversion, håber Richards at overføre stafettpinnen til eksperimentelle neurovidenskabsfolk, der kunne teste, om en sådan algoritme fungerer i en rigtig hjerne.
Salgsfremmende video:
I så fald kan dataene tilføres datalogi for at udvikle massivt parallelle og effektive algoritmer, som vores maskiner vil køre på. Dette er det første skridt mod sammensmeltning af de to områder i en "dydig dans" af opdagelse og innovation.
Finde syndebukken
Mens du sandsynligvis har hørt, at AI for nylig har slået de bedste af de bedste i Go, ved du næppe nøjagtigt, hvordan algoritmerne bag dette AI fungerer.
Kort sagt er dyb læring baseret på et kunstigt neuralt netværk med virtuelle "neuroner". Som en høj skyskraber er netværket struktureret i et hierarki: neuron på lavt niveau behandler input - for eksempel vandrette eller lodrette bjælker, der udgør nummer 4 - og neuroner på højt niveau behandler abstrakte aspekter af nummer 4.
For at træne netværket giver du det eksempler på, hvad du leder efter. Signalet forplantes gennem netværket (klatrer op i bygningens trin), og hver neuron forsøger at se noget grundlæggende i arbejdet med de "fire".
Når børn lærer nye ting, klarer netværket sig ikke godt i starten. Hun giver alt det, der efter hennes mening ligner nummer fire - og du får billeder i Picassos ånd.
Men det er nøjagtigt, hvordan læring fortsætter: algoritmen matcher output til det ideelle input og beregner forskellen mellem de to (læse: fejl). Fejl "forplantes tilbage" gennem netværket, træner hver neuron, siger de, dette er ikke det, du leder efter, se bedre ud.
Efter millioner af eksempler og gentagelser begynder Internettet at fungere fejlfrit.
Fejlsignalet er ekstremt vigtigt for indlæring. Uden effektiv "fejlbackpropagation" ved netværket ikke, hvilke af dets neuroner er forkert. På jagt efter en syndebukk forbedrer kunstig intelligens sig selv.
Hjernen gør det også. Men hvordan? Vi har ingen idé.
Biologisk blindgyde
Det åbenlyse er, at den dybe læringsløsning ikke fungerer.
Tilbageprogradering af en fejl er en ekstremt vigtig funktion. Det kræver, at en bestemt infrastruktur fungerer korrekt.
Først skal hver neuron i netværket modtage en fejlmeddelelse. Men i hjernen er neuroner forbundet med kun et par (hvis nogen) downstream-partnere. For at backpropagationen skal fungere i hjernen, skal neuroner på de første niveauer opfatte information fra milliarder af forbindelser i nedstrøms kanaler - og dette er biologisk umuligt.
Og selvom nogle dybe indlæringsalgoritmer tilpasser en lokal form for fejl-backpropagation - i det væsentlige mellem neuroner - kræver det, at deres frem og tilbage forbindelser er symmetriske. I synapser i hjernen sker dette næsten aldrig.
Mere moderne algoritmer tilpasser en lidt anden strategi ved at implementere en separat feedbacksti, der hjælper neuroner med at finde fejl lokalt. Selvom dette er mere biologisk muligt, har hjernen ikke et separat computernetværk dedikeret til at finde syndebukker.
Men det har neuroner med komplekse strukturer i modsætning til de homogene "kugler", der i øjeblikket bruges i dyb læring.
Forgreningsnetværk
Forskere henter inspiration fra de pyramidale celler, der fylder den menneskelige cortex.
"De fleste af disse neuroner er formet som træer, med deres 'rødder' dybt i hjernen og 'grene' kommer ud til overfladen," siger Richards. "Bemærkelsesværdigt får rødderne et sæt input og grenene bliver forskellige."
Det er underligt, men strukturen af neuroner viser sig ofte at være "nøjagtigt den måde, det er nødvendigt" for effektivt at løse et beregningsproblem. Tag for eksempel sensorisk behandling: bunden af pyramidale neuroner er, hvor de skal være for at modtage sensorisk input, og toppe er bekvemt placeret til transmission af fejl gennem feedback.
Kunne denne komplekse struktur være en evolutionær løsning til at håndtere det forkerte signal?
Forskere har oprettet et multilags neuralt netværk baseret på tidligere algoritmer. Men i stedet for homogene neuroner, gav de hendes neuroner i mellemlagene - klemt mellem input og output - svarende til rigtige. Ved at lære af håndskrevne tal fungerede algoritmen meget bedre end et enkeltlags netværk, på trods af fraværet af den klassiske bagudformering af fejlen. Cellulære strukturer kunne selv identificere fejlen. Så på det rigtige tidspunkt kombinerede neuronen begge informationskilder for at finde den bedste løsning.
Der er et biologisk grundlag for dette: neurovidenskabsmænd har længe kendt, at inputgrenene til en neuron udfører lokale beregninger, der kan integreres med backpropagationssignaler fra outputgrenene. Men vi ved ikke, om hjernen virkelig fungerer på denne måde - så Richards bestilte neurovidenskabsfolk til at finde ud af det.
Desuden håndterer dette netværk problemet på en lignende måde som den traditionelle deep learning-metode: det bruger en lagdelt struktur til at udtrække gradvist mere abstrakte ideer om hvert tal.
”Dette er et træk ved dyb læring,” forklarer forfatterne.
Dyb læring hjerne
Der vil uden tvivl være flere vendinger i denne historie, da computerforskere bringer flere biologiske detaljer ind i AI-algoritmer. Richards og hans team ser på en forudsigelig funktion ovenfra og ned, hvor signaler fra højere niveauer direkte påvirker, hvordan lavere niveauer reagerer på input.
Feedback fra højere lag forbedrer ikke kun fejlsignalering; det kan også tilskynde lavere-processerende neuroner til at udføre "bedre" i realtid, siger Richards. Indtil videre har netværket ikke overgået andre ikke-biologiske dybe læringsnetværk. Men det betyder ikke noget.
"Dyb læring har haft en enorm indflydelse på AI, men indtil nu har dens indflydelse på neurovidenskab været begrænset," siger undersøgelsesforfatterne. Nu vil neurovidenskabsmænd have en undskyldning for at gennemføre en eksperimentel test og finde ud af, om strukturen af neuroner ligger til grund for den naturlige algoritme for dyb læring. Måske i de næste ti år vil en gensidigt fordelagtig udveksling af data mellem neurovidenskabsmænd og kunstig intelligensforskere begynde.
Ilya Khel