I løbet af de sidste 10 år har vi takket være den såkaldte deep learning-metode modtaget de bedste kunstige intelligenssystemer - for eksempel talegenkendere på smartphones eller den seneste automatiske oversætter fra Google. Dyb læring er faktisk blevet en ny tendens i de allerede berømte neurale netværk, der har været på mode og kommer ud i over 70 år. Neurale netværk blev først foreslået af Warren McCullough og Walter Pitts i 1994, to forskere ved University of Chicago. I 1952 gik de på arbejde ved Massachusetts Institute of Technology for at lægge grundlaget for den første afdeling for kognition.
Neurale netværk var en af hovedlinierne inden for forskning inden for neurovidenskab og datalogi indtil 1969, hvor de ifølge legenden blev dræbt af MIT-matematikere Marvin Minsky og Seymour Papert, der et år senere blev co-hoveder for MITs nye kunstige intelligenslaboratorium.
Denne metode oplevede en genoplivning i 1980'erne, forsvandt lidt i skyggerne i det første årti af det nye århundrede og vendte tilbage med fanfare i det andet, på toppen af den utrolige udvikling af grafikchips og deres behandlingskraft.
"Der er en opfattelse af, at ideer inden for videnskab er som epidemier af vira," siger Tomaso Poggio, professor i kognition og hjernevidenskab ved MIT.”Der er sandsynligvis fem eller seks store stammer af influenzavirus, og en af dem kommer tilbage med en misundelsesværdig 25-årig sats. Folk bliver inficeret, får immunitet og bliver ikke syge i de næste 25 år. Så vises en ny generation, klar til at blive inficeret med den samme virusstamme. I videnskaben forelsker folk sig i en idé, det gør alle vanvittige, så slår de den ihjel og får immunitet mod den - de bliver trætte af den. Ideer skal have en lignende hyppighed."
Vægtige spørgsmål
Neurale netværk er en metode til maskinlæring, hvor en computer lærer at udføre visse opgaver ved at analysere træningseksempler. Disse eksempler er typisk tagget manuelt på forhånd. Et objektgenkendelsessystem, for eksempel, kan opsuge tusinder af mærkede billeder af biler, huse, kaffekopper osv. Og derefter være i stand til at finde visuelle mønstre i de billeder, der konsekvent korrelerer med bestemte tags.
Et neuralt netværk sammenlignes ofte med den menneskelige hjerne, som også har sådanne netværk, der består af tusinder eller millioner af enkle behandlingsnoder, som er tæt forbundet. De fleste moderne neurale netværk er organiseret i lag af noder, og data flyder gennem dem i kun en retning. En individuel knude kan være knyttet til flere noder i laget under det, hvorfra den modtager data, og flere noder i laget ovenfor, hvortil det transmitterer data.
Salgsfremmende video:
Noden tildeler et nummer til hver af disse indgående links - "vægt". Når netværket er aktivt, modtager noden forskellige datasæt - forskellige numre - for hver af disse forbindelser og ganges med den relevante vægt. Derefter tilføjer han resultaterne til et enkelt nummer. Hvis dette nummer er under tærsklen, transmitterer noden ikke data til det næste lag. Hvis tallet overskrider tærsklen, vågner noden ved at sende nummeret - summen af de vægtede inputdata - til alle udgående forbindelser.
Når et neuralt netværk trænes, indstilles alle dets vægte og tærskler oprindeligt i tilfældig rækkefølge. Træningsdataene føres ind i det nedre lag - inputlaget - og passerer gennem efterfølgende lag, multipliceres og summeres på en kompleks måde, indtil de endelig ankommer, allerede transformeret, i outputlaget. Under træning justeres vægte og tærskler kontinuerligt, indtil træningsdata med de samme mærker giver lignende konklusioner.
Sind og maskiner
De neurale netværk beskrevet af McCullough og Pitts i 1944 havde både tærskler og vægte, men var ikke organiseret i lag, og forskere specificerede ingen specifik læringsmekanisme. Men McCullough og Pitts viste, at et neuralt netværk i princippet kunne beregne enhver funktion, ligesom enhver digital computer. Resultatet kom mere fra neurovidenskabsområdet end computervidenskab: det måtte antages, at den menneskelige hjerne kunne betragtes som en computerenhed.
Neurale netværk er fortsat et værdifuldt værktøj til neurobiologisk forskning. For eksempel gengiver individuelle lag af netværket eller regler for justering af vægte og tærskler de observerede træk ved menneskelig neuroanatomi og kognitive funktioner og påvirkede således, hvordan hjernen behandler information.
Det første træningsbare neurale netværk, Perceptron (eller Perceptron), blev demonstreret af Cornell University-psykolog Frank Rosenblatt i 1957. Perceptrons design lignede et moderne neuralt netværk, bortset fra at det havde et enkelt lag med justerbare vægte og tærskler klemt mellem input- og output-lagene.
"Perceptrons" blev aktivt undersøgt inden for psykologi og datalogi indtil 1959, da Minsky og Papert udgav en bog kaldet "Perceptrons", som viste, at det var upraktisk med hensyn til tid at udføre ganske almindelige beregninger på perceptroner.
"Selvfølgelig forsvinder alle begrænsningerne, hvis du gør maskinerne lidt mere komplekse," for eksempel i to lag, "siger Poggio. Men på det tidspunkt havde bogen en kølig effekt på neurale netværksundersøgelser.
”Disse ting er værd at overveje i en historisk kontekst,” siger Poggio.”Beviset er bygget til programmering på sprog som Lisp. Ikke længe før brugte folk roligt analoge computere. På det tidspunkt var det ikke helt klart, hvad programmering ville føre til. Jeg tror, de overdrev det lidt, men som altid kan du ikke opdele alt i sort / hvidt. Hvis du tænker på det som en konkurrence mellem analog computing og digital computing, kæmpede de for, hvad der var nødvendigt."
hyppighed
I 1980'erne havde forskere imidlertid udviklet algoritmer til at ændre neurale netværksvægte og tærskler, der var effektive nok til netværk med mere end et lag, hvilket fjernede mange af de begrænsninger, der blev identificeret af Minsky og Papert. Dette område har oplevet en renæssance.
Men fra et rimeligt synspunkt manglede der noget i de neurale netværk. En længe træningssession kunne føre til en revision af netværksindstillingerne, indtil den begynder at klassificere dataene på en nyttig måde, men hvad betyder disse indstillinger? Hvilke egenskaber ved billedet ser genstandsgenkenderen på, og hvordan sætter de dem sammen for at danne de visuelle underskrifter på biler, huse og kopper kaffe? En undersøgelse af vægten af individuelle forbindelser vil ikke besvare dette spørgsmål.
I de senere år er computerforskere begyndt at finde frem til geniale metoder til at bestemme de analytiske strategier, der er vedtaget af neurale netværk. Men i 1980'erne var strategierne i disse netværk uforståelige. Ved århundredeskiftet blev neurale netværk erstattet af vektormaskiner, en alternativ tilgang til maskinindlæring baseret på ren og elegant matematik.
Den nylige stigning i interesse i neurale netværk - den dybe læringsrevolution - skyldes spillebranchen. Den komplekse grafik og hurtige tempo i moderne videospil kræver hardware, der kan holde trit med udviklingen, hvilket resulterer i en GPU (grafikbehandlingsenhed) med tusinder af relativt enkle behandlingskerner på en enkelt chip. Forskere indså snart, at GPU-arkitektur var perfekt til neurale netværk.
Moderne GPU'er gjorde det muligt at opbygge netværk fra 1960'erne og to- og trelagsnetværk fra 1980'erne til grupper af 10-, 15- og endda 50-lags netværk i dag. Dette er, hvad ordet "dyb" er ansvarlig for i "dyb læring". Til dybden af netværket. Deep learning er i øjeblikket ansvarlig for de mest effektive systemer inden for næsten alle områder inden for kunstig intelligensforskning.
Under kølerhjelmen
Netværksopacitet bekymrer stadig teoretikere, men der er fremskridt på denne front. Poggio leder et forskningsprogram om intelligensens teoretiske fundamenter. For nylig frigav Poggio og hans kolleger en teoretisk undersøgelse af neurale netværk i tre dele.
Den første del, der blev offentliggjort i sidste måned i International Journal of Automation and Computing, vedrører række beregninger, som deep learning-netværk kan gøre, og når dybe netværk drager fordel af lavvandet. Del to og tre, der blev frigivet som forelæsninger, adresserer udfordringerne ved global optimering, det vil sige at sikre, at netværket finder de indstillinger, der bedst passer til dens træningsdata, og når netværket forstår så godt specifikationerne i dets træningsdata. som ikke kan generalisere andre manifestationer af de samme kategorier.
Der er stadig mange teoretiske spørgsmål forude, hvilke svar der skal gives. Men der er håb om, at neurale netværk endelig vil være i stand til at bryde den generationscyklus, der dypper dem ned i varme og undertiden koldt.
ILYA KHEL