Den største lektion, der kan læres fra 70 års AI-forskning, er, at generelle metoder, der bruger beregning, i sidste ende er de mest effektive - og med en bred margin. Den ultimative grund til dette er Moore's Law. Eller rettere dets generalisering: den fortsatte, eksponentielle reduktion i omkostningerne ved computerprocessorer. Denne "bitre lektion" blev delt af Richard Sutton, en canadisk computerforsker. Yderligere - fra den første person.
Hvorfor har kunstig intelligensforskning stået i stå i 70 år?
De fleste kunstige efterforskninger er blevet udført, som om de beregninger, som agenten har til rådighed, var vedvarende (og i dette tilfælde ville anvendelse af menneskelig viden være en af de eneste måder til at forbedre ydeevnen). Men over tid - meget mere end et typisk forskningsprojekt har brug for - bliver det uundgåeligt meget mere beregning. På jagt efter forbedringer, der kan hjælpe på kort sigt, forsøger forskere at maksimere menneskelig viden på dette område, men det eneste, der betyder noget på lang sigt, er den stigende brug af computing. Disse to aspekter bør ikke modvirke hinanden, men i praksis gør de det. Tiden, der bruges på en af dem, er ikke lig med den tid, der bruges på den anden. Der er psykologiske forpligtelser til at investere i en eller anden tilgang. Og den menneskelige videnstilgang har tendens til at komplicere metoder på en sådan måde, at de bliver mindre egnede til at drage fordel af generelle metoder, der bruger beregning.
Der har været mange eksempler på, at AI-forskere sent har forstået denne bitre lektion. Det vil være lærerigt at overveje nogle af de mest fremtrædende eksempler.
I computerskak var metoderne, der besejrede verdensmesteren Kasparov i 1997, baseret på massiv, dyb søgning. På det tidspunkt blev de set af forfærdelse af de fleste computerskakforskere, der brugte metoder baseret på menneskelig forståelse af den specifikke struktur for skak. Når en enklere, søgebaseret tilgang med specialiseret hardware og software viste sig at være meget mere effektiv, indrømmede forskere, der bygger på den menneskelige forståelse af skak, ikke nederlag. De sagde:”Denne gang kan brute-force-metoden have vundet, men det bliver ikke en overordnet strategi, og bestemt spiller folk ikke skak på den måde. Disse forskere ønskede, at menneskebaserede metoder kunne vinde, og var meget skuffede, da de ikke gjorde det.
Salgsfremmende video:
Et lignende billede af forskningsfremskridt blev set i computer go, kun med en forsinkelse på yderligere 20 år. Oprindeligt blev der gjort en stor indsats for at undgå søgning ved hjælp af menneskelig viden eller gameplay, men alle disse anstrengelser var unødvendige eller endnu værre, når søgningen blev anvendt effektivt og i stor skala. Det var også vigtigt at bruge læring i processen med uafhængigt spil for at lære værdifunktionen (som det var tilfældet i mange andre spil og endda i skak, kun læring spillede ikke en stor rolle i 1997-programmet, som slog verdensmesteren for første gang). At lære at lege med sig selv, lære som en helhed er som en søgning, der giver dig mulighed for at anvende enorme matrixer af beregninger. Søgning og læring er to af de vigtigste klasser af teknikker, der involverer enorme mængder beregning i AI-forskning. Gå i computerenSom i computerskak var forskernes oprindelige indsats rettet mod at bruge menneskelig forståelse (så der var mindre søgning), og meget mere succes blev først opnået meget senere ved hjælp af søgning og læring.
Inden for talegenkendelse blev der afholdt en DARPA-sponsoreret konkurrence i 1970'erne. Deltagerne præsenterede forskellige metoder, der drage fordel af menneskelig viden - kendskab til ord eller fonemer, den menneskelige vokalveje og så videre. På den anden side af barrikaderne var der nyere metoder, statistiske og udførte mere beregning, baseret på skjulte Markov-modeller (HMM). Igen vandt statistiske metoder over videnbaserede metoder. Dette førte til store ændringer i al naturlig sprogbehandling, som gradvist blev indført i årtier, indtil statistik og beregning til sidst begyndte at dominere feltet. Den nylige stigning i dyb læring inden for talegenkendelse er det allerbedste skridt i denne konsistente retning. Dyb læring er endnu mindre afhængig af menneskelig viden og bruger endnu mere beregning sammen med træning på store sæt prøver og producerer fantastiske talegenkendelsessystemer.
Richard Sutton, canadisk computerforsker.
Som i spil har videnskabsmænd altid forsøgt at skabe systemer, der fungerer, som de forestillede sig i deres hoveder - de forsøgte at lægge denne viden i deres systemer - men det kom alt sammen meget uproduktivt, forskere spiste bare tid, mens - på grund af Moore's Law - flere og mere massive beregninger blev tilgængelige og fandt fremragende applikationer.
Et lignende billede var inden for computervision. De første metoder blev opfattet som en søgning efter bestemte konturer, generaliserede cylindre eller ved at bruge funktionerne i SIFT (skala-invariant transformation af funktioner). Men i dag blev alt dette kastet i ovnen. Moderne dybe lærende neurale netværk bruger kun konceptet om konvolvering og visse invarianter og klarer sig meget bedre.
Dette er en fantastisk lektion.
Uanset hvor vi ser, foretager vi de samme fejl overalt. For at se dette og håndtere det effektivt, skal du forstå, hvorfor disse fejl er så attraktive. Vi må lære den bitre lektie, at opbygge, hvordan vi tænker ud fra, hvordan vi tror, ikke vil fungere i det lange løb. En bitter lektion baseret på historisk observation viser, at: 1) AI-forskere ofte har forsøgt at opbygge viden til deres agenter; 2) det hjalp altid på kort sigt og bragte forskere tilfredshed; 3) men på lang sigt stod alt stille og hindrede yderligere fremskridt; 4) Forstyrrende fremskridt kom uundgåeligt med den modsatte tilgang, baseret på skalering af beregning gennem søgning og læring. Succes havde en bitter smag og blev ofte ikke fuldt optaget.fordi det er succes med computing, ikke succes med menneskets centrerede tilgange.
Én ting at lære af denne bitre lektie er den enorme magt til generelle metoder, metoder, der fortsætter med at skalere med væksten i beregningen, selv når den tilgængelige beregning bliver meget stor. To metoder, der ser ud til at skalere vilkårligt på denne måde, er søgning og læring.
Den anden ting, man kan lære af denne bitre lektie, er, at sindets faktiske indhold er ekstremt og unødvendigt kompliceret; vi burde holde op med at forsøge at finde enkle måder at give mening om sindets indhold på, ligesom enkle måder at give mening om rum, objekter, flere agenter eller symmetrier på. De er alle del af en vilkårligt kompleks ekstern verden. Vi bør ikke prøve at bygge videre på dem, fordi deres kompleksitet er uendelig; vi bør bygge videre på metametoder, der kan finde og fange denne vilkårlige kompleksitet. Disse metoder kan finde gode tilnærmelser, men søgningen efter dem skal udføres ved hjælp af vores metoder og ikke af os. Vi har brug for AI-agenter, der kan opdage på samme måde, som vi kan, og ikke indeholder det, vi har opdaget. At bygge videre på vores opdagelser komplicerer kun processen med opdagelse og søgning.
Ilya Khel