På Amerikas vestkyst forsøger verdens mest værdifulde virksomheder at gøre kunstig intelligens smartere. Google og Facebook praler med eksperimenter ved hjælp af milliarder af fotos og tusinder af højtydende processorer. Men sent på sidste år overgik et projekt i det østlige Tennessee roligt omfanget af ethvert virksomheds AI-laboratorium. Og det blev drevet af den amerikanske regering.
Amerikanske regerings supercomputer bryder rekorder
Det rekordstore projekt involverede verdens mest magtfulde supercomputer, topmødet, på Oak Ridge National Laboratory. Denne bil vandt kronen i juni sidste år og returnerede titlen til USA fem år senere, da Kina toppede listen. Som en del af et klimaforskningsprojekt lancerede en gigantisk computer et maskinindlæringseksperiment, der var hurtigere end nogensinde før.
Topmødet, der dækkede et område svarende til to tennisbaner, anvendte mere end 27.000 magtfulde GPU'er i dette projekt. Han brugte deres magt til at træne dyb læringsalgoritmer, selve teknologien, der understøtter avanceret kunstig intelligens. Ved dyb læring udfører algoritmer øvelser med en milliard milliard operationer pr. Sekund, kendt i supercomputerende kredse som en exaflop.
”Dyb læring har aldrig opnået dette præstationsniveau før,” siger Prabhat, leder af forskerteamet ved National Energy Research Center ved Lawrence Berkeley National Laboratory. Hans team samarbejdede med forskere ved topmødets hovedkvarter, Oak Ridge National Laboratory.
Som du måske gætter, fokuserede AI-træningen på verdens mest magtfulde computer på en af verdens største udfordringer - klimaændringer. Tekniske virksomheder træner algoritmer til at genkende ansigter eller vejskilte; regeringsforskere har oplært dem til at genkende vejrmønstre som cykloner fra klimamodeller, der komprimerer hundredeårsprognoser for jordens atmosfære i tre timer. (Det er imidlertid uklart, hvor meget energi projektet krævede, og hvor meget kulstof der blev frigivet i luften i denne proces).
Salgsfremmende video:
Topmødets eksperiment har konsekvenser for fremtiden for kunstig intelligens og klimatologi. Projektet demonstrerer det videnskabelige potentiale ved at tilpasse dyb læring til supercomputere, der traditionelt simulerer fysiske og kemiske processer såsom nukleare eksplosioner, sorte huller eller nye materialer. Det viser også, at maskinlæring kan drage fordel af mere computerkraft - hvis du kan finde det - og give gennembrud i fremtiden.
”Vi vidste ikke, at det kunne ske på denne skala, indtil vi gjorde det,” siger Rajat Monga, CTO hos Google. Han og andre Googlers hjalp projektet ved at tilpasse virksomhedens open source TensorFlow-maskinlæringssoftware til Summits gigantiske skala.
Meget af arbejdet med dyb læringsskalering er blevet udført i datacentre for internetvirksomheder, hvor servere arbejder sammen om problemer og adskiller dem, fordi de er relativt usammenhængende snarere end samlet i en kæmpe computer. Supercomputere som Summit har en anden arkitektur med specialiserede højhastighedsforbindelser, der forbinder deres tusinder af processorer til et enkelt system, der kan fungere som en helhed. Indtil for nylig har der været relativt lidt arbejde med at tilpasse maskinlæring til at arbejde med denne type hardware.
Monga siger, at arbejde med at tilpasse TensorFlow til topmøde-skalaen også vil understøtte Googles bestræbelser på at udvide sine interne kunstige intelligenssystemer. Nvidia-ingeniører deltog også i dette projekt og sørgede for, at titusinder af Nvidia GPU'er i denne maskine fungerer uden problemer.
At finde måder til at udnytte mere computerkraft i dyb indlæringsalgoritmer har været medvirkende til den aktuelle teknologiudvikling. Den samme teknologi, som Siri bruger til stemmegenkendelse og Waymo-biler til læsning af vejskilte, blev nyttig i 2012, efter at forskere tilpassede den til at køre på Nvidia GPU'er.
I en analyse, der blev offentliggjort i maj sidste år, estimerede forskere ved OpenAI, et San Francisco-forskningsinstitut, der blev grundlagt af Elon Musk, at mængden af computerkraft i de største offentlige maskinlæringseksperimenter er fordoblet omtrent hver 3.43 måned siden 2012; dette ville repræsentere en 11-fold stigning i et år. Denne progression hjalp Alphabet-bot med at slå mestrene i udfordrende bræt- og videospil og forbedrede også nøjagtigheden af Googles oversætter.
Google og andre virksomheder opretter i øjeblikket nye typer AI-aktiverede chips for at fortsætte denne tendens. Google siger, at pods med tusinder af dets AI-chips tæt placeret - duplikerede tensorprocessorer eller TPU'er - kan give 100 petaflops forarbejdningskraft, en tiendedel af den hastighed, der blev nået ved topmødet.
Topmødets bidrag til klimaforskning viser, hvordan gigantisk AI kan forbedre vores forståelse af fremtidige vejrforhold. Når forskere genererer århundrede gamle vejrforudsigelser, bliver det en udfordring at læse den resulterende prognose.”Forestil dig, at du har en YouTube-film, der har kørt i 100 år. Der er ingen måde at manuelt finde alle katte og hunde i denne film,”siger Prabhat. Normalt bruges software til at automatisere denne proces, men den er ikke perfekt. Resultaterne af topmødet viste, at maskinlæring kan gøre dette meget bedre, hvilket skulle hjælpe med at forudsige storme som oversvømmelser.
Ifølge Michael Pritchard, en professor ved University of California, Irvine, er lancering af dyb læring på supercomputere en relativt ny idé, der kom på et praktisk tidspunkt for klimaforskere. Afmatningen i avanceringen af traditionelle processorer har ført til, at ingeniører har udstyret supercomputere med et stigende antal grafikchips for at forbedre ydelsen mere konsekvent.”Tiden er inde, hvor du ikke længere kan øge behandlingskraften på den sædvanlige måde,” siger Pritchard.
Dette skift bragte traditionel modellering til stilstand og måtte derfor tilpasse sig. Det åbner også døren til at udnytte kraften i dyb læring, som naturligt egner sig til grafikchips. Måske får vi et klarere billede af fremtiden for vores klima.
Ilya Khel