Området kunstig intelligens sammenlignes ofte med olieindustrien: når de først er udvundet og raffineret, kan data, som olie, blive en meget rentabel vare. Men det bliver nu klart, at denne metafor udvides. Ligesom fossile brændstoffer har dyb læring en enorm indvirkning på miljøet. I en ny undersøgelse vurderede forskere ved University of Massachusetts Amherst læringslivscyklussen for flere almindelige store AI-modeller.
Det fandt, at denne proces kan generere over 626.000 pund (ca. 300.000 kg) kuldioxidækvivalent, næsten fem gange emissionen af en typisk bil på fem år (inklusive produktionen af selve bilen).
Hvordan AI-modeller trænes
Dette er en fantastisk kvantificering af, hvad AI-forskere længe har mistanke om.
Natural Language Processing Carbon Footprint
Salgsfremmende video:
Papiret vedrører specifikt processen med at træne en model til naturlig sprogbehandling (NLP), et underfelt i AI, der beskæftiger sig med træningsmaskiner til at arbejde med menneskeligt sprog. I løbet af de sidste to år har NLP-samfundet taget adskillige vigtige milepæle inden for maskinoversættelse, færdiggørelse af sætninger og andre standardklassificeringsopgaver. Den berygtede OpenAI GPT-2-model har som eksempel lykkedes at skrive overbevisende falske nyhedshistorier.
Men sådanne fremskridt krævede uddannelse af stadig større modeller på strakte datasæt fra sætninger trukket fra Internettet. Denne tilgang er beregningsdygtig og meget energikrævende.
Forskerne kiggede på de fire modeller i området, der var ansvarlige for de største spring i ydeevnen: Transformer, ELMo, BERT og GPT-2. De trente hver af dem på en enkelt GPU i en dag for at måle strømforbruget.
De tog derefter det antal træningstimer, der er angivet i de originale modeldokumenter for at beregne den samlede energi, der blev forbrugt under hele træningsprocessen. Denne mængde blev konverteret til ækvivalent med pund kuldioxid, hvilket var i overensstemmelse med AWS-energimiks fra Amazon, verdens største skyudbyder.
Det fandt, at beregnings- og miljøomkostningerne ved træning steg i forhold til størrelsen på modellen og derefter steg eksponentielt, når den endelige nøjagtighed af modellen blev justeret. En neural arkitektursøgning, der forsøger at optimere en model ved gradvist at ændre den neurale netværksstruktur gennem prøve og fejl, medfører ekstremt høje omkostninger med ringe ydeevne. Uden den efterlod den dyreste BERT-model et carbon footprint på 1.435 kg (635 kg), tæt på en transamerikansk rundtur.
Disse tal bør desuden kun betragtes som basislinjer.
I alt estimerer videnskabsmændene, at processen med at oprette og teste den endelige publikationsmodel krævede uddannelse af 4.789 modeller på seks måneder. Med hensyn til CO2-ækvivalent er det ca. 35.000 kg.
Betydningen af disse tal er kolossal, især i betragtning af de aktuelle tendenser inden for AI-forskning. Generelt forsømmer AI-forskning effektiviteten, fordi store neurale netværk anerkendes som nyttige til forskellige opgaver, og virksomheder med ubegrænsede databehandlingsressourcer vil bruge dem til at få en konkurrencefordel.
Ilya Khel