Ledere for mere end hundrede af verdens førende kunstige intelligensfirmaer er meget bekymrede over udviklingen af "killer robots". I et åbent brev til FN advarede disse erhvervsledere, herunder Elon Musk fra Tesla og grundlæggerne af Googles DeepMind, om, at brugen af autonom våbenteknologi kunne vedtages af terrorister og despoter eller mere eller mindre blive hacket.
Men den virkelige trussel er meget mere alvorlig - og det er ikke kun menneskelig forkert handling, men også maskinforurening. Undersøgelse af komplekse systemer viser, at de kan opføre sig meget mere uforudsigeligt, end man kan udlede af summen af individuelle handlinger. På den ene side betyder det, at det menneskelige samfund kan opføre sig meget anderledes, end du kunne forvente ved at studere individers adfærd. På den anden side gælder det samme for teknologi. Selv økosystemer af enkle kunstige intelligensprogrammer - som vi kalder stumme, gode bots - kan overraske os. Selv individuelle bots kan opføre sig forfærdeligt.
De individuelle elementer, der udgør komplekse systemer, såsom økonomiske markeder eller globalt vejr, har en tendens til ikke at interagere på en enkel lineær måde. Dette gør disse systemer meget vanskelige at modellere og forstå. Selv efter mange års klimaforskning er det f.eks. Umuligt at forudsige vejrens langvarige opførsel. Disse systemer er lige så følsomme over for de mindste ændringer, som de reagerer eksplosivt. Det er meget vanskeligt at kende den nøjagtige tilstand af et sådant system på et givet tidspunkt. Alt dette gør disse systemer internt uforudsigelige.
Alle disse principper gælder for store grupper af mennesker, der handler på deres egen måde, det være sig menneskelige samfund eller grupper af AI-bots. Forskere studerede for nylig en type kompleks system, der brugte gode bots til automatisk at redigere Wikipedia-artikler. Disse forskellige bots er designet, skrevet og brugt af betroede Wikipedia-redaktører, og deres underliggende software er open source og tilgængelig for alle. Individuelt har de et fælles mål om at forbedre leksikonet. Deres kollektive opførsel viste sig imidlertid at være overraskende ineffektiv.
Veletablerede regler og konventioner er kernen i, hvordan disse bots fungerer på Wikipedia, men da webstedet ikke har et centralt kontrolsystem, er der ingen effektiv koordinering mellem de mennesker, der kører de forskellige bots. Resultaterne afslørede et par bots, der annullerede hinandens redigeringer i flere år, og ingen bemærkede det. Og selvfølgelig, da disse bots overhovedet ikke lærer, bemærkede de heller ikke.
Disse bots er designet til at fremskynde redigeringsprocessen. Men små forskelle i design af bots, eller mellem de mennesker, der bruger dem, kunne føre til et massivt spild af ressourcer i en igangværende "rediger krig", som kunne løses meget hurtigere af redaktører.
Forskerne fandt også, at bots opførte sig forskelligt i forskellige sprogversioner af Wikipedia. Reglerne, det ser ud til, er næsten de samme, målene er identiske, teknologierne er ens. Men på den tysk-sproglige Wikipedia var botsamarbejdet meget mere effektivt og produktivt end for eksempel på portugisisk. Dette kan kun forklares med forskellene mellem de menneskelige redaktører, der kørte disse bots i forskellige miljøer.
Salgsfremmende video:
Eksponentiel forvirring
Bots fra Wikipedia har ikke bred autonomi, og systemet fungerer ikke længere i overensstemmelse med målene for de enkelte bots. Men Wikimedia Foundation planlægger at bruge AI, der vil give mere autonomi til disse bots. Og det vil sandsynligvis føre til endnu mere uforudsigelig opførsel.
Et godt eksempel på, hvad der kan ske, vises af bots, der er designet til at tale med mennesker, når de bliver tvunget til at kommunikere med hinanden. Vi er ikke længere overrasket over svar fra personlige assistenter som Siri. Men få dem til at kommunikere med hinanden, og de vil hurtigt begynde at opføre sig på uventede måder, argumentere og endda fornærme hinanden.
Jo større systemet bliver, og jo mere autonom hver bot bliver, jo mere kompliceret og uforudsigelig vil systemets fremtidige adfærd være. Wikipedia er et eksempel på et stort antal relativt enkle bots på arbejde. Chatbot-eksemplet er et eksempel på et lille antal relativt komplekse og opfindelige bots - i begge tilfælde opstår uforudsete konflikter. Kompleksitet, og derfor uforudsigelighed, vokser eksponentielt, når personlighed tilføjes systemet. Når systemer med et stort antal meget komplekse robotter vises fremover, vil deres uforudsigelighed derfor gå ud over vores forestillinger.
Flammende vanvid
Selvkørende biler lover for eksempel at gøre et gennembrud i effektivitet og trafiksikkerhed. Men vi ved endnu ikke, hvad der vil ske, når vi har et stort vildt system med fuldt autonome køretøjer. De kan opføre sig forskelligt, selv i en lille flåde af individuelle køretøjer i et kontrolleret miljø. Og endnu mere uforudsigelig opførsel kan manifestere sig, når selvkørende biler, "trænet" af forskellige mennesker forskellige steder, begynder at interagere med hinanden.
Folk kan tilpasse sig nye regler og konventioner relativt hurtigt, men de har svært ved at skifte mellem systemer. Kunstige stoffer kan være endnu vanskeligere. For eksempel, hvis en bil "uddannet i Tyskland" rejser til Italien, ved vi ikke, hvordan den vil mestre de uskrevne kulturelle konventioner, som mange andre "uddannede i Italien" biler følger. Noget dagligdags som at krydse et kryds kan blive dødbringende risikabelt, fordi vi bare ikke ved, om bilerne vil interagere ordentligt, eller om de vil opføre sig uforudsigeligt.
Tænk nu på mordroboterne, der chikanerer Musk og hans kolleger. En morder robot kan være meget farlig i de forkerte hænder. Hvad med systemet med uforudsigelige killerrobotter? Tænk for dig selv.
Ilya Khel