Kunstig intelligens læste de aggressive kommentarer fra Reddit-brugere og forstod, hvordan folk, der hader andre mennesker, taler. Det er vanskeligere at narre ham end en almindelig botemoderator.
Internettet er beboet af fede og tynde trold og er bare uhøflige mennesker, der ikke går i lommerne for ord. At moderere Internettet manuelt er et hårdt og taknemmeligt job. Bots, der er programmeret til at søge efter ord fra den "forbudte liste", gør det bedre, men de kan ikke vide, hvornår en kaustisk kommentar med kodeord er en ufarlig vittighed, og når det er et ondt verbalt angreb.
Forskere i Canada har lært kunstig intelligens at skelne uhøflige vittigheder fra sårende vittigheder og hvad sociologer kalder "hadetale."
Dana Wormsley, en af skaberne af AI, bemærker, at "hadetal" er vanskeligt at formalisere. Faktisk kan formelt stødende ord bruges både med ironi og i deres mildere betydning; kun nogle af de tekster, der indeholder sådanne ord, alvorligt inciterer og ydmyger. Vi vil ikke give eksempler, fordi de regeringsorganisationer, der regulerer Internettet i Rusland, endnu ikke har kunstig intelligens).
Neuralnetværket blev trænet på prøverne af udsagn fra medlemmer af samfundet kendt for deres fjendtlighed over for forskellige grupper af befolkningen. Det neurale netværk lærte fra stillingerne på Reddit-webstedet - en platform, hvor du kan finde en lang række interessegrupper, fra borgerrettighedsaktivister til radikale misogynister. De tekster, der blev uploadet til systemet, fornærmede ofte afroamerikanere, overvægtige mennesker og kvinder.
Et neuralt netværk, der blev trænet på denne måde, gav færre falske positiver end programmer, der bestemmer "hadetal" med nøgleord. Systemet fangede racisme, hvor der overhovedet ikke var indikatorord. Men trods den gode præstation er skaberne af AI-moderatoren ikke sikker på, at deres udvikling vil blive brugt i vid udstrækning. Indtil videre har hun med succes fundet hadytringer om Reddit, men hvorvidt hun vil være i stand til at gøre det samme på Facebook og andre platforme er ukendt. Plus, systemet er ufuldstændigt, og nogle gange går det glip af mange af de tilsyneladende uhøflige racistiske udsagn, som en søgeordssøgemaskine ikke ville gå glip af. Den eneste, der er i stand til at skelne en fornærmelse fra en uskyldig vittighed, mens personen forbliver.