Rozhovor: Jakub Šuster, CEO elv.ai / AI nám pomáha moderovať toxické komentáre
Ako s nenávistnými komentármi pracujete vo vašej firme?
Jakub Šuster: Z dát výskumných inštitúcií, ako aj z našich dát vidíme, že jeden z najúčinnejších nástrojov na boj s nenávistnými komentármi je moderácia. Štúdia odborníkov z Columbia University, Bocconi University, University of Chicago, Mozilla Foundation a University of Warwick zistila, že používatelia sociálnych sietí, ktorí nevideli toxický obsah, ho sami prestali zverejňovať. Toxicita príspevkov klesla na Facebooku o 35 % a na Twitteri o 20 %. My diskusie moderujeme pomocou AI a ľudských moderátorov, čo zaručuje najvyššiu mieru presnosti. No boj proti nenávistným komentárom nie je len o ich odstránení. Treba tiež pochopiť emócie vyjadrené v komentároch, aby sme identifikovali trendy v spoločenských diskusiách. Na tejto novej funkcionalite sme pracovali posledné mesiace.
Ako funguje technológia na analýzu emócií?
Jakub Šuster: Na funkcii analýzy emócií sme spolupracovali so spoločnosťou CulturePulse. Technológia CulturePulse sa zameriava sa viac ako 90 dimenzií ľudskej psychológie a kultúry vrátane morálky, konfliktov a sociálnych tém. Základ AI modelu sa nezameriava len na tradičné procesy machine learning, ale aj na zdieľané evolučné vzorce, ktoré sa vyskytujú v rôznych kultúrach. Algoritmus využíva poznatky z viac ako 30 rokov klinicky overenej kognitívnej vedy na dekódovanie presvedčení, ktoré ovplyvňujú správanie ľudí.
Ako AI rozhodne, či ide o toxický príspevok? Rozozná iróniu, humor, sarkazmus? Sú tieto príspevky automaticky hodnotené ako toxické?
Jakub Šuster: Model AI skrýva komentáre, ktoré obsahujú nenávistné prejavy, násilné prejavy, vulgarizmy, potvrdené hoaxy. Náš model a moderátori sa rozhodujú na základe nášho manuálu moderácie, ktorý je založený na guidelines od spoločnosti Meta a platnej legislatíve DSA. Pokiaľ si model AI nie je stopercentne istý, ako má rozhodnúť, či má komentár nechať, alebo skryť, posiela ho na schválenie trénovanému ľudskému moderátorovi. Vďaka ľudskému dohľadu teda náš štýl moderácie rozumie aj irónii, slangu, sarkazmu. Ak je komentár podľa nás na hrane schválenia, vždy sa radšej prikloníme k jeho schváleniu.
Kontroluje niekto rozhodnutie AI?
Jakub Šuster: Máme samostatnú skupinu moderátorov vyhradených špeciálne na prechádzanie rozhodnutí, ktoré AI urobí, aby sme zaistili čo najvyššiu presnosť.
Podľa aktuálnych prieskumov nenávisť v komentároch platforiem výrazne stúpla. Viete poskytnúť konkrétne čísla?
Jakub Šuster: Šestnásteho apríla sme počas volieb zaznamenali historicky najviac komentárov počas dňa, čo bolo 105 000 komentárov, z nich 13 % bolo nenávistných. Počas dňa pokusu o atentát na premiéra sme zachytili dokopy 71 818 komentárov, z ktorých bolo toxických 21 %. Priemer 13 % skrytých komentárov zo 16. 4. vzrástol 15. 5. na priemer 21 %, čo je nárast o 60 %.
Vedeli by ste porovnať dáta o toxických príspevkoch s inými udalosťami, odkedy monitorujete diskusie v komentároch médií?
Jakub Šuster: Ak si porovnáme atentát na slovenského premiéra s teroristickým útokom na pražskej univerzite v decembri minulého roka, vidíme v komentároch rozdielne reakcie. Po streľbe v Prahe sme v komentároch pozorovali výrazné zvýšenie smútku o 30,81 % a vľúdnosti o 43,74 %, zatiaľ čo v prípade streľby na Roberta Fica tieto prejavy oproti priemeru poklesli.
Ako analyzujete nenávistné komentáre po útoku na premiéra Fica?
Jakub Šuster: Vidíme počet všetkých spracovaných komentárov a všetkých skrytých komentárov a podľa toho vypočítame mieru toxicity – skryté sú iba nenávistné komentáre. AI používame aj na analýzu emócií, ako je hnev, šťastie, úzkosť, smútok, láskavosť, neistota. Po atentáte premiéra stúpla celková negativita v online diskusiách na sociálnych sieťach o 31,94 % oproti mesačnému priemeru za máj. Miera hnevu sa zvýšila až o 52,75 %, úzkosť takisto o 49,6 %. Naopak, pozitivita klesla o 30,90 % oproti priemeru sledovaného obdobia. Prejavy smútku sa znížili o 32,14 % a aj prejavy láskavosti sa znížili o 56,49 %.
Za Nextech sa zhováral MARTIN DROBNÝ
O Jakubovi:
Jakub pracoval viac ako 5 rokov v oblasti PR a politického marketingu, kde pozoroval, ako médiá zápasia s nenávistnými komentármi na svojich profiloch na sociálnych sieťach. To viedlo k nápadu efektívnejšie moderovať komentáre pomocou AI. Výsledkom bolo, že elv.ai pomohol slovenským a českým médiám eliminovať dezinformácie v ich komentároch, čím si Jakub vyslúžil miesto v tohtoročnom slovenskom rebríčku Forbes 30 do 30 rokov. Je takisto členom European Democracy Youth Network a členom dobrovoľníckych organizácií, ako together.eu a European Team Direct.
O firme:
Startup elv.ai chráni viac ako 100 slovenských a českých médií a značiek pred škodlivými komentármi pomocou AI a ľudských moderátorov na platformách ako Facebook, Instagram a YouTube, patrí medzi Meta Business Partners. Identifikuje aj emócie publika a pomáha manažérom sociálnych sietí rýchlejšie a efektívnejšie komunikovať s ich publikom. Analyzuje v komentároch text, obrázky, video, GIF, odkazy, nálepky a emotikony v jazykoch, ako sú slovenčina, čeština, angličtina, poľština, nemčina. Automaticky skrýva vulgárny, sexuálny, urážlivý, násilný obsah a výrazy špecifické pre značku. Projekt získal niekoľko ocenení, napríklad cenu Prokop Asociácie public relations na Slovensku či cenu nadácie Pontis.
Tech:
elv.ai používa open source multilingválny model. Pri jeho trénovaní boli použité dátové súbory z verejne dostupných komentárov a takisto dáta zozbierané z manuálneho moderovania komentárov na sociálnych sieťach ľudskými moderátormi. Úlohou AI je rozhodnúť, či komentár patrí do triedy Approve, ktorá predstavuje komentáre, ktoré sú v poriadku, alebo do triedy Hide, ktorá predstavuje problematické komentáre.
