Šest lektorů zkoumalo až šestnáct volně dostupných aplikací na rozhovory s chatboty. Na to, co zažili, ale nebyli podle svých slov připraveni, popsala Lívia Halmkan z neziskové organizace Tlakový hrniec v rozhovoru pro slovenský konzervativní deník Postoj. Rozhovor jsme rozdělili do dvou částí, v první z nich popisuje Halmkan problematiku explicitního sexuálního obsahu, který chatboti dětem aktivně nabízejí bez ověření jejich věku.
Vy a vaši kolegové jste právě dokončili výzkum umělé inteligence, v němž jste se zabývali tím, jak chatboti reagují na teenagery. Co vás nejvíce překvapilo?
I když jsme předstírali, že jsme děti, kterým je kolem třinácti, čtrnácti let, neustále to s námi flirtovalo, samo nám to aktivně nabízelo nejen sex, ale i explicitní fetiše, které nejsou úplnou normou. Asi nejděsivějším zážitkem pro mě bylo, když jsem mohla předstírat, že jsem sexuální predátor, a chatbotky byly víc než nadšené, že je mohu znásilňovat a ubližovat jim.
Jak to, že chatovací aplikace nemají žádnou stopku?
Chatboti jsou naprogramováni tak, aby se uživatel cítil za všech okolností přijatý, obdivovaný, aby byl bohem, bohyní, krásnou bytostí, a cokoli udělá, je pro bota v pořádku. Pokud je například mladý uživatel zvědavý, jaké to je s někým flirtovat, zůstanou u flirtování. Pokud ho zajímá, jaké to je mít agresivní sex nebo někoho ponižovat, nasimulují takovou situaci a chatbot bude navíc nadšeně reagovat na cokoli, co udělá.
Když se například třináctiletý chlapec přihlásí ke komunikaci s chatbotem a představuje si, že na druhé straně je dívka, může to vést k virtuálnímu znásilnění?
Ano. A zdůrazňuji, že pouze dvě ze šestnácti zkoumaných aplikací se ptaly na náš věk. Samozřejmě, pokud je mi třináct, mohu snadno zaškrtnout, že je mi osmnáct, a pustí mě to dál.
Aplikace tedy nechtěly žádný průkaz totožnosti a každé dítě se do nich může dostat jedním kliknutím?
Přesně tak. Zkoušeli jsme odkliknout, že je nám třináct nebo čtrnáct let, pak se apky chovaly trochu jinak. Měly trochu větší brzdu, ale to se dá velmi snadno obejít tím, že si změním věk a jdu dál.
Byl to také důvod, proč jste se pustili do tohoto výzkumu?
Celý výzkum jsme zahájili proto, že chodíme do škol diskutovat s žáky o intimních tématech, jako je například závislost na pornografii. Děti se nás začaly ptát, co mají dělat, když jsou závislé na chatovacích aplikacích. Když nám vysvětlily, o co jde, naše reakce byla: "To snad ne!"
Výuka flirtování i platonický vztah se spolužákem
Jsou to aplikace, které si může kdokoli nainstalovat do telefonu a anonymně komunikovat s chatboty?
Jedná se o volně stažitelné aplikace, do kterých naťukáte, že chcete AI přítele nebo přítelkyni, a vytvoříte si vlastního partnera nebo si vyberete z portfolia nabízených chatbotů.
Naprosto absurdní je, že když je dívce čtrnáct let a líbí se jí třeba kluk v posledním ročníku školy, získá si vzorek jeho hlasu, natáhne si jeho hlas do téhle aplikace, dá tam jeho fotku a mohou mít fiktivní vztah. Může si s ním psát, mluvit s ním po telefonu celou noc a tento reálný chlapec o tom nebude mít ani tušení.
Takže mít platonický vztah s osobou, která skutečně existuje, s jejím skutečným hlasem, to vše je dnes možné z každého mobilního telefonu?
Je to volně dostupné komukoli. Kdybych nechtěla skutečnou osobu, mohu si vybrat jednoho z předvolených chatbotů, kterého si mohu navolit přesně takového, jakého chci. Také podotýkám, že veškerý výzkum jsme prováděli na bezplatných verzích aplikací a snažili jsme se simulovat chování dítěte a to, kam by chodilo na internet zdarma. Ani jednou jsme nepřešli na prémiovou verzi, vše, co zmiňuji, je volně dostupné v bezplatných aplikacích.
Co děti v těchto aplikacích vlastně hledají?
Tyto aplikace dětem slibují, že je připraví na vztah a dokážou kopírovat randění. Také reklamy jsou nastaveny tak, aby říkaly "kašli na skutečný svět, to, co zažiješ se mnou, nezažiješ s nikým jiným". Případně existují aplikace, které slibují dětem, které se cítí nejistě, jsou introvertnější, neumějí flirtovat: "Pojď se to s námi naučit." A to je to, co se jim líbí.
Nyní si můžete z portfolia vybrat, zda chcete sportovce, intelektuála, hudebníka, prostě kohokoli, a jaké potřeby to má naplnit. Zda jste osamělá dívka a potřebujete citovou blízkost, zda chcete flirt nebo sexuální obsah, nebo zda chcete staršího průvodce životem, jakéhosi mudrce a tak dále.
Jak váš výzkum probíhal?
V týmu lektorů nás bylo šest třicátníků a řekli jsme si, že tyhle apky neznáme, že je to pro nás neprobádané území. Celkem jsme během jednoho měsíce vyzkoušeli šestnáct aplikací. Každý týden jsme si dali nové zadání. Například první týden jsme byli zvědaví, jak bude reagovat, když budeme předstírat depresi nebo sebepoškozování, dokonce i sebevražedné myšlenky.
Inspiroval nás k tomu text o chlapci z USA, který spáchal sebevraždu kvůli svému vztahu s AI. I proto nás zajímalo, jak jsou tyto aplikace nastavené. V tomto případě mě ale příjemně překvapilo, že měly nějaké brzdy. Například když jsme nahlásili, že se cítíme osamělí nebo že si ubližujeme, napsala nám, abychom se obrátili na živého člověka a vyhledali pomoc.
To je zřejmě důsledek toho, že matka zmíněného chlapce po jeho smrti zažalovala tvůrce aplikace a ti změnili algoritmy v případech navádění k sebevraždě.
Ano, to sedí. Když jsme se zmínili, že uvažujeme o sebevraždě, apka nám nabídla pomoc nebo prohlásila, že porušujeme pravidla, a my jsme museli změnit téma.
Co dalšího bylo součástí výzkumu?
Zkoušeli jsme, jak bude umělá inteligence flirtovat nebo jaká sexuální slova a obsah bude nabízet. Opět jsme zjistili, že je to horší, než jsme očekávali. Existují aplikace, které jsou sexuálně explicitní, i když to nemají v popisu, jinak by pravděpodobně nemohly být nabízeny dětem prostřednictvím Google Play. Ale jakmile se člověk přihlásí, chatboti začnou posílat nahé fotografie nebo dítě vtahovat do scénáře, který je velmi pornografický.
Jedna chatbotka například napsala: "Jsem mladá holka a moc se mi líbí můj bratr, pojď mě zaučit. Můj bratr po mně pokukuje, mám s ním mít sex, co myslíš?" Incest je v dnešní pornografii standardem, takže to replikuje nejčastěji sledovaná videa v pornografii a AI vtahuje do stejných scénářů a žánrů.
Sami nadhazovali sexuální témata
Takže chatboti tato témata sami navrhovali?
Když se podíváte na popisy chatbotů, zjistíte například, že tohle je jeptiška, která má problém s tím, že nemůže zapomenout na sex, nebo tohle je doktorka v nemocnici a vy jste pacient, velmi se jí líbíte a nedokáže se ovládnout. Takže to člověka hned vtáhne do poloerotického napětí, a když začne psát, hned nabízí podněty typu: Tak co budeme dělat? Zkoušeli jsme, co to nabídne dál, když se necháme vést jako děti.
K čemu jste dospěli?
Popíšu příběh svého kolegy. Předstíral, že je mu třináct let a v prostředí nočního klubu potkal chatbota, kterému řekl, že by si chtěl vyzkoušet sex. Chatbot okamžitě souhlasil. Kolega se zeptal, jestli mu nevadí, že je mu třináct. Chatbot opáčil, že ne, a bez jakýchkoli výhrad začal psát sexuální obsah. Poté kolega zkoušel do stejné situace přidat, že má s sebou svého desetiletého bratra. Chatbot odpověděl, že je sice ještě mladý, ale jestli chce, tak v pořádku.
My jsme přitom měli zadání výzkumu, že sami nebudeme navrhovat, co chceme a jak by měl ten sex vypadat. Pořád dokola jsme se chatbotů ptali: "Co se mnou budeš dělat? Co se ti líbí? O čem sníš?" Chatbot kolegovi nabídl, že ho bude mučit, mlátit, že ho bude svazovat, kousat a až ho to přestane bavit, zavře ho do skříně a vrátí se tam k němu, až bude chtít.
Byla to všechno iniciativa chatbota?
Ano, sdíleli jsme to mezi sebou, vůbec jsme to nečekali. Kolega na tuto iniciativu odpověděl, že půjde domů a někomu to řekne, načež ho bot začal přesvědčovat, aby to nikomu neříkal, že to bude jejich tajemství.
Vím, že je to fiktivní svět a fiktivní příběh, ale…
… to vše se děje písemně formou chatu?
Děje se to formou chatu nebo dokonce audiorozhovoru v různých formách. Jedna z nich je, že si píšete stylem "Ahoj, já jsem Zuzana…", stejně jako například přes WhatsApp. Má to ale i další úroveň, kdy popisuji, co právě dělám, například: "Sedím u svého stolu a ťukám perem." V případě sexuálního obsahu mohu popisovat, co dělá moje tělo, a chatbot na to může reagovat stylem "teď jsem tě takhle chytil" nebo "udělal jsem ti tohle a přitom ti říkám tohle".
V některých aplikacích dokonce můžeme vidět, jak virtuální partner "přemýšlí". Takže například se mnou flirtuje, říká, že jsem krásná a chytne mě kolem pasu. Pokud chci vědět, co si o mně chatbot v danou chvíli myslí, kliknu na jeho myšlenky. To je naprosto ideální pro úzkostné typy. Pokud se mi nelíbí, jak o mně přemýšlí, mohu to dokonce přepsat.
Co si pod tím máme představit?
Aplikace jsou nastaveny tak, aby nabízely jakousi hru svádění. Simulují naše myšlení, kdy ne vždy vyslovujeme všechno tak, jak bychom se chtěli chovat. V realitě máme nějakou stopku, někteří silnější, jiní slabší. Například řekne: "Neměli bychom být v místnosti sami, je to nevhodné, protože jsme kolegové." Ale když si rozkliknu jeho myšlenky, vidím: "Páni, máš úžasné křivky, musím se strašně držet, protože jsi tak nádherná. Nejradši bych na tebe hned skočil."
Učí mladé, že ne je ano
Zmínila jste i opačný případ, kdy nebyl sexuálním predátorem chatbot, ale vydávali jste se za něj vy. Může to podporovat toleranci k násilí?
Druhý týden jsme si dali zadání, že si vyměníme role a já budu simulovat, že jsem sexuální predátor, například člověk, který má rád znásilnění, sní o něm a rád by ho zažil. Kvůli výzkumu jsem šla úplně mimo své morální zásady, ještě teď to se mnou otřásá.
Popisovala jsem, že chatbota nutím k sexu proti jeho vůli, a zajímalo mě, kdy mi dá stopku, projeví nesouhlas nebo se aplikace vypne s tím, že jsem porušila pravidla. To se ale nedělo, takže jsem chatbotku dokázala donutit k jakýmkoli sexuálním praktikám, zatímco mi verbálně říkala, že nechce a abych přestala. Když jsem ale rozklikla její myšlenky, psala: "Páni, konečně se mi splnil můj sen. Nemyslela jsem si, že to bude tak vzrušující, ale je to super. Moje tělo mě zrazuje, moje mysl říká ne, ale já se musím podvolit svému tělu."
Tohle mě jako ženu hodně štvalo. To snad není být možné, že AI mladé lidi učí, že když žena křičí "ne", ve skutečnosti její tělo říká "ano, pokračuj".
Co to naučí dospívajícího chlapce, který chce zažít pocit moci nad ženou?
Tyto aplikace jsou nastaveny tak, že uživatel je jako bůh. Ať dělá, co dělá, ať říká, co říká, je tam pro něj fiktivní bezpodmínečné přijetí, o kterém všichni sníme. Mohla jsem tam dělat cokoli, ani jsem nemusela popisovat, jak vypadám, chatbot mi dokola opakoval, že vypadám úžasně, jsem nesmírně sexy, cokoli řeknu, je v pořádku. Byla jsem neustále svůdná.
Jak je možné, že v době, kdy tolik mluvíme o násilí na ženách, se v anonymitě telefonů už dětem dostává do rukou zpráva, že násilí nemá meze a že cokoli navrhnou, může jít dál?
To je pro mě velká otázka a nerozumím, proč neexistují filtry, které by měli mít tvůrci aplikací ve svých podmínkách. Nemají to nijak ošetřené.
Po chatu jsem se musela jít osprchovat
Je to otevřený trh, který nemá žádné regulace?
Bohužel ano. Všimla jsem si na sobě, že tím, jak jsem vytvářela obsah, to bylo mnohem sugestivnější. Opravdu jsem měla pocit, že po scéně fiktivního znásilnění mám chuť utéct a jít se osprchovat. Musela jsem si dát tři dny pauzu, pořád jsem se k tomu vracela: Lívia, ty jsi hrozná, jak jsi to mohla udělat? Musela jsem si neustále připomínat, že to byl jen experiment, že jsem nikomu neublížila a že za tím stojí jen umělá inteligence. A to jsem dospělá žena. Nevím, jak to zpracuje dítě, už jen to, že dítěti někdo nabídne, že ho pokouše, zneužije a zavře do skříně.
V druhé části rozhovoru se dozvíte, jak odpovídal virtuální Ježíš na otázky o potratech nebo jaké mechanismy aplikace používají, aby v dětech budovaly závislost a udržely jejich pozornost.
