Technologie pro klonování hlasu či vytváření falešných videí jsou dnes dostupné téměř komukoli. S expertem na kybernetickou bezpečnost doc. Kamilem Malinkou z brněnské Fakulty informačních technologií VUT jsme hovořili o nové podobě zločinů, kterou technologie umožňují – od šikany přes vydírání a krádeže až po falšování důkazů u soudu. Můžeme se vůbec bránit? A umíme to?
Kamil Malinka
Kamil Malinka je docentem na FIT VUT v Brně a vedoucím výzkumné skupiny Security@FIT, která se zabývá bezpečností informačních technologií. Ve svém výzkumu se zaměřuje zejména na bezpečnostní aspekty umělé inteligence, například na rizika spojená se zneužitím deepfakes. V rámci své pedagogické činnosti vyučuje kurzy kyberbezpečnosti, do nichž systematicky integruje nové trendy a technologie, včetně AI, a sleduje jejich dopad na vzdělávání a odbornou praxi.
Jsme v situaci, kdy si i laik s minimálním úsilím může vyrobit kopii cizího hlasu nebo falešný obraz. Existují na to komerční služby i open-source software, přicházejí nástroje jako Sora nebo Veo. S jakými typy útoků se dnes můžeme setkat a jakou kreativitu při využívání těchto technologií kyberzločinci prokazují?
Extrémně velkou. Útočníci tyto technologie ovládli velmi rychle. V kontextu deepfakes byl nejrychlejší pornoprůmysl – ještě před rokem či dvěma tvořily 98 % takového obsahu pornografické materiály, do kterých byly vkládány obličeje známých osobností.
Jak se technologie zlepšovala, možnosti útoků se rozšířily. Dnes vidíme útoky na biometrické systémy (systémy, které ověřují unikátní charakteristiky jako otisk prstu nebo tvar obličeje, pozn. red.), tvorbu materiálů pro manipulaci veřejného mínění, krádeže identity i takzvaný vishing. V kombinaci s ukradenou občankou a virtuální identitou se útočníci dokáží dostat do peněžních systémů. Škála je široká – od finančních podvodů až po manipulaci s důkazy či nenávistnou propagandu.
Zmínil jste vishing. Můžete vysvětlit, o co jde a jak takový útok vypadá?
Vishing je zkratka pro „voice phishing“. Klasický phishing známe z e-mailů, kdy se útočník vydává třeba za správce IT nebo banku a snaží se vás přimět kliknout na falešný odkaz. Vishing je to samé, ale přes telefon.
Někdo vám zavolá, vydává se za vašeho bankéře a tvrdí například: „Kradou vám peníze, musíme je rychle převést na zabezpečený účet.“ Útočníci využívají různé manipulativní techniky, včetně podvržení telefonního čísla, takže to na displeji vypadá, že opravdu volá banka. Deepfakes to posunuly o úroveň výš – volající už může znít přesně jako váš bankéř, nebo dokonce jako vaše manželka.
Jak složité je dnes pro útočníka „naklonovat“ hlas mého bankéře nebo někoho blízkého?
Je to už poměrně jednoduché. Ještě před čtyřmi či pěti lety jsme potřebovali zhruba dvacet minut kvalitní nahrávky. Dnes, díky novým modelům, nám stačí minuty, někdy se dá pracovat i s třiceti vteřinami. Pokud mám více než minutu záznamu, vygenerovaný deepfake je velmi kvalitní.
Získat takový vzorek není složité. Stačí, když vás zastavím na ulici, budu mít v kapse telefon, který bude náš rozhovor nahrávat, a zeptám se vás na cestu k nejbližší hospodě. Za chvilku mám potřebných 30 vteřin. Ale to je velmi paranoidní scénář, útočník bude volit méně náročnou cestu. Stejně tak lze použít jakékoli video z YouTube nebo veřejnou prezentaci.
Je už technicky možné vést s takovým „klonem“ plynulý rozhovor? V textu o nové podobě kyberzločinů jsem použil příběh ženy, které volala vyděšená dcera, ale pak převzal telefon „právník“. Proč v hovoru nepokračuje ta dcera?
To závisí na použité technologii. U metody „text-to-speech“ (převod textu na řeč) útočník píše text, který model následně vysloví hlasem oběti. Dnes už umíme měnit dynamiku hlasu a přidávat emoce, ale generování trvá pár vteřin. Pro plynulý rozhovor je to komplikované. Proto útočníci raději využijí krátkou předpřipravenou nahrávku s „legendou“ a pak hovor předají živému člověku – údajnému právníkovi nebo policistovi.
Druhým způsobem je „voice conversion“ (převod hlasu na hlas) v reálném čase. Dostupné modely ale zatím nejsou tak kvalitní a rychlé, aby se daly seriózně použít pro sofistikované útoky. Odhaduji však, že je to otázka dvou až tří let, než budeme mít rozumně dostupné kvalitní systémy pro konverzi v reálném čase. Pak bude možné vést diskuzi přímo s falešným hlasem. Prostě si budete s hlasovým klonem přímo povídat. Zajímavé je, že podobnou technologii pro výměny obličejů v reálném čase na videu už máme k dispozici několik let i formou otevřených a veřejně přístupných modelů.
Zmiňoval jste také biometriku a její obcházení. Jaká je situace v této oblasti?
Biometrický systém vás ověřuje na základě unikátních charakteristik – otisku prstu, oční duhovky nebo tvaru obličeje. Systém porovná váš aktuální vzorek s uloženou šablonou. Problém deepfakes spočívá v tom, že vytváříme existující obličej oběti a ten má tedy stejné charakteristiky a může být zneužitý ke zločinu. Pro biometrický systém je tedy deepfake často nerozeznatelný od originálu.
Proti tomu se samozřejmě systémy brání, často obsahují například takzvanou „kontrolu živosti“ (liveness check). Systém vás vyzve, abyste se podívali do rohu nebo zamrkali, což s obyčejnou fotkou neuděláte. Jenže moderní deepfakes dokážou v reálném čase animovat tvář tak, že na tyto výzvy zareagujete. Hlasová i obličejová autentizace se tak stává zranitelná. Kde naopak nevidíme smysluplné možnosti, je zneužití otisků prstů – tam syntéza nepomůže.
Dotazník
Výzkumníci z brněnského FIT VUT se věnují výzkumu deepfakes i tomu, jak lidé dokáží tato syntetická média poznat. Pokud jim chcete s výzkumem pomoct, můžete si otestovat své schopnosti a vyplnit následující dotazník: deepfakes.fit.vut.cz.
Dotazník se zaměřuje na schopnost široké veřejnosti rozlišit mezi skutečnými a deepfake nahrávkami řeči. Věříme, že výsledky nám pomohou vytvořit nové obranné nástroje proti dezinformacím a falešným zprávám.
Znamená to, že by lidé měli v mobilech raději zadávat PIN než používat odemykání obličejem?
Je určitě vhodné se zamyslet nad tím, co používáte za bezpečnostní opatření. Hlasovou autentizaci lze dnes velmi dobře obejít, obličejovou také. Výjimkou jsou například zařízení od Applu, která při FaceID neměří jen obraz, ale i hloubku obličeje, což je s displejem zobrazujícím deepfake těžké ošálit. Většinou totiž potřebujete nějaké jiné zařízení pro zobrazení deepfake. Uživatelé ostatních zařízení by měli zvážit přidání PINu nebo hesla. Obecně platí: používejme vícefaktorovou autentizaci.
To samé platí u telefonátů. Pokud vám volá dcera a tvrdí, že má průšvih, zeptejte se jí na něco, co ví jen ona – třeba jak se jmenuje váš pes. Útočník to nebude vědět.
Biometrika nás obklopuje i jinde, třeba na letištích. Setkáváme se se zneužitím i mimo bankovní sektor?
Ano. Krásným příkladem je takzvaný „morphing“ obličeje. Ve Slovinsku řešila policie asi čtyřicet incidentů, kdy byly biometrické pasy zneužity pro transport lidí do Kanady. Útočník vytvořil fotku, která byla průnikem obličeje „bílého koně“ a osoby, kterou potřebovali propašovat. Bílý kůň si legálně vyřídil pas s touto upravenou fotkou. Protože podoba seděla na oba, pašovaná osoba pak s tímto pravým pasem prošla přes automatizované brány na letišti.
Jaké další hrozby kromě propagandy a finančních podvodů vidíte?
Obáváme se manipulace s důkazy. Pokud chceme použít u soudu video nebo audio, bude potřeba se postupně začít ujišťovat, zda nebylo syntetizováno nebo jinak upraveno pomocí AI. Můžete vytvořit falešný důkaz nebo naopak ten pravý zpochybnit tvrzením, že jde o deepfake.
Dalším problémem je kyberšikana. V Německu jeden žák vytvořil pomocí AI pornografický materiál s obličeji patnácti spolužaček a zveřejnil ho. Společenská nebezpečnost se může zdát malá, ale všech patnáct dívek skončilo v péči psychologa. Jednoduchost výroby otevírá dveře šikaně a vydírání. Šíře zneužití se může ještě dále zvětšovat – ať už na úroveň hybridní války, nebo „automatizace“ útoku, například ve scénáři, kdy pomocí AI agentů pomocí vibecodingu vyrobím program, který mi stahuje fotky a kontaktní údaje ze sociálních sítí, automatizovaně vyrobí příslušný pornografický materiál oběti, cíleně jej pošle na zjištěný kontakt a bude oběť vydírat s pohrůžkou zveřejnění. A to vše plně automatizovaně.
To zní děsivě. Jakou máme šanci se bránit – ať už jako běžní uživatelé, nebo na úrovni institucí?
Dokonalá bezpečnost neexistuje, je to vždy otázka času a peněz, které je útočník ochoten investovat do útoku. Pro běžné lidi je klíčové o tom mluvit a dozvědět se víc o aktuálních rizicích. Musíme si zvyknout, že ne vše, co vidíme a slyšíme, je pravda. Technická obrana se vyvíjí, v budoucnu budeme mít v telefonech detektory deepfakes, podobně jako máme antiviry.
Zatím je nejlepší obranou zdravá skepse. Pokud má hovor podezřelé znaky – časový nátlak, stres, neobvyklé požadavky –, ověřujte. Zavěste a zavolejte zpátky, použijte dohodnuté rodinné heslo. Pomáhá také chránit si své biometrické vzorky, tedy nebýt digitálně aktivní úplně všude, i když to je dnes pro mnoho lidí těžké.
Firmy musí provádět důkladnou analýzu rizik. Pokud proces umožňuje poslat velkou částku jen na základě telefonátu, je to chyba. Je třeba zavést vícefaktorové ověření, digitální podpisy nebo zpětné potvrzení jiným kanálem.
Zmínil jste antiviry. S počítačovými viry jsme se nakonec naučili žít. Čeká nás podobná „gramotnost“ i u deepfakes?
Myslím si, že ano. Vidím světlo na konci tunelu. Lidé už začínají tušit, že něco takového existuje, a přestávají bezmezně věřit obsahu na internetu. Směřujeme do stavu, kdy budeme předpokládat, že digitální obsah může být falešný, a budeme více ověřovat. Nicméně stále budou existovat zranitelné skupiny.
Zajímavá je spekulace, že nízká kvalita některých deepfakes nemusí být náhodná. Může fungovat jako filtr – pokud člověk nepozná ani nekvalitní podvod, je pro útočníka ideálním terčem pro další manipulaci, podobně jako u e-mailů od „nigerijských princů“. Ale abych nebyl negativní: je to jen další riziko v řadě. Denně žijeme s množstvím kyberbezpečnostních rizik, jako jsou viry nebo podvodné e-maily. A deepfakes budou jen další „breberka“, se kterou se musíme naučit fungovat.
Autor rozhovoru: Josef Šlerka
The post „Dokonalá bezpečnost neexistuje, nejlepší obranou je zdravá skepse.“ Expert Kamil Malinka o nových hrozbách kyberzločinu appeared first on investigace.cz.
