Mens generativ AI og store sprogmodeller (LLM’er) bliver integreret i stort set alle dele af samfundet, gælder det samme i den kriminelle verden.
Cisco Talos har kortlagt, hvordan AI-modeller bliver brugt til at planlægge og udføre netbedragerier – og i nogle tilfælde bliver bedragere selv narret…
I dag bruger cyberkriminelle store sprogmodeller (LLM’er) til at planlægge og gennemføre forskellige former for angreb. Det kan eksempelvis være hjælp til at skrive ondsindet kode som ransomware, skabe remote access trojans (RATs) – altså værktøjer til at fjernstyre en andens computer – eller udvikle færdige scripts og andre hjælpemidler, der anvendes i angreb.
Sprogmodellerne bruges også til at skabe phishing-beskeder, falske login-sider og tekniske konfigurationsfiler. Derudover anvendes de til research – f.eks. for at teste, om stjålne kreditkortnumre fungerer, finde 
sikkerhedshuller på websites eller få inspiration til nye bedrageri-metoder.
I AI-tjenester som ChatGPT og lignende er der indbyggede sikkerhedsforanstaltninger, der skal forhindre den slags brug. En forespørgsel om at få hjælp til at skrive en phishing-mail bliver for eksempel automatisk afvist. Men der findes mange metoder til at narre AI’en.
Det kan være at forvrænge bestemte ord eller sætninger, eller at bede modellen svare som en karakter fra et fiktivt univers, som ikke følger etiske regler. Nye teknikker opdages hele tiden, mens udviklerne samtidig forstærker deres forsvar – et slags kapløb mellem angribere og beskyttere.
Nogle driftige cyberkriminelle har udviklet deres egne sprogmodeller uden sikkerhedsbegrænsninger, som de markedsfører til andre kriminelle. Eksempler på sådanne værktøjer er GhostGPT, WormGPT, DarkGPT, DarkestGPT og FraudGPT.
I sin undersøgelse forsøgte Cisco Talos at få adgang til FraudGPT – og det blev tydeligt, at udvikleren bag slet ikke havde et fungerende produkt. Formålet var i stedet at snyde potentielle kunder for kryptovaluta. Et eksempel på, hvordan bedragerier i den kriminelle verden ofte er rettet mod andre bedragere.
Efterhånden som AI-teknologien udvikler sig, forventer Cisco Talos, at kriminelle i stigende grad vil bruge sprogmodeller til at effektivisere deres processer og generere indhold, der nemmere kan omgå forsvar. Teknologien udgør ikke nødvendigvis helt nye cybervåben, men den gør de eksisterende metoder mere effektive og sværere at opdage.
