Medan generativ AI och språkmodeller (LLM:er) integreras i nästan alla delar av samhället, sker detta även i den kriminella världen.
Cisco Talos har kartlagt hur AI-modeller används för att planera och genomföra nätbedrägerier. Och ibland blir bedragarna själva bedragna…
Idag tar cyberkriminella hjälp av stora språkmodeller (LLM:er) för att planera och genomföra olika typer av attacker. De kan till exempel få hjälp att skriva skadlig kod som ransomware, skapa remote access trojans (RATs) – alltså verktyg för att fjärrstyra någons dator – eller ta fram färdiga skript och andra hjälpmedel som används i attacker.
Språkmodellerna används också för att skapa nätfiskemeddelanden, falska inloggningssidor och tekniska konfigurationsfiler. Dessutom används de för research, till exempel för att kontrollera om stulna kreditkortsnummer fungerar, hitta säkerhetspriseter i webbplatser eller få idéer till nya bedrägeriupplägg.
I AI-tjänster som ChatGPT och motsvarande finns inbyggda säkerhetsspärrar som ska förhindra sådan användning. En förfrågan om att få hjälp att skriva ett phishing-mejl stoppas till exempel automatiskt. Samtidigt finns många metoder för att lura AI:n.
Det kan handla om att förvränga vissa ord eller fraser, eller att be modellen svara som en karaktär från ett påhittat universum som struntar i etiska regler. Nya metoder upptäcks ständigt, samtidigt som utvecklarna svarar med att förstärka skydden – en slags kapprustning mellan angripare och försvar.
Vissa driftiga cyberkriminella har utvecklat egna språkmodeller utan säkerhetsbegränsningar, som de i marknadsför till andra kriminella. Exempel på sådana appar är GhostGPT, WormGPT, DarkGPT, DarkestGPT och FraudGPT.
I sin kartläggning försökte Cisco Talos få tillgång till FraudGPT, och i processen blev det tydligt att utvecklaren bakom inte alls hade någon fungerande produkt. I stället var syftet att lura potentiella kunder på kryptovaluta. Ett exempel på hur bedrägerier inom den kriminella världen ofta riktas mot andra bedragare.
I takt med att AI-tekniken fortsätter att utvecklas förväntar sig Cisco Talos att kriminella kommer använda språkmodeller i allt större utsträckning, för att effektivisera sina processer och generera innehåll som lättare kan kringgå försvar. Tekniken innebär inte nödvändigtvis helt nya cybervapen, men den lär göra befintliga metoder mer effektiva och svårupptäckta.
