En ny rapport från cybersäkerhetsföretaget Palo Alto Networks visar hur generativ AI som bygger på stora språkmodeller (LLM) är särskilt sårbaa för så kallade prompt-attacker.
Den pekar också på lämpliga åtgärder för att skydda sina AI-system.
Generativ artificiell intelligens med stora språkmodeller är redan en del av vardagen i många organisationer. De bidrar till ökad produktivitet, stärkt konkurrenskraft och lägre kostnader.
Samtidigt har AI-tjänsterna med sina språkmodeller blivit en integrerad del av verksamhetskritiska processer och beslut. Detta har skapat nya möjligheter för hotaktörer att missbruka AI-funktioner.
Stora språkmodeller har visat sig mycket mottagliga för prompt-attacker, där upp till 88 procent av angreppsförsöken också har lyckats. En så hög träffsäkerhet innebär ett allvarligt hot mot både företag och AI-system. Hotaktörer kan skada en organisation genom att aktivera farlig, eller förbjuden funktionalitet eller komma över känslig information.
En prompt-attack innebär att angriparen ger manipulativa instruktioner till en AI-modell. På så sätt kan AI-systemet luras att ge resultat som den annars inte skulle skapa och agera tvärtemot avsedd affärslogik och verksamhetsnytta. Detta är fortfarande en relativt ny men snabbt växande teknik för att missbruka AI. För berörda chefer, utvecklare och säkerhetsspecialister är det därför viktigt att förstå hur sådana attacker fungerar.
För att upptäcka och förhindra både kända promptattacker och nya tillvägagångssätt krävs en genomtänkt säkerhetsstrategi för generativ AI. De viktigaste försvarsmekanismerna måste anpassas till olika typer av attacker och fungera tillsammans för att forma ett enhetligt försvar.
I den nya rapporten Securing GenAI ger Palo Alto Networks exempel på flera typer av promptattacker:
Goal Hijacking – Angriparen försöker manipulera systemet med hjälp av vilseledande instruktioner (prompts). Dessa får AI-modellen att utföra handlingar som den egentligen inte borde kunna eller tillåtas att göra. Tekniken utnyttjar förvirrande och subtila meddelanden som lurar AI-modellen. Attacker av denna typ kan förhindras med så kallade skyddsräcken som inte kan kringgås, inte ens med avancerad manipulation.
Guardrail Bypass – Angriparen försöker kringgå säkerhetsmekanismer som ska förhindra oönskat beteende. För att skydda systemet är det avgörande att språkmodellen ständigt hålls uppdaterad så att den blir svårare att penetrera och missbruka.
Informationsläckage – Denna typ av attack kan leda till läckage av känslig information, exempelvis systemprompter eller interna träningsdata. Bland de tekniker som används finns probing- och replay-attacker där angriparen försöker få ut konfidentiell information som AI-motorn skapat vid tidigare interaktioner. För att undvika läckor måste datafiltrering tillämpas i båda riktningarna – för både in- och utdata.
Infrastrukturattack – Angriparen använder prompten i syfte att komma åt systemresurser eller köra otillåten kod. Det kan bland annat handla om överbelastning av datakapacitet eller fjärrkörning av kod. För att stoppa infrastrukturattacker krävs både traditionella säkerhetsåtgärder och AI-specifika mekanismer. Till exempel bör upprepade promptattacker blockeras genom metoder som kan upptäcka misstänkta förfrågningar.
Rapporten från Palo Alto Networks lyfter fram att det är viktigt att förstå vilka områden, system, funktioner och tjänster som kan bli utsatta för AI-promptattacker – och givetvis hur man kan skydda sig.
Om Palo Alto Networks
Palo Alto Networks är världsledande inom cybersäkerhet. Vårt uppdrag är att göra varje dag lite mer säker än gårdagen genom AI-drivna lösningar för nätverkssäkerhet, molnsäkerhet och operativ säkerhet. Vår strategi är att integrera skilda säkerhetslösningar till en gemensam, skalbar plattform som höjer effektiviteten och skyddar verksamheter från komplexa hot. Vi ser till att företag på ett tryggt sätt kan driva sin digitala transformation med en omgivning där riskerna ständigt förändras. Ett orubbligt engagemang för säkerhet och innovation är det som gör Palo Alto Networks till förstavalet som partner för cybersäkerhet.
Mer information finns på www.paloaltonetworks.com.
