[KUNSKAPSSAMARBETE] De flesta implementationer av AI-assistenter börjar med en fråga: vilken information kan vi ge systemet tillgång till?
Ju mer data, desto bättre svar. Den logiken är korrekt och det är precis där problemen börjar.
På Sigma Software lärde utvecklingen av SIMA oss att ju mer användbar en AI-assistent blir, desto farligare är det att ha en felaktig åtkomstmodell. Fel person som ställer fel fråga ska aldrig få ett svar som personen inte har rätt att få. Därför byggdes SIMA från första dagen med detta som grundprincip.
Från internt verktyg till färdig produkt
SIMA började som en intern HR-assistent, ett sätt att minska mängden återkommande supportärenden som dagligen belastade HR-, IT- och ekonomiavdelningarna. Grundidén var enkel: om en medarbetare kan ställa en fråga och få ett korrekt svar på några sekunder, behöver personen inte skapa ett supportärende, leta efter rätt kontaktperson eller vänta på hjälp.
Resultaten var tydliga. Antalet återkommande supportärenden minskade med 85 procent. Lösningstiderna förbättrades med 90 procent. Företaget sparade 100 000 dollar per år inte i teoretiska effektivitetsvinster utan i faktiska driftskostnader.
Sedan tog vi nästa steg och gjorde lösningen till en produkt. I dag är SIMA ett ramverk som används hos externa kunder – en agentbaserad företagsnavigator som kan anpassas till olika branscher, kunskapsbaser och organisationsstrukturer. Nyligen levererade vi systemet till en kund i en helt annan bransch än mjukvaruutveckling. Själva systemet är detsamma, men verktygen och datakällorna som ansluts varierar.
Men inget av detta hade varit möjligt eller ansvarsfullt utan att först lösa ett problem som många AI-projekt ignorerar tills något går fel.
Problemet med att ge AI tillgång till allt
Företagsinterna AI-assistenter behöver data för att vara användbara. Ju mer relevant information de har tillgång till, desto bättre och mer träffsäkra blir svaren. Detta skapar en uppenbar konflikt: samma system som hjälper en junior utvecklare att hitta företagets semesterpolicy kan också ha tillgång till ekonomiska rapporter, löneuppgifter, kundavtal och historik från försäljningsarbete.
Alla ska inte kunna se all denna information. I varje verklig organisation är åtkomsten differentierad. En chef kan se kompensationsdata som medarbetarna inte har tillgång till. En kundansvarig kan se kundhistorik som en utvecklare i ett annat projekt inte får ta del av. Att ge en AI-assistent en samlad vy över all information och låta användare ställa fria frågor är inte en funktion, det är en risk.
Det finns också ett mindre uppenbart problem. Användarna själva kan orsaka läckage av känslig information. Människor skriver ofta till chattbotar på samma sätt som de tänker högt. De inkluderar sitt namn, sin lön, sitt team eller sin personliga situation eftersom det hjälper dem att få bättre svar. Och det gör det faktiskt. Men all denna information hamnar då i loggar, spårningsdata och utvärderingssystem. Utan en genomtänkt arkitektur riskerar ett system som försöker vara hjälpsamt att samtidigt samla in stora mängder personuppgifter över tusentals konversationer.
Håll språkmodellen borta från besluten
Den naiva lösningen på åtkomstkontroll i AI-system är att lägga reglerna i prompten. Man instruerar modellen att inte avslöja viss information eller att kontrollera om användaren är behörig innan den svarar. Detta misslyckas inte bara ibland det är strukturellt osäkert.
Prompt Injection rankas som den främsta risken i OWASP Top 10 för LLM-applikationer 2025, och OWASP konstaterar själv att någon helt säker förebyggande metod kanske inte existerar. Sårbarheten är inte ett problem hos en enskild modell utan en grundläggande egenskap hos hur språkmodeller fungerar.
Det finns ingen prompt som är omöjlig att kringgå genom promptinjektion. Om du ger en språkmodell tillgång till känsliga data och förlitar dig på instruktioner för att hindra den från att dela informationen, har du inte byggt ett säkert system. Du har byggt ett system med en mjuk säkerhetsgräns som en tillräckligt kreativ fråga kan passera.
”Att skriva en prompt som inte kan brytas genom promptinjektion är omöjligt det är ett axiom. Säkerheten kan inte ligga i modellen. Den måste ligga i det lager som avgör vad modellen får se.”
Vår lösning skiljer helt på åtkomstkontroll och språkmodell. SIMA använder attributbaserad åtkomstkontroll (ABAC). När en användare skickar en förfrågan hämtar systemet information från företagets katalogtjänst – roll, affärsenhet, geografisk plats och senioritetsnivå. Utifrån dessa attribut avgör ett deterministiskt kodlager vilka datakällor och verktyg som är tillgängliga för just den användaren. Endast detta sammanställda sammanhang skickas vidare till språkmodellen. Modellen ser aldrig information som användaren saknar behörighet till. Därmed finns inget att kringgå.
Detta illustrerar skillnaden mellan dataplanet och kontrollplanet i agentbaserade system. Språkmodellen arbetar i dataplanet och genererar svar baserat på den information den får. Kontrollplanet vem som får tillgång till vad, vilka verktyg som får användas och vilka datakällor som ingår hanteras deterministiskt i kod innan modellen involveras. När dessa två nivåer blandas uppstår de flesta säkerhetsproblemen.
I traditionell mjukvaruutveckling är uppdelningen enkel: kod styr, data är passivt innehåll. Agentbaserade AI-system gör gränsen mindre tydlig. När AI:n väljer vilket verktyg som ska användas baserat på användarens text påverkar data kontrollen. Utmaningen är att veta var gränsen ska dras – och hålla fast vid den.
I SIMA begränsar koden helt vilka verktyg som finns tillgängliga. AI:n känner inte ens till att andra verktyg existerar. Bland de verktyg som är tillåtna får AI:n själv välja vilket som ska användas. Data påverkar valet, men utökar inte gränserna.
”I samma ögonblick som du låter data bli kontroll när du låter språkmodellen avgöra vad den får göra har du förlorat den separation som gör systemet pålitligt. Håll dessa två plan åtskilda. Skriv kontrollplanet i deterministisk kod. Den gränsen är inte en begränsning. Den är grunden.”
Maskering av personuppgifter – ett extra skyddslager
Åtkomstkontroll avgör vilken information modellen kan hämta. Maskering av personuppgifter hanterar den information som användarna själva råkar skicka.
I SIMA tas personidentifierande uppgifter bort innan konversationer når loggnings-, spårnings- eller utvärderingssystem. Maskeringen är medvetet omfattande. Identifiering av personuppgifter bygger på modeller som inte är helt deterministiska in de ovanliga namnformer kan exempelvis missas. Därför förlitar vi oss inte på perfekt identifiering utan maskerar ett brett spektrum av uppgifter, inklusive sådant som löneinformation, som kan framstå som harmlöst men blir känsligt i sitt sammanhang.
På så sätt kan kvalitetssäkring och systemövervakning fortsätta, samtidigt som kopplingen mellan informationen och den enskilda personen försvinner.
Detta är viktigare än det kan låta. Alla AI-system som utvecklas aktivt behöver insyn i hur de används man kan inte förbättra något som man inte kan mäta. Men insyn utan hantering av personuppgifter innebär att varje förbättringsprocess bygger på känslig information. Att förbättra systemet och skydda användarna är inte motsatta mål. Det kräver en arkitektur som stöder båda samtidigt.
Tillståndslöshet som säkerhetsegenskap
Stora språkmodeller är tillståndslösa. Varje förfrågan börjar från noll. Modellen har inget minne av tidigare konversationer och ingen ackumulerad kunskap om användaren. All information den känner till om den aktuella interaktionen finns i det sammanhang som skickas med just då.
Många ser detta som en begränsning. Vi ser det som en fördel.
”Tillståndslöshet är inte en svaghet. Det innebär att vi kan skapa exakt rätt sammanhang för exakt rätt användare vid exakt rätt tidpunkt varje gång. Några få rader kod skiljer vad en person ser från vad en annan person ser. Den elegansen är också säkerhet.”
Eftersom modellen börjar om från början vid varje förfrågan kan vi skapa ett exakt anpassat sammanhang för varje användare. Två personer kan ställa samma fråga till samma modell i samma system och ändå få svar baserade på helt olika information, eftersom det deterministiska lagret har byggt olika kontexter för dem.
Det finns inget tillstånd att korrumpera, inga ackumulerade behörigheter att manipulera och ingen session att kapa för att passera åtkomstgränser.
Detta ersätter dock inte traditionell IT-säkerhet. Autentisering, auktorisering, nätverksisolering och revisionskrav måste fortfarande upprätthållas. Tillståndslöshet ger kontroll över exakt vilken information modellen ser, men ansvarsfull användning av den kontrollen är det som minskar riskerna.
Det innebär också att den underliggande språkmodellen kan bytas ut utan att användarna märker det och utan att åtkomstlogiken behöver byggas om. Det agentbaserade arbetsflödet planering, verktygsanrop, integrationer och svar förblir detsamma. Det som förändras är vilka data och verktyg som görs tillgängliga. Vi har använt detta för att uppgradera modeller under pågående drift och för att anpassa SIMA till helt nya kundområden utan att behöva bygga om säkerhetsarkitekturen från grunden.
Styrning är inte en begränsning – det är arkitektur
När vi utvecklade SIMA mötte vi motstånd från de interna säkerhetsteamen. De fördröjde åtkomst till vissa datakällor och ifrågasatte vissa behörigheter. Då upplevdes det som ett hinder.
I efterhand var det rätt beslut.
Varje invändning tvingade oss att bygga åtkomstkontrollen på rätt sätt i stället för att förlita oss på instruktioner och antaganden. Resultatet blev ett system som kan skalas upp till nya användargrupper, nya verktyg och nya kunder just därför att gränserna är inbyggda i arkitekturen och inte bara bygger på rekommendationer.
De företag som lyckas bäst med AI-transformation i dag är inte de som gett sina system mest åtkomst. Det är de som har byggt system som exakt vet vad de får göra och som inte kan övertalas att göra något annat.
Det är inte en begränsning av vad AI kan åstadkomma.
Det är det som gör AI möjlig att använda i stor skala.
Av Oleksiy Hoyev, mjukvaruingenjör, Sigma Software Group
Artikeln är ett kunskapsamarbete mellan Sigma Software Group och IT Media Group. Sponsrade inlägg och kunskapsamarbeten är en del av IT Media Groups annonserbjudande. Om du har frågor kring sponsrade inlägg, hör av dig till info@itmediagroup.se
