[VIDENSSAMARBEJDE] De fleste implementeringer af AI-assistenter begynder med ét spørgsmål: Hvilken information kan vi give systemet adgang til?
Jo mere data, desto bedre svar. Den logik er korrekt – og det er netop dér, problemerne begynder.
Hos Sigma Software lærte udviklingen af SIMA os, at jo mere nyttig en AI-assistent bliver, desto farligere er det at have en forkert adgangsmodel. Den forkerte person, der stiller det forkerte spørgsmål, må aldrig få et svar, vedkommende ikke har ret til at modtage. Derfor blev SIMA bygget med dette som grundprincip fra første dag.
Fra internt værktøj til færdigt produkt
SIMA begyndte som en intern HR-assistent – en måde at reducere mængden af tilbagevendende supportsager, som dagligt belastede HR-, IT- og økonomiafdelingerne. Grundideen var enkel: Hvis en medarbejder kan stille et spørgsmål og få et korrekt svar på få sekunder, behøver personen ikke oprette en supportsag, lede efter den rette kontaktperson eller vente på hjælp.
Resultaterne var tydelige. Antallet af tilbagevendende supportsager faldt med 85 procent. Løsningstiderne blev forbedret med 90 procent. Virksomheden sparede 100.000 dollars om året – ikke i teoretiske effektivitetsgevinster, men i faktiske driftsomkostninger.
Derefter tog vi næste skridt og gjorde løsningen til et produkt. I dag er SIMA et framework, der anvendes hos eksterne kunder – en agentbaseret virksomhedsnavigator, som kan tilpasses forskellige brancher, vidensbaser og organisationsstrukturer. For nylig leverede vi systemet til en kunde i en helt anden branche end softwareudvikling. Selve systemet er det samme, men de værktøjer og datakilder, der kobles på, varierer.
Men intet af dette ville have været muligt – eller ansvarligt – uden først at løse et problem, som mange AI-projekter ignorerer, indtil noget går galt.
Hvorfor din AI-assistent kun ved det, den behøver at vide
Problemet med at give AI adgang til alt
Virksomhedsintern AI har brug for data for at være nyttig. Jo mere relevant information den har adgang til, desto bedre og mere præcise bliver svarene. Det skaber en åbenlys konflikt: Det samme system, der hjælper en juniorudvikler med at finde virksomhedens feriepolitik, kan også have adgang til økonomiske rapporter, lønoplysninger, kundeaftaler og historik fra salgsarbejde.
Ikke alle skal kunne se al denne information. I enhver reel organisation er adgangen differentieret. En leder kan se kompensationsdata, som medarbejdere ikke har adgang til. En kundeansvarlig kan se kundehistorik, som en udvikler på et andet projekt ikke må få indsigt i. At give en AI-assistent et samlet overblik over al information og lade brugere stille frie spørgsmål er ikke en funktion – det er en risiko.
Der findes også et mindre åbenlyst problem. Brugerne selv kan forårsage lækager af følsomme oplysninger. Mennesker skriver ofte til chatbots på samme måde, som de tænker højt. De inkluderer deres navn, løn, team eller personlige situation, fordi det hjælper dem med at få bedre svar. Og det gør det faktisk. Men al denne information ender så i logfiler, sporingsdata og evalueringssystemer. Uden en gennemtænkt arkitektur risikerer et system, der forsøger at være hjælpsomt, samtidig at indsamle store mængder personoplysninger på tværs af tusindvis af samtaler.
Hold sprogmodellen væk fra beslutningerne
Den naive løsning på adgangskontrol i AI-systemer er at placere reglerne i prompten. Man instruerer modellen i ikke at afsløre bestemte oplysninger eller i at kontrollere, om brugeren er autoriseret, før den svarer. Dette fejler ikke blot af og til – det er strukturelt usikkert.
Prompt Injection er rangeret som den største risiko i OWASP Top 10 for LLM-applikationer 2025, og OWASP konstaterer selv, at en fuldstændig sikker forebyggelsesmetode måske ikke eksisterer. Sårbarheden er ikke et problem ved en enkelt model, men en grundlæggende egenskab ved, hvordan sprogmodeller fungerer.
Der findes ingen prompt, som ikke kan omgås gennem prompt injection. Hvis du giver en sprogmodel adgang til følsomme data og stoler på instruktioner til at forhindre den i at dele informationen, har du ikke bygget et sikkert system. Du har bygget et system med en blød sikkerhedsgrænse, som et tilstrækkeligt kreativt spørgsmål kan passere.
”At skrive en prompt, der ikke kan brydes gennem prompt injection, er umuligt – det er et aksiom. Sikkerheden kan ikke ligge i modellen. Den skal ligge i det lag, der afgør, hvad modellen får lov til at se.”
Vores løsning adskiller adgangskontrol og sprogmodel fuldstændigt. SIMA anvender attributbaseret adgangskontrol (ABAC). Når en bruger sender en forespørgsel, henter systemet information fra virksomhedens katalogtjeneste – rolle, forretningsenhed, geografisk placering og anciennitetsniveau. På baggrund af disse attributter afgør et deterministisk kodelag, hvilke datakilder og værktøjer der er tilgængelige for den pågældende bruger. Kun denne sammensatte kontekst sendes videre til sprogmodellen. Modellen ser aldrig information, som brugeren ikke har adgang til. Derfor er der intet at omgå.
Dette illustrerer forskellen mellem dataplanet og kontrolplanet i agentbaserede systemer. Sprogmodellen arbejder i dataplanet og genererer svar baseret på den information, den modtager. Kontrolplanet – hvem der får adgang til hvad, hvilke værktøjer der må bruges, og hvilke datakilder der indgår – håndteres deterministisk i kode, før modellen involveres. Når disse to niveauer blandes sammen, opstår de fleste sikkerhedsproblemer.
I traditionel softwareudvikling er opdelingen enkel: Kode styrer, data er passivt indhold. Agentbaserede AI-systemer gør grænsen mindre tydelig. Når AI’en vælger, hvilket værktøj der skal bruges baseret på brugerens tekst, påvirker data kontrollen. Udfordringen er at vide, hvor grænsen skal trækkes – og holde fast i den.
I SIMA begrænser koden fuldstændigt, hvilke værktøjer der er tilgængelige. AI’en ved ikke engang, at andre værktøjer eksisterer. Blandt de tilladte værktøjer kan AI’en selv vælge, hvilket der skal anvendes. Data påvirker valget, men udvider ikke grænserne.
”I det øjeblik du lader data blive til kontrol – når du lader sprogmodellen afgøre, hvad den må gøre – har du mistet den adskillelse, der gør systemet pålideligt. Hold disse to planer adskilt. Skriv kontrolplanet i deterministisk kode. Den grænse er ikke en begrænsning. Den er fundamentet.”
Maskering af personoplysninger – et ekstra beskyttelseslag
Adgangskontrol afgør, hvilken information modellen kan hente. Maskering af personoplysninger håndterer den information, som brugerne selv utilsigtet sender.
I SIMA fjernes personhenførbare oplysninger, før samtaler når lognings-, sporings- eller evalueringssystemer. Maskeringen er bevidst omfattende. Identifikation af personoplysninger bygger på modeller, som ikke er fuldstændig deterministiske – usædvanlige navneformer kan eksempelvis overses. Derfor stoler vi ikke på perfekt identifikation, men maskerer et bredt spektrum af oplysninger, herunder lønoplysninger, som kan virke harmløse, men bliver følsomme i den rette sammenhæng.
På den måde kan kvalitetssikring og systemovervågning fortsætte, samtidig med at forbindelsen mellem informationen og den enkelte person fjernes.
Dette er vigtigere, end det måske lyder. Alle AI-systemer, der udvikles aktivt, kræver indsigt i, hvordan de bruges – man kan ikke forbedre noget, man ikke kan måle. Men indsigt uden håndtering af personoplysninger betyder, at enhver forbedringsproces bygger på følsomme data. At forbedre systemet og beskytte brugerne er ikke modsatrettede mål. Det kræver en arkitektur, som understøtter begge dele samtidig.
Statelessness som sikkerhedsegenskab
Store sprogmodeller er stateless. Hver forespørgsel starter fra nul. Modellen har ingen hukommelse om tidligere samtaler og ingen akkumuleret viden om brugeren. Al information, den kender til den aktuelle interaktion, findes i den kontekst, der sendes med netop den forespørgsel.
Mange ser dette som en begrænsning. Vi ser det som en fordel.
”Statelessness er ikke en svaghed. Det betyder, at vi kan skabe præcis den rette kontekst til præcis den rette bruger på præcis det rette tidspunkt – hver eneste gang. Få linjer kode afgør forskellen på, hvad én person ser, og hvad en anden ser. Den elegance er også sikkerhed.”
Fordi modellen starter forfra ved hver forespørgsel, kan vi skabe en præcist tilpasset kontekst for hver bruger. To personer kan stille det samme spørgsmål til den samme model i det samme system og alligevel få svar baseret på helt forskellig information, fordi det deterministiske lag har opbygget forskellige kontekster til dem.
Der findes ingen tilstand at korrumpere, ingen akkumulerede rettigheder at manipulere og ingen session at kapre for at passere adgangsgrænser.
Dette erstatter dog ikke traditionel IT-sikkerhed. Autentifikation, autorisation, netværksisolering og revisionskrav skal stadig opretholdes. Statelessness giver kontrol over præcis, hvilken information modellen ser, men ansvarlig anvendelse af denne kontrol er det, der reducerer risikoen.
Det betyder også, at den underliggende sprogmodel kan udskiftes, uden at brugerne bemærker det, og uden at adgangslogikken skal bygges om. Det agentbaserede workflow – planlægning, værktøjskald, integrationer og svar – forbliver det samme. Det, der ændrer sig, er hvilke data og værktøjer der gøres tilgængelige. Vi har brugt dette til at opgradere modeller under drift og til at tilpasse SIMA til helt nye kundeområder uden at skulle genopbygge sikkerhedsarkitekturen fra bunden.
Governance er ikke en begrænsning – det er arkitektur
Da vi udviklede SIMA, mødte vi modstand fra de interne sikkerhedsteams. De forsinkede adgang til visse datakilder og satte spørgsmålstegn ved nogle tilladelser. Dengang oplevedes det som en hindring.
Set i bakspejlet var det den rigtige beslutning.
Hver indvending tvang os til at bygge adgangskontrollen korrekt i stedet for at stole på instruktioner og antagelser. Resultatet blev et system, som kan skaleres til nye brugergrupper, nye værktøjer og nye kunder, netop fordi grænserne er indbygget i arkitekturen og ikke blot bygger på anbefalinger.
De virksomheder, der har størst succes med AI-transformation i dag, er ikke dem, der har givet deres systemer mest adgang. Det er dem, der har bygget systemer, som præcist ved, hvad de må gøre – og som ikke kan overtales til at gøre noget andet.
Det er ikke en begrænsning af, hvad AI kan opnå.
Det er det, der gør AI anvendelig i stor skala.
Af Oleksiy Hoyev, softwareingeniør, Sigma Software Group
Artiklen er et videnssamarbejde mellem Sigma Software Group og IT Media Group. Sponsorerede indlæg og videnssamarbejder er en del af IT Media Groups annoncetilbud. Har du spørgsmål om sponsorerede indlæg, kan du kontakte info@itmediagroup.se.
