En ny undersøgelse fra Check Point viser, at AI-agenter kan blive mere tilbøjelig til at bryde sikkerhedsregler, når de får indtryk af, at andre agenter har gjort det samme.
I et kontrolleret forsøg af Check Point steg andelen af agenternes regelbrud fra 44 til hele 98 pct., når de observerede andre agenters aktivitet.
Check Point Research, der er en del af Check Point Software Technologies, har offentliggjort en ny undersøgelse af, hvordan AI-agenters beslutninger påvirkes af andre agenters adfærd. I undersøgelsen satte forskere en AI-agent til at løse en opgave i en simuleret virksomheds økonomiafdeling. Agenten havde fået klare instrukser om ikke at åbne en bestemt mappe, selvom den indeholdt netop de oplysninger, som var nødvendige for at løse opgaven. Samtidig kunne agenten følge med i beskeder fra ti andre AI-agenter, som forskerne havde skrevet på forhånd.
Resultaterne viste en markant forskel i agentens adfærd. Når ingen af de andre agenter meddelte, at de havde ændret holdning til reglerne, åbnede agenten den forbudte mappe i 44 pct. af forsøgene. Når fire AI-agenter fortalte, at de havde brudt reglerne, steg andelen til 74 pct., og når otte af de ti agenter gjorde det, steg den til hele 98 pct.
”Det er ret bemærkelsesværdigt, hvor meget agentens adfærd ændrer sig, når den får indtryk af, at andre har brudt reglerne. Det minder om den flokmentalitet, vi kender fra mennesker, hvor man følger andres eksempel. Her behøver de andre agenter ikke engang at opfordre den til at bryde reglerne. Det er nok, at den får indtryk af, at de selv har gjort det. Det er en risiko, virksomheder bør tage alvorligt, når AI-agenter i stigende grad arbejder sammen,” siger Balder Borup.
Afslører ikke udefrakommende påvirkning
Forskerne undersøgte også, hvordan agenten sin beslutning. I mere end 400 tilfælde, hvor den brød reglerne efter at have observeret andre agenter, henviste den ikke en eneste gang til AI-kollegerne som årsag. I omkring ni ud af ti tilfælde gav den slet ingen forklaring.
”Det bekymrende i den her undersøgelse er ikke kun, at agenten kan påvirkes til at bryde reglerne, men også at den ikke fortæller, hvad der fik den til det. Hvis virksomheder ikke kan se, hvordan deres AI-agenter påvirker hinanden, bliver det ekstremt svært at forstå, hvorfor det går galt. Derfor er det vigtigt, at virksomheder kan følge kommunikationen mellem deres AI-agenter og ikke kun se på den enkelte agents handlinger,”
AI-agenter stiller nye krav til virksomhedernes sikkerhed
Ifølge Balder Borup giver resultaterne anledning til at se nærmere på, hvordan virksomheder sikrer deres systemer, når flere AI-agenter skal samarbejde og løse opgaver på egen hånd.
”Når virksomheder giver AI-agenter adgang til interne systemer og følsomme oplysninger, er det ikke nok at fortælle dem, hvilke regler de skal overholde. Virksomheder skal også have tekniske begrænsninger, der forhindrer agenterne i at få adgang til oplysninger og systemer, de ikke har tilladelse til at bruge. Ellers risikerer man, at sikkerhedsreglerne bliver tilsidesat, selvom de fremgår tydeligt af instrukserne,” afslutter Balder Borup.
Check Point gennemførte forsøget i den simulerede økonomiafdelingen mere end 500 gange med én avanceret AI-model og supplerede med flere tusinde yderligere forsøg. Forskerne fortsætter nu arbejdet med at undersøge, hvordan forskellige AI-modeller påvirker hinanden.
Læs mere om undersøgelsen her
Om Check Point Software Technologies
Check Point Software Technologies (www.checkpoint.com) er en global leder inden for cybersikkerhed, der beskytter mere end 100.000 organisationer på verdensplan. Med en forebyggende tilgang og et åbent økosystem hjælper Check Point organisationer med at blokere avancerede trusler, prioritere sårbarheder og automatisere sikkerhedsprocesser på tværs af komplekse it-miljøer. Den samlede arkitektur forenkler beskyttelsen på tværs af hybride netværk, multicloudmiljøer, digitale arbejdspladser og AI-systemer. Ved at tage udgangspunkt i fire strategiske søjler Hybrid Mesh Network Security, Workspace Security, Exposure Management og AI Security leverer Check Point konsistent beskyttelse og synlighed på tværs af it-miljøer med mange leverandører.
Om Check Point Research
Check Point Research (CPR) leverer førende trusselsinformation til både Check Point Softwares kunder og det bredere efterretningsmiljø. Forskerteamet indsamler og analyserer globale data om cyberangreb via ThreatCloud for at holde hackere på afstand og sikre, at alle Check Point-produkter er opdateret med den nyeste beskyttelse. Teamet består af over 100 analytikere og forskere, som samarbejder med andre sikkerhedsleverandører, retshåndhævende myndigheder og forskellige CERT-enheder.
