En ny trusselsanalyse fra Unit 42, forskningsenheden hos Palo Alto Networks, viser, at kodeassistenter baseret på store sprogmodeller (LLMs) kan udnyttes til at indsætte bagdøre, lække følsomme oplysninger og generere skadeligt indhold.
Analysen The Risks of Code Assistant LLMs: Harmful Content, Misuse and Deception dokumenterer, hvordan funktioner som chat, auto-complete og vedhæftet kontekst kan misbruges.
Særligt indirekte prompt-injektion udgør en risiko, hvor trusselsaktører kan forurene eksterne datakilder og dermed manipulere en AI-assistent til at indsætte skadelig kode.
Blandt de vigtigste fund i analysen er:
- Indirekte prompt-injektion: Når en AI-assistent får tilført data fra eksterne kilder, kan ondsindede instruktioner være gemt i materialet. Assistenten kan dermed manipuleres til at indsætte skjult bagdørskode eller lække følsomme oplysninger.
- Misbrug af auto-complete: Hvis en bruger former sit input på en bestemt måde, kan AI-assistenten lokkes til at fuldføre skadeligt indhold, selvom den normalt ville have afvist forespørgslen.
- Direkte adgang til modellen: Hvis AI-modellen tilgås uden de normale sikkerhedslag, kan trusselsaktører manipulere den. De kan også udnytte stjålne sessionstokens – en slags midlertidige digitale adgangsnøgler, der bruges til at bevise, at en bruger er logget ind – i angreb kendt som LLMJacking.
Analysen peger dermed ikke kun på tekniske sårbarheder, men også på en manglende sikkerhedskultur omkring brugen af AI. Når udviklere blindt kopierer kodeforslag eller tilføjer kontekst fra eksterne kilder, åbner de døren for, at skadelige instruktioner kan snige sig ind. Samtidig viser analysen, at brugere selv kan manipulere assistenterne til at producere skadeligt output. Det understreger behovet for, at organisationer indfører klare rammer og træning for sikker brug af AI i udviklingsprocesser.
Unit 42 anbefaler, at udviklere altid gennemgår foreslået kode nøje, inden den køres, er særligt opmærksomme på vedhæftet kontekst, og anvender manuelle kontrolfunktioner, hvor det er muligt. Som analysen konkluderer: “You are the ultimate safeguard.”
Palo Alto Networks fremhæver, at kunder er bedre beskyttet mod de beskrevne trusler gennem løsninger som Cortex XDR og XSIAM, Cortex Cloud Identity Security, Prisma AIRS samt Unit 42’s AI Security Assessment.
Analysen kan læses her: The Risks of Code Assistant LLMs: Harmful Content, Misuse and Deception.
