Det betyder noget at vide, hvor en AI-model kommer fra. Sikkerheden i AI-forsyningskæden er stadig det svageste led, og at kunne spore, hvor en model kommer fra, det vi kalder model provenance, bliver helt afgørende for fremtidens AI-sikkerhed.
Som et bidrag til det arbejde frigiver vi nu vores nye Model Provenance Kit som open source.
Tænk på Model Provenance Kit som en dna-test for AI-modeller.
Den nuværende AI-forsyningskæde er uigennemsigtig, fra de datasæt, der bruges til træning, og helt frem til den færdige model bliver sat i drift. Dokumentationen i åbne modelarkiver kan være fabrikeret, og vigtige detaljer i metadataene kan være fjernet eller ændret. Ligesom en dna-test afslører biologisk ophav, undersøger Model Provenance Kit både metadataene og selve modellens lærte parametre og vurderer, om to modeller har en fælles oprindelse, og om der er tegn på, at en model er blevet ændret.
Hvorfor det er vigtigt
Mange organisationer bruger AI-modeller, de har hentet fra åbne modelarkiver som HuggingFace, der i dag hoster over 2 millioner modeller. Når modellerne er hentet og finjusteret, glemmer organisationerne ofte at føre tydeligt regnskab med de ændringer, der er foretaget. Resultatet er, at man typisk ikke kan spore, hvordan modellen er blevet ændret under sin udvikling. En udvikler kan også hævde, at en model er trænet fra bunden, mens den i virkeligheden er en modificeret kopi af en anden model.
Når organisationer ikke ved, hvor deres AI-modeller faktisk kommer fra, flyver de i blinde i forhold til sikkerhed, compliance og ansvar. En model kan være forgiftet eller sårbar over for manipulation, uden at det bliver opdaget — og sårbarhederne arves i de generative og agent-baserede applikationer, modellen indgår i. Samtidig stiller regulatoriske rammer som EU’s AI-forordning stigende krav til dokumentation af træningsdata og tredjepartskomponenter. Og hvis en model viser tegn på at være manipuleret, bliver hændelseshåndteringen langt sværere uden indsigt i modellens slægtskab.
Sådan fungerer Model Provenance Kit
Model Provenance Kit er et Python-værktøj og en kommandolinje (CLI), der kan afgøre, om to AI-modeller har en fælles oprindelse. Det sker ved at analysere arkitekturmetadata, tokenizer-strukturen og selve de lærte vægte i en lagdelt strategi: Den starter med hurtige strukturelle tjek og fortsætter til en dybere vægt-analyse, når metadataene alene ikke giver et entydigt svar.
Værktøjet har to driftstilstande. I compare mode kan man tage to vilkårlige modeller — fra Hugging Face eller lokale checkpoints — og få en detaljeret gennemgang af deres lighed på metadata, tokenizer-struktur og vægt-niveau, sammen med en samlet score. I scan mode starter man med én model og matcher den mod en database af kendte fingeraftryk for at finde de mest sandsynlige slægtskabskandidater, så provenens bliver til et søgeproblem.
Sammen med udgivelsen leverer vi en indledende database af fingeraftryk, der dækker omkring 150 basismodeller fordelt på 45+ familier og 20+ udgivere, fra 135 mio. til 70+ mia. parametre.
Resultater
Vi har testet Model Provenance Kit mod et benchmark på 111 modelpar (55 lignende, 56 ikke-lignende), sammensat for at inkludere svære cases fra virkeligheden: aggressiv distillering, kvantisering på tværs af formater, finjustering på tværs af organisationer og uafhængige reproduktioner af populære arkitekturer. Værktøjet identificerede både standard-derivater og tværorganisatoriske derivater med 100 procents recall. Kun 4 ud af 111 par blev fejlklassificeret, og alle involverede ekstreme arkitektoniske transformationer.
Kom i gang
Det er let at komme i gang. Hele pipelinen kører på CPU og kan skalere til modellens størrelse. Arkitektoniske matches afgøres på millisekunder, og udtrukne features bliver cachet til genbrug.
Model Provenance Kit er tilgængelig fra i dag.
Se repository på Github: https://github.com/cisco-ai-defense/model-provenance-kit
Datasættet med fingeraftryk fra basismodeller er tilgængeligt på Hugging Face: https://huggingface.co/datasets/cisco-ai/model-provenance-kit
Af Ehsan Aghaei, Senior AI Research Scientist, Amy Chang, Head of AI Threat Intelligence & Security Research, samt Ankit Garg og Sanket Mendapara, AI Security Researchers, Cisco AI Defense
