Forskere fra Stanford University og andre institusjoner har utviklet CyberForge, et rammeverk som adresserer en kritisk flaskehals innen trening av sikkerhetsagenter basert på store språkmodeller (LLM). Tradisjonelle metoder for å trene slike agenter har vært avhengige av historiske CVE-data, noe som begrenser skalerbarheten og reproduserbarheten av sikkerhetstreningsmiljøer. CyberForge løser dette ved å dynamisk injisere verifiserte sårbarheter i autentiske C/C++-prosjekter, og skaper dermed et korpus med 1 034 validerte sårbarheter fordelt over 80 prosjekter og 63 svakhetskategorier.
Hver injisert sårbarhet gjennomgår streng validering for å sikre at den er reproduserbar og kjørbar. Rammeverket krever at den modifiserte koden består prosjektets enhetstester, og at det genererte beviset for sårbarhet (PoV) kun utløses i den infiserte versjonen, ikke i den originale koden. Denne metoden sikrer at treningsdataene speiler reelle forhold med høy presisjon.
Det resulterende korpuset ble brukt til å finjustere sikkerhetsagenter, noe som førte til betydelige forbedringer i patch-reparasjonstester. En modell med 31 milliarder parametere nådde 72,7 % ytelse sammenlignet med sin lærer på 74,0 %, en forbedring på 1,3 poeng. Mindre modeller viste forbedringer på opptil 14,7 poeng, avhengig av konfigurasjon. Resultatene generaliserte seg også til andre programmeringsspråk i PatchEval-korpusen, noe som understreker metodens robusthet.
For digitale etterforskere er CyberForge spesielt relevant siden det muliggjør opprettelsen av høyverdige, reproduserbare sikkerhetstestmiljøer. Dette kan brukes til å evaluere og forbedre sikkerhetsverktøy, inkludert statisk og dynamisk kodeanalyse, samt til å trene agenter som kan identifisere komplekse sårbarheter i sanntid. Metoden kan også redusere avhengigheten av manuell sårbarhetsanalyse, som ofte er tidkrevende og subjektiv.
En viktig egenskap ved CyberForge er evnen til å håndtere 'edit locality' – forskjellen mellom injisert kode og reelle CVE-patcher. Ved å etterligne reelle patchmønstre reduserer rammeverket risikoen for at trente agenter overtilpasser seg syntetiske data. Denne egenskapen gjør metoden spesielt verdifull for praktisk anvendelse innen DFIR og sikkerhetsetterforskning.
Forskerne påpeker at CyberForge ikke er begrenset til C/C++, men kan skaleres til andre programmeringsspråk og prosjekter. Den dynamiske valideringsprosessen sikrer at hver injisert sårbarhet er reproduserbar, noe som er avgjørende for å opprettholde påliteligheten til treningsdataene. Denne skalerbarheten åpner for videre forskning og utvikling innen automatisert sårbarhetsdeteksjon og patching.
For IT-forensiske etterforskere og sikkerhetsanalytikere gir CyberForge en mulighet til å forbedre sine verktøy og metoder for å identifisere og håndtere sårbarheter i komplekse kodebaser. Ved å benytte det genererte korpuset kan praktikere trene agenter som kan oppdage sårbarheter som tidligere var vanskelige å identifisere med tradisjonelle metoder. Dette kan føre til raskere respons ved hendelser og redusert risiko for utnyttelse.
Oppsummert representerer CyberForge et gjennombrudd innen trening av sikkerhetsagenter ved å adressere en kritisk mangel på reproduserbare sikkerhetstestmiljøer. For DFIR-utøvere gir rammeverket en ny metode for å skape høyverdige treningsdata som kan forbedre både automatiserte og manuelle sikkerhetsetterforskninger.
Konklusjoner & forslag til tiltak
- Forensisk fokus: Kontroller systemlogger, artefakter og beviskjeden for berørte systemer.
- Kildegrunnlag: Verifisert teknisk analyse basert på rapporter fra arXiv cs.CR.
- Tiltak: Omedelbar kontroll och säkring av telemetri krävs för att förhindra bevisförlust.