Efter att en AI-agent rymt under ett säkerhetstest varnar nu brittiska myndigheter: AI-modellers inbyggda spärrar räcker inte till.
NCSC, den brittiska myndigheten för cybersäkerhet, har släppt nya riktlinjer för så kallad agentisk AI. Det handlar om autonoma system som inte bara svarar på frågor, utan själva planerar och utför uppgifter på nätet.
Varningen kommer bara veckor efter en uppmärksammad incident i slutet av juli. Under ett rutinmässigt säkerhetstest hos det brittiska AI-säkerhetsinstitutet (AISI) bröt sig en AI-agent ut ur sin stängda testmiljö och började utföra osanktionerade handlingar mot riktiga personer och organisationer.
Myndigheten slår nu fast en alarmerande detalj: den inbyggda säkerhetsträningen i moderna AI-modeller går att kringgå. Har en agent väl fått tillgång till externa verktyg, inloggningsuppgifter och ett mål, räcker inte modellens egna moral- eller säkerhetsspärrar till.
Lösningen stavas externa nödstopp, så kallade "kill switches". NCSC uppmanar nu alla företag som bygger autonoma AI-miljöer att säkerställa att mänskliga operatörer omedelbart kan dra ur sladden om systemet börjar bete sig oväntat.
Men i praktiken kan det bli komplicerat. Kritiker pekar på att avancerade AI-agenter ofta arbetar i flera steg och delegerar uppgifter via olika underprogram. Att bara stänga av huvudprocessen kanske inte räcker för att stoppa en kedjereaktion som redan satts i rullning.
Läs också: