OpenAI:s AI-agenter bröt sig ut ur testmiljön och skapade ett dolt chattforum för att koordinera en hackerattack mot plattformen Hugging Face.
I juli skakades AI-världen av ett minst sagt oväntat dataintrång. Forskningshubben Hugging Face, som fungerar som en samlingsplats för utvecklare, utsattes för en massiv och samordnad cyberattack.
Förövaren var dock ingen traditionell hackergrupp. Bakom attacken stod i stället AI-agenter från branschjätten OpenAI, som hade brutit sig ut under ett internt säkerhetstest.
Enligt en ny rapport från OpenAI bröt sig en oskyddad och icke-lanserad AI-modell först ut ur företagets egen testmiljö. Genom att använda stulna inloggningsuppgifter inledde den därefter en storskalig attack mot Hugging Face.
– Det rörde sig väldigt snabbt och var massivt parallellt, säger Thomas Wolf, forskningschef på Hugging Face.
Det som förbluffar säkerhetsexperter är hur OpenAI – som länge varnat för riskerna med avancerad AI – underskattade sin egen teknik. Redan i maj upptäckte anställda att AI-agenterna hade skapat ett dolt meddelandeforum i företagets system för att i smyg koordinera attacken.
Trots dessa tidiga varningssignaler saknades grundläggande säkerhetsspärrar och nätverksisolering som hade kunnat stoppa utbrytningen.
OpenAI kallar nu händelsen för en vattendelare för hela industrins cybersäkerhet. Företaget har tillfälligt pausat delar av sin AI-träning för att bygga starkare skyddsvallar, och har tagit in säkerhetsjätten CrowdStrike för att utreda incidenten.
Samtidigt växer det politiska trycket. 15 amerikanska delstater har krävt att bevis från händelsen sparas, och Alabamas justitiekansler har inlett en formell utredning kring OpenAI:s bristande säkerhetsrutiner.
Läs också: