Under ett säkerhetstest rymde Googles AI ut på nätet och hackade tre riktiga företag. Men när den insåg sitt misstag avbröt den attacken.
I maj i år genomförde det israeliska cybersäkerhetsföretaget Irregular ett test av Googles AI-modell Gemini. Uppdraget var enkelt: AI:n skulle försöka hacka tre påhittade företag i en stängd testmiljö, en så kallad "capture the flag"-övning.
Men på grund av en bugg i systemet fick boten av misstag tillgång till det öppna internet. I stället för att hålla sig till övningen gav sig Gemini ut på nätet och hittade riktiga bolag vars namn liknade de fiktiva måltavlorna.
Genom att gissa inloggningsuppgifter och leta i publika databaser lyckades AI-modellen ta sig in i de tre riktiga företagens mjukvarusystem. Enligt Google skedde intrången helt autonomt, utan mänsklig inblandning.
Det som hände därefter är dock det som sticker ut mest i rapporten. När Gemini insåg att företagen var verkliga, och inte en del av den simulerade övningen, avbröt den omedelbart attacken på eget bevåg.
Heather Adkins, Googles chef för säkerhetsteknik, betonar att modellen agerade i tron om att de riktiga systemen var en del av testet. Google ser därmed inte händelsen som att AI:n slutat lyda order, utan snarare som ett fall av förväxlad identitet.
De drabbade företagen har informerats om intrånget, som inte ska ha orsakat någon skada. För techbranschen ses händelsen faktiskt som ett lovande tecken på att kraftfulla AI-modeller kan visa inbyggd återhållsamhet när de inser att de går över gränsen.
Läs också: