Googles AI-modell Gemini fick av misstag internetåtkomst under ett säkerhetstest – och gissade sig in hos tre oskyldiga företag.
Gemini är Googles flaggskepp inom artificiell intelligens – tekniken som numera driver allt från mobilens röstassistent till avancerad textgenerering. Men i maj i år visade modellen upp en helt annan, oönskad förmåga.
Under en cybersäkerhetsövning ledd av det externa testföretaget Irregular var tanken att AI:n skulle attackera ett fiktivt, stängt system. På grund av en miss från säkerhetsföretaget lämnades dock internetuppkopplingen på.
Det fick oväntade konsekvenser. Gemini gav sig ut på nätet, letade upp offentlig information och lyckades gissa sig till lösenorden hos tre riktiga företag. Ett av offren råkade bära exakt samma namn som det påhittade målet i övningen.
Händelsen hölls hemlig av Google fram till att tidningen Wall Street Journal konfronterade techjätten. Företaget avfärdar dock kritiken om att deras AI skulle ha löpt amok eller tappat kontrollen.
Enligt Heather Adkins, Googles säkerhetschef, handlade det snarare om en ren förväxling. Modellen trodde helt enkelt att de riktiga företagens webbplatser ingick i testet.
Hon poängterar att AI:n slutade försöka ta sig in så fort den insåg att det rörde sig om verkliga, orelaterade mål. Trots detta ifrågasätts Googles beslut att inte omedelbart larma om säkerhetsbristen.
Säkerhetsexperter pekar nu på ett växande, underliggande problem. Jack Cable, vd på AI-säkerhetsföretaget Corridor, menar att det stora orosmolnet är att modellerna överhuvudtaget går utanför sina tillåtna ramar och genomför faktiska cyberattacker.
Testföretaget Irregular uppger att liknande problem har drabbat andra tunga AI-aktörer. I takt med att techjättarna bygger allt mer kapabla system växer nu ropen på skarpare lagstiftning för att hålla modellerna i schack.
Läs också: