Vanliga AI-tester kallas för "skräpvetenskap". När en cyberexpert byggde ett eget test för säkerhetshantering åkte Googles AI på pumpen.
Techjättarna skryter ständigt om hur deras artificiella intelligens slår nya rekord i olika mätningar. Men de etablerade testerna, så kallade benchmarks, får nu massiv kritik. En granskning från Oxford visar att hela 84 procent av de vanliga AI-testerna saknar grundläggande statistisk validitet och kallas av kritiker för ren "skräpvetenskap".
Säkerhetsforskaren Florian Roth, skaparen bakom det kriminaltekniska skanningsverktyget Thor, tröttnade på att de generella testerna inte visade hur AI fungerar i verkligheten. Han behövde veta om modellerna faktiskt kunde titta på ett säkerhetslarm och fatta ett vettigt beslut. Därför byggde han ett helt eget testverktyg fokuserat på cybersäkerhet.
Resultaten från 1 200 genomförda testkörningar visar tydliga skillnader mellan jättarnas modeller. OpenAI:s GPT-modeller klarade samtliga 300 testfall felfritt i sin egen miljö. Även Anthropics Claude och Googles standardmodell Gemini presterade på topp med endast ett fåtal misslyckanden.
Sämre gick det dock för Googles dedikerade "AI Mode". Den misslyckades helt i 28 av fallen och gav delvis felaktiga svar i nio. Modellen uppvisade dessutom ett mönster där den konsekvent gjorde samma semantiska och logiska missar i flera försök i rad.
Att AI-modeller har svårt med specifika logiska uppgifter trots höga poäng i standardtester är ett växande problem. Experter pekar bland annat på att systemens inbyggda säkerhetsfilter ofta saknar förståelse för sammanhang. Det nya säkerhetstestet understryker att en AI som briljerar på att skriva kod eller poesi inte nödvändigtvis går att lita på när det brinner i företagsnätverket.
Läs också: