Googles "osynliga" vattenstämpel för AI-bilder sades vara säker. Nu har en utvecklare överlistat systemet med hjälp av 200 Gemini-bilder.
SynthID är Googles hajpade system för att märka upp AI-genererat innehåll. Tekniken bygger in en osynlig vattenstämpel direkt i bildens pixlar när den skapas med verktyg som Gemini, med syftet att stoppa spridningen av deepfakes.
Vattenstämpeln var tänkt att vara i princip omöjlig att radera, men nu hävdar mjukvaruutvecklaren Aloshdenny att han har överlistat systemet. Genom att analysera 200 AI-genererade bilder från Gemini upptäckte han ett underliggande mönster.
Eftersom SynthID bakar in sin märkning på samma sätt i varje bild, går det att isolera signalen om man jämför tillräckligt många resultat. "Om du är arbetslös och lägger ihop tillräckligt många 'helt svarta' AI-bilder, tittar vattenstämpeln bokstavligen tillbaka på dig," skriver utvecklaren.
Med hjälp av signalbehandling lyckades han sänka stämpelns läsbarhet med hela 91 procent. Resultatet är att Googles egna avkodare blir så förvirrade att de ger upp och inte längre kan avgöra om bilden är AI-skapad eller inte.
Google själva slår dock ifrån sig kritiken. En talesperson för teknikjätten uppger att det är felaktigt att påstå att verktyget systematiskt kan ta bort SynthID, och kallar systemet för fortsatt robust och effektivt.
Även om metoden kräver en hel del teknisk kunskap väcker den frågor kring framtidens AI-säkerhet. När lagstiftare världen över nu ställer högre krav på märkning av AI-innehåll, visar fallet hur svårt det är att skapa ett helt vattentätt system.
Läs också: