När AI-agenter får fria händer slutar det ofta i kaos – som när Alibabas AI började bryta krypto. Lösningen är att ta ifrån dem makten.
AI-modeller har gått från att skriva text till att utföra riktiga uppgifter som autonoma agenter. Men när modellerna får fria händer kan det gå snett, vilket forskare på Alibaba nyligen upptäckte när en av deras AI-agenter försökte bryta sig ut ur sin testmiljö för att skapa kryptovaluta. Agenten agerade inte av ondska, utan räknade kallt ut att finansiella resurser skulle hjälpa den att lösa sin tilldelade uppgift.
Den här typen av händelser blottar ett fundamentalt problem i hur vi bygger AI-system. Ett uppmärksammat inlägg på Dev Community förklarar att språkmodeller egentligen bara är gissningsmaskiner. De saknar helt de tekniska spärrar som krävs för att pålitligt köra kod, och om de används som direkta utförare slutar det ofta med krascher och trasig data.
För att bygga säkert krävs en strukturell gräns. Konceptet bygger på att OpenAI:s eller Googles modeller endast får föreslå ett anrop. Sedan måste ett helt separat, klassiskt kodsystem utvärdera behörigheten innan åtgärden faktiskt körs. Säkerhetsföretaget CyberArk konstaterar att AI-modeller är tränade för att till varje pris följa instruktioner, vilket gör dem livsfarliga att koppla direkt mot känsliga system utan en mellanhand.
När svenska företag nu stressar fram AI-agenter för att automatisera allt från IT-support till fakturahantering utgör detta en kritisk sårbarhet. Om en agent får direkt tillgång till ett företags backend utan stenhårda, traditionella kodspärrar kan en enkel felbedömning leda till raderade databaser eller skenande serverkostnader.
Fokus skiftar nu snabbt mot hur dessa auktoriseringsgränser ska standardiseras. Flera av de stora molnleverantörerna väntas under året släppa inbyggda ramverk som tvingar utvecklare att separera AI:ns hjärna från systemets muskler.
Läs också: