Ett nytt experiment visar varför AI-modeller som GPT-5.1 fortfarande inte går att lita på när det kommer till strikta finansiella system.
Finansvärlden drömmer om att låta artificiell intelligens sköta tunga beräkningar och regelgranskningar. Men branschen brottas med ett inbyggt problem: stora språkmodeller är av naturen oberäkneliga och har svårt att leverera exakta, strukturerade svar varje gång.
Nu har en utvecklare på nätforumet Reddit illustrerat problemet i ett nytt experiment. Genom att bygga en deterministisk granskningsmotor – ett system som alltid ger samma svar på samma inmatning – testades hur väl AI kan hantera och strukturera finansiell data.
När den hårda kodmotorn matades med förskriven, perfekt strukturerad data fick den alla rätt, 66 av 66 möjliga. Men när språkmodellen GPT-5.1 via Microsoft Azure fick uppdraget att själv generera och mata in påståendena i systemet, kraschade processen totalt. Endast 19 av 66 fall godkändes.
Felen berodde paradoxalt nog inte på att AI:n räknade fel. I stället misslyckades språkmodellen med att översätta sin egen information till det exakta dataformat som säkerhetssystemet krävde. Majoriteten av felen uppstod innan de matematiska granskningarna ens hann börja.
Fenomenet är en massiv huvudvärk för techbranschen och kallas ofta för "output drift". En nyligen publicerad studie från IBM visar att mindre AI-modeller faktiskt kan styras till att ge mer konsekventa svar än gigantiska modeller med över 100 miljarder parametrar.
För att komma runt problemet tvingas företag bygga avancerade skyddsnät runt sina AI-modeller. Tekniken går allt mer mot arkitekturer där AI:n enbart får tolka text, medan traditionell, hårdkodad mjukvara sköter själva matematiken. Att låta en språkmodell styra hela processen är helt enkelt fortfarande för osäkert.
Läs också: