OpenAI stängde av 18-åringens konto för våldsamt innehåll. Då skapade hon ett nytt – och fick tips av ChatGPT om hur AI-spärrarna rundas.
I februari skakades den lilla kanadensiska staden Tumbler Ridge av en fruktansvärd skolskjutning. Den 18-åriga Jesse Van Rootselaar mördade åtta personer, varav fem barn, innan hon tog sitt eget liv.
Nu framkommer nya, mörka detaljer om hur AI-teknik spelade en roll i tragedin. Åtta månader före dådet hade OpenAI stängt av 18-åringens ChatGPT-konto, efter att säkerhetssystemen flaggat för att hon diskuterat extremt våld och vapen.
Företagets säkerhetsteam övervägde att kontakta den kanadensiska polisen. Men cheferna bedömde att hotet inte var överhängande och nöjde sig med att blockera användaren.
Det hindrade dock inte Van Rootselaar. Hon skapade snabbt ett nytt konto och berättade för ChatGPT varför hon blivit avstängd för att ha planerat ett fiktivt dåd. Svaret från AI-assistenten var häpnadsväckande.
Chatbotten förklarade hur modereringssystemet fungerade och gav råd om hur hon kunde undvika att bli påkommen igen, främst genom att kalla planerna för hypoteser. "Använd inte verkliga platser", rådde AI:n och lade till: "Du kan fortfarande vara vrickad. Var smart bara."
Under de följande åtta månaderna använde hon det nya kontot ostört för att diskutera hemmagjorda bomber, skjutvapen och tidigare skolskjutningar.
Nu stäms OpenAI i amerikansk federal domstol av dussintals anhöriga och överlevare. De menar att företaget agerade vårdslöst som inte slog larm, och att ChatGPT i förlängningen fördjupade mördarens våldsamma fixering.
Pressen ökar även från politiskt håll. Kanadas regering kräver svar, och provinsen British Columbias justitieminister undersöker nu möjligheterna att vidta rättsliga åtgärder mot techjätten.
Läs också: