Techbolag använder AI för att fejka användartester och spara pengar. Men en granskning av 182 studier visar att chattbottarna misslyckas.
Allt fler techbolag och forskare försöker spara tid och pengar genom att använda språkmodeller som ChatGPT för att simulera mänskliga testpersoner. Istället för att rekrytera riktiga människor för att svara på enkäter eller testa appar, ber man AI-modeller att spela rollen som tusentals olika kunder.
Nu visar en stor systematisk litteraturstudie att strategin faller platt. Forskarna har granskat 182 vetenskapliga artiklar för att ta reda på om dessa syntetiska deltagare faktiskt kan härma människor. Svaret, som just nu diskuteras flitigt på Reddit, är ett tydligt nej.
Forskarna ringar in fyra fundamentala problem. AI-modellerna uppvisar kognitiv skevhet, förvränger fakta, ger en falsk känsla av trovärdighet och lider av överinlärning. Enligt studien handlar det oftast om att modellerna slumpmässigt upprepar den data de tränats på, snarare än att de faktiskt simulerar mänskligt tänkande.
Inte ens avancerade promptar eller byten mellan olika AI-modeller ger några större förbättringar. Författarna rekommenderar därför att man slutar se AI-användarna som riktiga representanter för en målgrupp och istället hanterar dem som grova tumregler.
För techbranschen är detta en ordentlig varningsklocka. Om företag bygger och utvärderar sina produkter baserat på vad en algoritm tycker, riskerar de att lansera tjänster som verkliga människor varken förstår eller vill ha. Trenden kan i värsta fall leda till en marknad där appar optimeras för bottar istället för betalande kunder.
I takt med att AI-verktygen blir billigare lär diskussionen om syntetisk data fortsätta. Forskarna uppmanar nu branschen att ta fram etiska riktlinjer och undersöka hur AI istället kan komplettera riktiga användartester framöver.
Läs också: