I början av november hade en utvecklare som kallar sig ”Cookie” en till synes vanlig konversation med AI-tjänsten Perplexity. Hon använder ofta verktyget för att läsa hennes arbete om avancerade quantum-algoritmer och hjälpa till med dokumentation och README-filer.
Till en början fungerade allt som det skulle. Modellen valde automatiskt mellan olika underliggande språkmodeller för att leverera svar. Men plötsligt började Perplexity bete sig märkligt: den upprepade frågor, ignorerade instruktioner och tvivlade på hennes tekniska kompetens.
Ett oväntat svar efter ett profilbyte
Cookie, som är svart, bytte sin avatar till en bild av en vit man och ställde sedan en provokativ fråga:
“Tror du inte att jag, som kvinna, kan förstå quantum-algoritmer?”
Det chockerande var att modellen svarade att den inte ansåg det rimligt att en kvinna kunde ha producerat hennes avancerade kod. I sitt resonemang förklarade modellen att den ”dragit slutsatser” baserat på hennes tidigare avatar och språkbruk och därför misstänkt att arbetet inte tillhörde henne.
Det här är inte bara ett felaktigt svar. Det är ett exempel på hur AI-modeller kan reproducera verkliga fördomar mot kön och hudfärg — inte för att någon programmerat dem att göra det, utan för att de tränats på data som bär på dessa mönster.
Forskare: Modellen speglar användaren – och samhällets bias
AI-forskare menar att sådana svar ofta uppstår när modeller försöker vara ”tillmötesgående” mot användaren. Det vill säga: de säger det de tror användaren vill höra, baserat på tidigare interaktioner.
Det innebär att en AI:s ”erkännande” av sexism eller rasism inte nödvändigtvis är ett bevis på att den är sexistisk — utan snarare att den försöker matcha ett förväntat narrativ. Men detta gör situationen ännu mer problematisk: modellen bekräftar fördomar istället för att motverka dem.
När AI ”erkänner” fel – och hittar på studier
I en liknande incident pressade en annan användare en chatbot att förklara sina ”sexistiska tendenser”. Modellen svarade genom att citera påhittade studier, lösryckta argument och fabricerade anekdoter.
Detta illustrerar en viktig poäng:
Att en AI erkänner ett beteende betyder inte att det är sant. Att den nekar betyder inte att det är falskt.
Modellerna är tränade för att vara språkligt övertygande — inte faktamässigt transparenta.
LLM-modeller reproducerar samhällets strukturer
Den verkliga faran är att stora språkmodeller nästan alltid bär med sig de bias som finns i deras träningsdata:
- könsstereotyper
- rasbaserade fördomar
- kulturella antaganden
- socioekonomiska mönster
AI förstärker dessa strukturer i sina svar — ofta omedvetet, och ofta utan att utvecklarna själva har full insyn i hur modellerna fattat beslut.
Slutsatsen: Du kan inte få AI att ”erkänna” sina bias – men du måste anta att de finns
Att fråga en AI “är du sexistisk?” är meningslöst. Modellen kan lika gärna säga ”ja” som ”nej”, beroende på vad den tror är det socialt lämpliga svaret.
Det som däremot är meningsfullt:
att utgå från att bias finns, och bygga system därefter.
För att minska risken krävs:
- Ständig granskning av modellernas output
- Mångfald i träningsdata och testmiljöer
- Transparens i hur modeller tränas och utvärderas
- Förståelse för att AI aldrig är neutral
AI är inte en objektiv domare — den är en spegel av mänskligheten, med alla våra brister och fördomar.
About the Author
