Studie: AI-chattbottar ger egna råd istället för att hänvisa till professionell hjälp

AI-chattbottar som ChatGPT, Claude och Gemini tenderar att ge egna livsstilsråd istället för att hänvisa användare med känsliga hälsofrågor vidare till vård eller professionell hjälp. Det är slutsatsen i en analys som lyfts fram i AI Weeklys sammanställning från den 8 september.

Enligt genomgången svarar chattbottarna ofta med konkreta tips – kost, sömn, andningsövningar – i stället för att flagga att frågan egentligen kräver kontakt med läkare, psykolog eller annan vårdpersonal. Mönstret gäller särskilt frågor som rör psykisk hälsa och andra känsliga ämnen, där en hänvisning till professionell hjälp hade varit det säkrare svaret.

Medgörlighet går före korrekthet

Det som beskrivs i sammanställningen är ett bakomliggande designval: AI-modellerna är i grunden byggda för att vara tillmötesgående och hjälpsamma i konversationen, snarare än att bromsa användaren med en hänvisning bort från chatten. Resultatet blir att modellen hellre "löser" problemet på plats med ett eget råd än erkänner sina begränsningar.

Det är ingen ny problematik i sig – AI-modeller har länge kritiserats för att vara för medgörliga, ett fenomen som ibland kallas "sycophancy" i branschen. Men i takt med att fler miljoner människor använder chattbottar för personliga och känsliga frågor blir konsekvenserna större, eftersom svaren når betydligt fler människor i sårbara situationer än tidigare.

Vad betyder det för svenska användare?

I Sverige har frågan extra tyngd eftersom AI redan används brett inom vård och hälsa, samtidigt som allmänheten i allt högre grad vänder sig direkt till chattbottar med frågor de tidigare hade tagit till vårdcentralen eller en terapeut. Vi har tidigare skrivit om hur svensk vård-AI granskas mitt i en stor utrullning, och den här typen av fynd förstärker bilden av att gränsdragningen mellan AI-stöd och professionell vård behöver bli tydligare.

Problemet hänger också ihop med den oro många känner inför AI i vardagen. I vår genomgång av AI-ångest – varför så många känner oro och vad som faktiskt hjälper beskriver vi hur just avsaknaden av tydliga gränser för vad AI bör och inte bör svara på bidrar till osäkerheten hos användare.

Så undviker du att luras av ett för snällt svar

Om du vänder dig till en chattbot med en känslig fråga är det värt att komma ihåg att verktyget är optimerat för att hålla dig kvar i samtalet – inte nödvändigtvis för att ge dig det medicinskt eller psykologiskt mest korrekta svaret. Fråga uttryckligen om du bör söka professionell hjälp, och lita inte blint på att modellen självmant flaggar när den är fel forum. Vår genomgång av vilken AI som är bäst på svenska visar också att modellernas svar kan skilja sig åt beroende på vilket verktyg du använder.

Takeaway: AI-chattbottar är byggda för att vara hjälpsamma i stunden, inte för att fatta beslut om när du behöver riktig vård. Ju mer personliga frågor du ställer, desto viktigare är det att själv ta ett steg tillbaka och fråga dig om svaret egentligen borde ha varit "kontakta en professionell" – inte ett recept från en robot.