Verkes redaktion

Kan AI hallucinera dåliga råd? Ja – så här känner du igen och hanterar dem

Verkes redaktion ·

Kan AI hallucinera dåliga råd? Ja. Stora språkmodeller hittar ibland på saker som låter trovärdiga – en studie som inte finns, en felaktig källhänvisning, råd som inte passar din situation, ett ramverk som låter övertygande men är helt påhittat. Inom coaching står det något mindre på spel än inom medicin eller juridik, men dåliga råd spelar ändå roll. Ärligt talat minskar skyddsmekanismerna hallucinationerna men tar inte bort dem, och att du själv kalibrerar hur mycket du litar på svaren är en del av det som håller ett välfungerande AI-coachingverktyg användbart.

Artikeln går igenom var hallucinationer dyker upp, hur Verke är byggt för att fånga högriskkategorierna och hur du som användare kalibrerar ditt förtroende. Tumregeln är ungefär: "se AI-förslag som råd från en klok vän som inte är allvetande". Verkes hållning är att hellre säga "jag är inte säker" än att låta säker och ha fel, och att hålla coachingen inriktad på att utforska snarare än att ställa diagnoser. Inget av det gör hallucinationer omöjliga. Men det gör felen lätta att känna igen och lätta att reda ut.

Artikeln ber dig säga emot när ett råd inte passar din situation. Amanda är byggd för just det: hon behandlar övertygelser som hypoteser att pröva och säger hellre ”jag är inte säker” än svarar säkert och fel.

Säg emot det första hon säger och se vad som händer – utan registrering, utan mejladress och utan något att backa ur.

Testa rådet med Amanda →

Chatten startar direkt här i webbläsaren – inget konto behövs.

Vad "hallucination" innebär

Så hittar språkmodeller på saker

En språkmodell förutsäger nästa sannolika ord utifrån mönstren i sin träningsdata. För det mesta är det mest sannolika ordet också det rätta — och det är därför verktygen fungerar så bra som de gör. Men ibland blir det fel. Modellen producerar ett svar som låter säkert men som saknar grund i fakta. Det är just det flytande språket som lurar läsaren: det felaktiga svaret läses lika smidigt som ett rätt, eftersom modellens uppgift är att producera flytande text — inte verifierad text.

Det handlar inte om lögner – modellen har ingen agenda, inget mål, inget försök att vilseleda. Det handlar om att modellen saknar en separat ”sanningskomponent” som kontrollerar resultatet mot verkligheten innan det produceras. Nyare tekniker (retrieval, verktygsanvändning, konsistensgranskning, avvisningsträning) minskar hallucinationer avsevärt, och frekvensen sjunker för varje modellgeneration. De eliminerar dem dock inte helt. Att se AI-resultat som ”oftast rätt, men verifiera de delar där mycket står på spel” är rätt kalibrering idag och förmodligen under flera år framåt.

Artikeln ber dig säga emot när ett råd inte passar din situation. Amanda är byggd för just det: hon behandlar övertygelser som hypoteser att pröva och säger hellre ”jag är inte säker” än svarar säkert och fel.

Säg emot det första hon säger och se vad som händer – utan registrering, utan mejladress och utan något att backa ur.

Testa rådet med Amanda →

Chatten startar direkt här i webbläsaren – inget konto behövs.

Var hallucinationer dyker upp i coaching

Påhittade källor

Så ser den klassiska hallucinationen ut: "en Harvard-studie från 2019 visade att…", följt av ett resultat som låter säkert men som inte går att hitta när du letar efter det. Studien är påhittad, författarna är påhittade, och tidskriften kan finnas på riktigt men inte studien. Lösningen är att kontrollera varje källa som spelar roll för dig i PubMed eller Google Scholar innan du förlitar dig på den. Om det finns en URL, klicka på den och se efter att sammanfattningen faktiskt säger det som påstods – ibland är URL:en äkta men det som sägs om den fel.

Specifika medicinska eller juridiska råd

Dosering, läkemedelsinteraktioner, regelverk i olika jurisdiktioner, specifika juridiska förfaranden – allt där svaret måste vara exakt rätt, annars riskerar någon att skadas. Även när modellens svar råkar stämma är den fel verktyg för dessa frågor, eftersom du inte har något sätt att veta om den hade rätt just den gången. Stäm alltid av med en legitimerad yrkesperson (läkare, farmaceut, jurist, revisor) innan du agerar på något inom de områdena. Verkes coacher är byggda för att avvisa den här typen av frågor direkt i stället för att improvisera – se nästa avsnitt.

Säkra svar inom smala ämnesområden

Ovanliga tillstånd med lite träningsdata, regionala regelverk som resten av världen inte bryr sig om, specifika terapeuter vid namn, små yrkesgrupper. Modellen har precis tillräckligt med mönster i träningsdatan för att få ihop något som låter flytande, men inte tillräckligt för att veta om det stämmer. Det är kombinationen av flyt och smalt ämne som är den viktigaste signalen – när ämnet är obskyrt men svaret säkert är det dags att kalibrera.

Trovärdiga men felaktiga ramverk

Påhittade "femstegsmetoder" och "fyra pelare för…" som inte finns i litteraturen. Modellen har sett tillräckligt många självhjälpsupplägg för att kunna få ihop övertygande varianter, även när just det ramverk den beskriver är påhittat. Om ett ramverk spelar roll för ett beslut du ska fatta, slå upp upphovspersonen eller metodens namn och kontrollera att det finns på riktigt innan du behandlar det som vedertagen praxis. Riktiga ramverk har riktiga Wikipedia-sidor, böcker och källhänvisningar. Påhittade har inte det.

Vad vi gör åt det

Vad Verke gör åt det

Gränser kring riskfyllda ämnen

Coacherna är byggda för att avvisa frågor i högriskkategorierna i stället för att improvisera. Medicinsk dosering, läkemedelsinteraktioner, juridiska bedömningar, diagnostiska påståenden, allt som hör till legitimerade yrkespersoners område – där hänvisar coachen vidare i stället för att försöka svara. ”Det där låter som en fråga för en farmaceut” är en funktion, inte en begränsning. Produkten avstår hellre från att svara än svarar fel.

Källor som går att kontrollera

När en coach hänvisar till en studie eller en metod innehåller källhänvisningen en verklig URL som användaren kan verifiera (artikeln om StopOverthinking på den här webbplatsen citerar A-Tjak et al. 2015 med en PubMed-länk just av det skälet — läsare ska kunna klicka sig fram och kontrollera). Om coachen inte kan citera något verifierbart ändras formuleringen till "det finns belägg för att" eller "det här är ett vanligt mönster inom fältet", inte påhittade detaljer. Kravet är att en läsare ska kunna verifiera det på 30 sekunder.

Försiktighet som grundinställning

När samtalet tyder på att något är allvarligt är standardsteget att lyfta fram klinisk vård i stället för att improvisera fram hjälp. Ämnen som gränsar till kris leder till krisstöd. Ämnen som gränsar till diagnos leder till en kliniker. När mycket står på spel är produkten byggd för att hellre säga "ta det här till en människa" en gång för mycket – och det är just där en hallucination skulle göra mest skada om den ändå slank igenom.

Vad du kan göra som användare

Kalibrering är ett gemensamt arbete. Produkten tar sitt ansvar med skyddsmekanismer och tydlig källhänvisning; ditt ansvar är några enkla vanor som gör hallucinationer betydligt mindre kostsamma när de ändå händer:

  • Se AI-förslag som råd från en klok vän som inte är allvetande. En bra utgångspunkt, men ingen absolut sanning.
  • Verifiera källor innan du delar dem eller fattar beslut utifrån dem. Att kolla i PubMed och Google Scholar tar 30 sekunder.
  • Fråga "hur säker är du på det här?" – modeller kan ibland säga till när de är osäkra om man ber dem, och svaret säger en del.
  • Allt som rör medicin, juridik eller ekonomi: stäm av med en legitimerad yrkesperson. Som primärkälla är AI fel verktyg inom de områdena.
  • Säg emot när något inte passar din situation. Svaret kalibreras om utifrån det du lägger till – generella råd är ofta ett tecken på att coachen ännu inte riktigt har förstått detaljerna.

När du bör söka mer hjälp

Självhjälp och AI-coaching kan göra mycket, men de räcker inte hela vägen. Om du lever med en svår depression som inte släppt, panikattacker som bryter sönder vardagen, tankar på att skada dig själv, pågående traumabearbetning eller ett beroende – då är det dags att söka hjälp hos en legitimerad psykolog eller läkare, inte att kämpa hårdare med ett coachverktyg. Mer prisvärda alternativ hittar du på opencounseling.com eller internationella stödlinjer via findahelpline.com. Du vinner inget på att vänta längre än du behöver.

Jobba med Amanda

Kalibrering – ”stämmer den här tanken (eller det här rådet) egentligen?” – är kärnan i KBT. Amanda behandlar övertygelser som hypoteser att pröva snarare än fakta att svälja, och det är precis den hållningen som gör att du kan använda vilken källa som helst (även en AI-coach) utan att lita blint på den. Hon är också bra på metanivån: att märka när du lutar dig för tungt mot en enda källa – bok, podd, vän, app – och leda dig tillbaka till ditt eget omdöme som det sista filtret. Läs mer om metoden i Kognitiv beteendeterapi.

Ta med en övertygelse och pröva den mot fakta – inget konto behövs

Chatten startar direkt här i webbläsaren – inget konto behövs.

Vanliga frågor

Vanliga frågor

Varför hittar AI ibland på saker?

Stora språkmodeller förutsäger trolig text, inte verifierad sanning. När de saknar förankrad information fyller de i luckorna med något som låter rimligt – ett svar som låter säkert men saknar verklig grund. Det handlar inte om lögn (modellen har ingen agenda); det handlar om att modellen inte har någon separat "sanningskomponent" att stämma av sig själv mot. Nyare säkerhetsmekanismer minskar problemet men tar inte bort det.

Är hallucinationer farliga i coaching?

Oftast står inte särskilt mycket på spel när ämnet är reflekterande – att sätta ord på känslor, utforska mönster, öva inför ett samtal. Mer står på spel när det handlar om medicinska, juridiska eller ekonomiska detaljer, där ett felaktigt svar blir en felaktig handling. Anpassa hur noga du kontrollerar efter vad som står på spel: en känsla inför en kollega behöver ingen faktakoll, ett påstående om en läkemedelsinteraktion gör det.

Hur märker jag om AI:n hittar på?

Säkra svar inom smala ämnesområden är den tydligaste varningssignalen – ovanliga tillstånd, regionala regelverk, specifika terapeuter vid namn. Källor du inte kan verifiera, "studier" utan URL:er som går att hitta och medicinska detaljer utan förbehåll är också skäl att bli mer misstänksam. Ju renare och mer polerat språket är, desto mer behöver det kontrolleras – flyt är inte detsamma som korrekthet.

Ska jag faktakolla det AI:n säger?

För allt du tänker agera på i verkliga livet – ja. Att faktakolla tar 30 sekunder med en sökmotor. I reflekterande samtal om dina egna upplevelser spelar det mindre roll, eftersom det är du som är sanningskällan. Grovt sett gäller: påståenden om omvärlden (siffror, källor, regelverk) behöver kontrolleras, ditt inre utforskande (vad du känner, vad du vill prova) behöver det inte.

Är vissa AI-coacher mer träffsäkra än andra?

Träffsäkerheten varierar beroende på underliggande modell, de skyddsmekanismer produkten bygger runt den och hur smalt coachen är avgränsad. Coacher som är förankrade i väl beforskade evidensbaserade metoder (KBT, ACT, PDT) tenderar att glida iväg mindre än öppna coacher utan tydlig metod, eftersom källmaterialet är strukturerat och väl kartlagt. Verkes coacher är avgränsade efter metod just av det skälet.

Verke erbjuder coaching, inte terapi eller vård. Resultaten varierar från person till person. Är du i kris kan du ringa: Mind Självmordslinjen 90101 (Sverige). Vid akut fara, ring 112. Stödlinjer i andra länder: findahelpline.com.