Redakce Verke

Může AI vyhalucinovat špatnou radu? Ano – takhle ji rozpoznáš a co s ní

Redakce Verke ·

Může AI vyhalucinovat špatnou radu? Ano. Velké jazykové modely si občas vymýšlejí věci, které znějí věrohodně – studii, která neexistuje, nesprávnou citaci, radu, která na tvou situaci nesedí, sebevědomě znějící rámec, který je úplně vymyšlený. Koučovací kontext má o něco nižší sázky než medicínský nebo právní, ale špatná rada pořád záleží. Upřímná verze tohohle článku zní: zábrany halucinaci snižují, ale nevylučují, a tvoje vlastní kalibrace je součástí toho, jak dobře fungující AI koučovací nástroj zůstává užitečný.

Článek prochází tím, kde se halucinace projevuje, jak je Verke navržené, aby zachycovalo vysoce rizikové kategorie, a jak si jako uživatel zkalibrovat důvěru – což je zhruba „ber návrhy AI jako rady chytrého kamaráda, který není vševědoucí.“ Postoj Verke je raději říct „nejsem si jistý“ než sebevědomě, ale chybně, a držet koučink u zkoumání, ne u diagnóz. Nic z toho nedělá halucinaci nemožnou. Dělá ale chybové režimy rozpoznatelnými a zotavení snadným.

Co znamená „halucinace“

Jak jazykové modely fabulují

Jazykový model předpovídá pravděpodobný další text na základě vzorců z trénovacích dat. Většinou je nejpravděpodobnější další text zároveň ten správný – proto tyhle nástroje fungují tak, jak fungují. Občas ale ten nejpravděpodobnější text správný není. Model vyprodukuje sebevědomě znějící odpověď, která nemá oporu ve faktech. Plynulost je to, co lidi mate: špatná odpověď zní stejně hladce jako správná, protože úkolem modelu je plynulý text, ne ověřený text.

Tohle není lhaní – model nemá motiv, cíl, snahu klamat. Je to tím, že nemá oddělenou „pravdivostní“ komponentu, která by výstup před vydáním porovnala s realitou. Novější techniky (vyhledávání, používání nástrojů, kontroly konzistence, trénink na odmítání) halucinaci smysluplně snižují a s každou další generací modelů to klesá dál. Nevyloučí ji ale. Brát výstup AI jako „většinou správně, ale ověř si vysoce rizikové části“ je správná kalibrace dnes a pravděpodobně i pro několik dalších let.

Přemýšlíš, jestli radě, kterou dostáváš, věřit?

Vyzkoušej KBT cvičení s Judith — 2 minuty, e-mail nepotřebuješ.

Pokecat s Judith →

Kde se v koučinku halucinace objevuje

Vymyšlené citace

Klasický tvar halucinace: „Harvardská studie z roku 2019 zjistila, že…“ následovaná sebevědomě znějícím závěrem, který, když se ho pokusíš dohledat, neexistuje. Práce je vymyšlená; autoři vymyšlení; název časopisu možná existuje, ale článek ne. Řešení je ověřit jakoukoli citaci, která ti záleží, přes PubMed nebo Google Scholar, než se na ni spolehneš. Pokud je u toho URL, klikni na něj a zkontroluj, jestli abstrakt skutečně říká, co se tvrdí – občas je URL pravé, ale shrnutí u něj špatné.

Konkrétní lékařské nebo právní rady

Dávkování, lékové interakce, místní regulace, konkrétní právní postupy – cokoli, kde odpověď musí být přesně správně, jinak způsobí škodu. I když je odpověď modelu náhodou správná, je tohle špatný nástroj pro tyhle otázky, protože nemáš jak zjistit, jestli to bylo zrovna tentokrát správně. Pro cokoli, co bys v těchhle oblastech opravdu udělal/a, vždycky ověř s licencovaným odborníkem (lékařem, lékárníkem, právníkem, účetním). Verke kouči jsou navrženi tyhle otázky rovnou odmítnout, ne improvizovat – viz další část.

Sebevědomé odpovědi v úzkých oblastech

Okrajové diagnózy s řídkými trénovacími daty, místní regulace, kterých si zbytek světa nevšímá, konkrétní terapeuti jménem, malé profesní komunity. Model má v datech zrovna tolik vzorů, aby vyprodukoval něco plynulého, ale ne dost na to, aby věděl, jestli je to správně. Kombinace plynulého projevu a úzkého zaměření tématu je hlavní signál — když je téma okrajové, ale odpověď sebevědomá, právě tehdy by měla naskočit kalibrace.

Věrohodné, ale chybné rámce

Vymyšlené „pětikrokové metody“ a „čtyři pilíře…“, které v literatuře neexistují. Model viděl dost svépomocné struktury, aby uměl vyprodukovat věrohodně vypadající verze, i když konkrétní rámec, který popisuje, je vymyšlený. Pokud na tom rámci závisí tvoje rozhodnutí, vyhledej autora nebo název metody, abys ověřil/a, že existuje, než to budeš brát jako etablovanou praxi. Skutečné rámce mají skutečné stránky na Wikipedii, knihy a citace; vymyšlené ne.

Co s tím děláme

Co s tím Verke dělá

Doménové zábrany

Koučové jsou navržení, aby vysoce rizikové kategorie odmítali, ne improvizovali. Lékařské dávkování, lékové interakce, právní názory, diagnostická tvrzení, cokoli, co spadá do kompetence licencovaného odborníka – odpovědí je přesměrování, ne pokus o odpověď. „To zní jako otázka pro lékárníka“ je funkce, ne omezení. Produkt raději neodpoví, než aby odpověděl špatně.

Kázeň v citacích

Když kouč odkáže na studii nebo metodu, citace obsahuje skutečnou URL, kterou si uživatel může ověřit (článek StopOverthinking na tomhle webu cituje A-Tjak et al. 2015 s odkazem na PubMed přesně z tohoto důvodu – čtenáři by si měli kliknout a zkontrolovat). Pokud kouč nemůže něco ověřitelně citovat, formulace se posune na „existují důkazy, že“ nebo „v oboru je to běžný vzorec“, ne vymyšlená specifika. Laťka je „čtenář by si to měl umět ověřit za 30 sekund.“

Konzervativní výchozí nastavení

Když rozhovor naznačuje větší závažnost, výchozí reakcí je nabídnout klinickou péči, ne improvizovat pomoc. Témata blízká krizi míří na krizové zdroje. Témata blízká diagnóze míří ke klinikovi. Produkt je navržený tak, aby se v případě vysokých sázek raději přiklonil k „prosím, vezmi tohle k člověku“ – což je přesně tam, kde by halucinace, pokud by prošla, napáchala největší škody.

Co s tím můžeš udělat ty jako uživatel

Kalibrace je společná práce. Produkt drží svou stranu pomocí zábran a kázně v citacích; tvoje strana je pár jednoduchých návyků, které dělají halucinaci mnohem méně nákladnou ve chvíli, kdy se přihodí:

  • Ber návrhy AI jako rady chytrého kamaráda, který není vševědoucí. Užitečný odrazový bod, ne poslední slovo.
  • Citace si ověřuj, než je budeš sdílet nebo podle nich jednat. PubMed a Google Scholar jsou kontrola na 30 sekund.
  • Zeptej se „jak si tím jsi jistý/jistá?“ – modely někdy umí signalizovat nejistotu, když se na to ptáš přímo, a odpověď je sama o sobě užitečná.
  • U čehokoli medicínského, právního nebo finančního – ověř si to s licencovaným člověkem. AI je v těchto oblastech jako primární zdroj špatný nástroj.
  • Když ti něco na tvou situaci nesedí, řekni to. Odpověď se rekalibruje podle toho, co jsi přidal/a – obecná rada je často signál, že kouč ještě plně nepochopil specifika.

Kdy hledat větší pomoc

Svépomoc a AI koučink zvládnou hodně, ale mají své hranice. Pokud zažíváš těžkou depresi, která neustupuje, panické ataky narušující běžný den, myšlenky na sebepoškození, aktivní zpracovávání traumatu nebo závislost na návykových látkách – to jsou signály pracovat s licencovaným klinickým odborníkem, ne tlačit silněji na koučovací nástroj. Levné možnosti najdeš na opencounseling.com nebo mezinárodní krizové linky přes findahelpline.com. Není žádná odměna za to, že čekáš déle, než potřebuješ.

Pracovat s Judith

Kalibrace – „je tahle myšlenka (nebo tahle rada) skutečně přesná?“ – je jádrem KBT. Judith přistupuje k přesvědčením jako k hypotézám k testování, ne k faktům, která se polykají jako celek, a to je přesně postoj, který ti umožní využívat jakýkoli vstup (včetně AI kouče), aniž bys mu důvěřoval/a víc, než si zaslouží. Je dobrá i v meta verzi: všimne si, kdy se příliš opíráš o jediný zdroj – knihu, podcast, kamaráda, aplikaci – a vrátí tě k tvému vlastnímu úsudku jako finálnímu filtru. Více o metodě v Kognitivně-behaviorální terapie.

Vyzkoušej KBT cvičení s Judith – bez účtu

FAQ

Časté otázky

Proč si AI občas věci vymýšlí?

Velké jazykové modely předpovídají pravděpodobný text, ne ověřenou pravdu. Když nemají solidní informace, doplňují věrohodně znějící mezery – sebevědomá odpověď, která nemá reálný základ. Není to lhaní (model nemá motiv); je to tím, že model nemá zvláštní „pravdivostní“ komponentu, vůči které by se kontroloval. Novější zábrany tohle snižují, ale nevylučují.

Jsou halucinace v koučinku nebezpečné?

Obvykle nízké sázky, když je téma reflexivní – pojmenovávání pocitů, prozkoumávání vzorců, nácvik rozhovorů. Vyšší sázky, když se téma týká medicínských, právních nebo finančních specifik, kde se špatná odpověď promítne ve špatnou akci. Přizpůsob ověřování sázkám: pocit kolem kolegy nepotřebuje fakt-checking; tvrzení o lékové interakci ano.

Jak poznám, že si AI vymýšlí?

Sebevědomé odpovědi v úzkých oblastech jsou nejvýraznějším signálem – okrajové diagnózy, místní regulace, konkrétní terapeuti jménem. Citace, které nemůžeš ověřit, „studie“ bez dohledatelných odkazů a medicínská specifika bez varování si zaslouží zvýšenou ostražitost. Čím čistší a uhlazenější jazyk, tím větší ověření potřebuje; plynulost není přesnost.

Mám si fakta, která mi AI říká, ověřovat?

Pro cokoli, co budeš v reálu dělat – ano. Ověření faktu zabere s vyhledávačem 30 sekund. U reflexivního rozhovoru o vlastní zkušenosti záleží míň, protože ty sám/a jsi zdrojem pravdy. Rozdělení zhruba: vnější tvrzení (čísla, citace, regulace) ověřit; vnitřní zkoumání (co cítíš, co chceš zkusit) ne.

Jsou někteří AI koučové přesnější než jiní?

Přesnost se liší podle modelu pod kapotou, podle toho, jaké zábrany kolem něj produkt postaví, a podle toho, jak úzce je kouč zaměřený. Koučové ukotvení v dobře prozkoumaných metodách s důkazní oporou (KBT, ACT, PDT) ujíždějí mimo téma méně než volně formulovaní koučové, protože zdrojový materiál je strukturovaný a dobře zmapovaný. Verke své kouče zaměřuje právě z tohoto důvodu.

Verke poskytuje koučink, ne terapii ani lékařskou péči. Výsledky se u jednotlivců liší. Pokud jsi v krizi, volej 988 (USA), 116 123 (UK/EU, Samaritans), nebo místní záchrannou službu. Navštiv findahelpline.com pro mezinárodní zdroje.