Editorial Verke

A IA pode alucinar maus conselhos? Pode — eis como detetar e lidar com isso

Editorial Verke ·

A IA pode alucinar maus conselhos? Pode. Os modelos de linguagem de grande dimensão fabricam, ocasionalmente, coisas com ar plausível — um estudo que não existe, uma citação errada, um conselho que não se aplica à tua situação, um enquadramento confiante que é, na verdade, inventado. Os contextos de coaching têm um risco mais baixo do que os contextos médico ou legal, mas conselhos errados continuam a importar. A versão honesta deste artigo é a de que as proteções reduzem as alucinações, mas não as eliminam, e a calibração do próprio utilizador faz parte do que mantém uma boa ferramenta de coaching com IA verdadeiramente útil.

O artigo percorre onde aparecem as alucinações, como a Verke está desenhada para apanhar as categorias de risco mais alto, e como calibrar a tua confiança como utilizador — que é, mais ou menos, "trata as sugestões da IA como conselho de um amigo inteligente que não é omnisciente". A postura da Verke é preferir "não tenho a certeza" a confiante-mas-errado, e manter o coaching virado para a exploração, não o diagnóstico. Nada disto torna a alucinação impossível. Torna, sim, os modos de falha reconhecíveis e as jogadas de recuperação simples.

O que significa "alucinação"

Como é que os modelos de linguagem fabricam coisas

Um modelo de linguagem prevê o texto seguinte mais provável a partir dos padrões dos seus dados de treino. Na maior parte das vezes, o texto seguinte mais provável é também o texto seguinte correto — é por isso que estas ferramentas funcionam tão bem. Outras vezes, o texto seguinte mais provável está errado. O modelo produz uma resposta com ar confiante que não tem qualquer base nos factos. A fluência é o que confunde as pessoas: a resposta errada lê-se tão suavemente como a certa, porque o trabalho do modelo é texto fluente, não texto verificado.

Não é mentir — o modelo não tem agenda, nem objetivo, nem tentativa de enganar. É o modelo não ter um componente separado de "verdade" que confira o resultado contra a realidade antes de o produzir. Técnicas mais recentes (recuperação, uso de ferramentas, verificações de auto-consistência, treino de recusa) reduzem as alucinações de forma significativa, e a taxa continua a baixar a cada nova geração de modelos. Mesmo assim, não as eliminam. Tratar a saída da IA como "geralmente certa, mas verifica as partes de risco mais alto" é a calibração certa hoje, e provavelmente nos próximos anos.

Estás a pensar se podes confiar nos conselhos que estás a receber?

Experimenta um exercício de TCC com a Judith — 2 minutos, sem precisar de e-mail.

Fala com a Judith →

Onde aparecem as alucinações no coaching

Citações inventadas

A forma clássica de alucinação: "um estudo de Harvard de 2019 descobriu que…" seguido de uma conclusão com ar confiante que, quando vais procurar, não existe. O artigo é inventado; os autores são inventados; o nome da revista pode ser real, mas o artigo não. A correção é verificar qualquer citação que te importe via PubMed ou Google Scholar antes de te apoiares nela. Se vier um URL, clica e confere se o resumo diz, de facto, o que foi alegado — por vezes o URL é real, mas o sumário associado está errado.

Conselho médico ou legal específico

Doses, interações entre fármacos, regulações jurisdicionais, procedimentos legais específicos — qualquer coisa em que a resposta tem de ser exatamente certa, ou causa danos. Mesmo quando a resposta do modelo está, por acaso, correta, é a ferramenta errada para estas perguntas, porque não há forma de tu saberes se ela acertou desta vez. Verifica sempre com um profissional licenciado (médico, farmacêutico, advogado, contabilista) tudo o que seja acionável nesses domínios. Os coaches da Verke estão desenhados para recusar liminarmente estas perguntas, em vez de improvisar — vê a secção seguinte.

Respostas confiantes em domínios estreitos

Condições de nicho com poucos dados de treino, regulações regionais com que a maior parte do mundo não se preocupa, terapeutas específicos pelo nome, comunidades profissionais pequenas. O modelo tem padrão suficiente nos dados de treino para produzir algo fluente, mas não o suficiente para saber se está certo. A combinação de fluência e estreiteza é o sinal principal — quando o tema é obscuro mas a resposta é confiante, é aí que a calibração tem de entrar.

Enquadramentos plausíveis mas errados

"Métodos em cinco passos" e "quatro pilares de…" inventados, que não existem na literatura. O modelo viu estrutura suficiente em estilo de auto-ajuda para produzir versões com ar convincente, mesmo quando o enquadramento específico que descreve foi inventado. Se um enquadramento é importante para a decisão que estás a tomar, procura o autor ou o nome do método para confirmar que existe, antes de o tratares como prática estabelecida. Enquadramentos reais têm páginas reais na Wikipedia, livros e citações; os inventados não.

O que fazemos a esse respeito

O que a Verke faz a esse respeito

Proteções por domínio

Os coaches estão desenhados para recusar as categorias de risco mais alto, em vez de improvisar. Dosagens médicas, interações entre fármacos, opiniões legais, alegações de diagnóstico, qualquer coisa que entre em terreno de profissional licenciado — a resposta é redirecionar, não tentar. "Isso parece-me uma pergunta para um farmacêutico" é uma característica, não uma limitação. O produto prefere não responder a responder errado.

Disciplina nas citações

Quando um coach refere um estudo ou um método, a citação inclui um URL real que o utilizador pode verificar (o artigo StopOverthinking neste site cita A-Tjak et al. 2015 com link para o PubMed precisamente por isto — quem lê deve poder clicar e conferir). Se o coach não conseguir citar algo de forma verificável, o enquadramento muda para "há evidência de que" ou "este é um padrão comum no campo", não detalhes inventados. A fasquia é "alguém conseguiria verificar isto em 30 segundos".

Predefinições conservadoras

Quando a conversa sugere gravidade, a jogada padrão é trazer cuidado clínico à superfície, em vez de improvisar ajuda. Temas próximos de crise são encaminhados para recursos de crise. Temas próximos de diagnóstico são encaminhados para um clínico. O produto está desenhado para errar do lado de "por favor, leva isto a um humano" quando o risco é alto — que é onde uma alucinação faria mais estragos, se passasse à mesma.

O que podes fazer enquanto utilizador

A calibração é trabalho partilhado. O produto faz a sua parte com proteções e disciplina nas citações; a tua parte são alguns hábitos simples que tornam as alucinações muito menos custosas quando, mesmo assim, acontecem:

  • Trata as sugestões da IA como conselho de um amigo inteligente que não é omnisciente. Um bom ponto de partida, não a palavra final.
  • Verifica as citações antes de as partilhares ou agires sobre elas. PubMed e Google Scholar são verificações de 30 segundos.
  • Pergunta "qual é a tua confiança nisto?" — os modelos conseguem, por vezes, sinalizar incerteza quando interpelados, e a resposta é informativa.
  • Para qualquer coisa médica, legal ou financeira — verifica com um humano licenciado. A IA é a ferramenta errada para esses domínios como fonte primária.
  • Quando algo não encaixa na tua situação, contraria. A resposta vai recalibrar-se em torno do que acrescentaste — conselhos genéricos são, muitas vezes, sinal de que o coach ainda não percebeu plenamente os teus detalhes.

Quando procurar mais ajuda

A autoajuda e o coaching com IA podem fazer muito, mas têm limites. Se estás a viver uma depressão grave que não passa, ataques de pânico que interrompem o dia a dia, pensamentos de autoagressão, processamento ativo de trauma ou dependência de substâncias — esses são sinais para procurares um clínico licenciado, não sinais para forçares mais uma ferramenta de coaching. Podes encontrar opções a baixo custo em opencounseling.com ou linhas de apoio internacionais em findahelpline.com. Não há prémio para esperar mais do que o necessário.

Trabalhar com a Judith

A calibração — "este pensamento (ou este conselho) é, de facto, exato?" — é o cerne da TCC. A abordagem da Judith trata as crenças como hipóteses para testar, em vez de factos para engolir, que é exatamente a postura que te permite usar qualquer fonte de informação (incluindo um coach IA) sem confiar de mais. Ela também é boa na meta-versão: nota quando te estás a apoiar de mais numa única fonte — livro, podcast, amigo, app — e puxa-te de volta para o teu próprio juízo como filtro final. Para mais sobre o método, vê Terapia Cognitivo-Comportamental.

Experimenta um exercício de TCC com a Judith — sem necessidade de conta

FAQ

Perguntas frequentes

Porque é que a IA, às vezes, inventa coisas?

Os modelos de linguagem de grande dimensão preveem texto provável, não verdade verificada. Preenchem lacunas com ar plausível quando não têm informação ancorada — uma resposta com ar confiante e sem base real. Não é mentir (o modelo não tem agenda); é o modelo não ter um componente separado de "verdade" para se conferir. As proteções mais recentes reduzem isto, mas não o eliminam.

A alucinação é perigosa em coaching?

Risco habitualmente baixo quando o tema é reflexivo — nomear sentimentos, explorar padrões, ensaiar conversas. Risco mais alto quando o tema envolve detalhes médicos, legais ou financeiros, em que uma resposta errada se traduz numa ação errada. Adequa o teu esforço de verificação ao risco: um sentimento sobre um colega não precisa de verificação; uma alegação sobre uma interação medicamentosa precisa.

Como é que dou conta de quando a IA está a inventar?

Respostas confiantes em domínios estreitos são o maior sinal — condições de nicho, regulações regionais, terapeutas específicos pelo nome. Citações que não consegues verificar, "estudos" sem URLs encontráveis e detalhes médicos sem ressalvas merecem maior desconfiança. Quanto mais limpa e polida a linguagem, mais verificação merece; fluência não é precisão.

Devo verificar o que a IA me diz?

Para qualquer coisa acionável na vida real — sim. Verificar factos leva 30 segundos com um motor de busca. Para a conversa reflexiva sobre a tua experiência, importa menos, porque tu és a fonte da verdade. A divisão é, mais ou menos: alegações externas (números, citações, regulações) precisam de verificação; a exploração interna (o que sentes, o que queres tentar) não.

Há coaches IA mais precisos do que outros?

A precisão varia consoante o modelo subjacente, as proteções que o produto coloca à volta dele e quão estreitamente o coach é definido. Coaches ancorados em métodos baseados em evidência bem estudados (TCC, ACT, PDT) tendem a divagar menos do que coaches abertos, porque o material de origem é estruturado e bem mapeado. Os coaches da Verke são definidos por método precisamente por esta razão.

O Verke fornece coaching, não terapia nem cuidados médicos. Os resultados variam de pessoa para pessoa. Se estiveres em crise, liga 988 (EUA), 116 123 (UK/UE, Samaritans), ou os teus serviços locais de emergência. Visita findahelpline.com para recursos internacionais.