Verke编辑部

AI 会胡编乱造糟糕建议吗?会——这里教你怎么识破和应对

Verke编辑部 ·

AI 会胡编乱造糟糕建议吗?会。大语言模型偶尔会编造一些听起来很合理的内容——一项并不存在的研究、错误的引用、并不适用于你处境的建议、一套听上去很有底气其实完全杜撰的框架。和医疗、法律相比,教练场景的后果要轻一些,但糟糕的建议依然值得重视。说句实在话:防护能减少幻觉,却无法彻底消除,用户自己的判断力本就是一款好用的 AI 心理咨询工具能持续靠谱的一部分。

这篇文章会带你看清幻觉会出现在哪里、Verke 是怎么设计来兜住那些高风险类别的,以及作为用户该如何校准自己的信任——大致就是"把 AI 的建议当作一位聪明但并非无所不知的朋友给的意见来对待"。Verke 的姿态是宁可说"我不确定",也不愿给出"笃定却错误"的答案,并且让心理咨询始终对准探索,而不是诊断。这些都不能让幻觉彻底消失,但能让失误的样子可被识别,回到正轨的动作也简单。

"幻觉"是什么意思

语言模型是如何胡编的

语言模型基于训练数据中的规律,预测最可能出现的下一段文字。大多数时候,最可能的答案恰好也是正确的答案——这正是这类工具好用的原因。但有时候,最可能的答案是错的。模型给出一个听起来很笃定的回答,却没有任何事实依据。让人困惑的关键在于流畅度:错误答案读起来和正确答案一样顺,因为模型的本职是产出流畅的文字,而不是经过核实的文字。

这不是说谎——模型没有动机,没有目的,也没有欺骗的企图。问题在于模型本身没有一个独立的"真相"模块,在输出前对照现实进行核查。新的技术(检索、工具调用、自洽性校验、拒答训练)能明显减少幻觉,每一代模型的幻觉率也在持续下降。但这些方法都无法彻底消除幻觉。把 AI 的输出当作"大部分靠谱,但高风险的部分要核实"来对待,是当下乃至未来几年都比较合理的态度。

在犹豫是否相信你得到的建议?

和Judith一起试一个CBT小练习——只要2分钟,无需邮箱。

和Judith聊聊 →

幻觉在心理疏导中会出现在哪里

编造的引用

经典的幻觉长这样:"2019 年哈佛的一项研究发现……",后面跟着一个听起来很笃定的结论,你真去查的时候却发现根本不存在。论文是编的,作者是编的,期刊的名字可能是真的,但那篇论文不是。对策是:任何对你而言重要的引用,先到 PubMed 或 Google 学术上核实再用。如果给了链接,请点进去看看摘要是否真的就是那个说法——有时链接是真的,但配上的总结却是错的。

具体的医疗或法律建议

剂量、药物相互作用、各地法规、具体法律程序——任何"必须准确无误,否则就会造成伤害"的内容。即使模型这次的答案碰巧是对的,它也不是适合回答这类问题的工具,因为你无从判断它这次是否说对了。在这些领域里,任何要付诸行动的事项,都请向有执业资格的专业人士(医生、药剂师、律师、会计师)核实。Verke 的教练在设计上会直接拒答这类问题,而不是临场发挥——下一节会展开讲。

在小众领域里给出笃定答案

训练数据稀少的小众情况、世界上大多数人不关心的地方性法规、点名某位心理咨询师、规模很小的专业圈子。模型从训练数据里只学到了一点点规律,足够让它说得通顺,却不足以让它知道自己说得对不对。流畅与冷门的组合,是最主要的信号——话题越偏门、回答却越笃定,越是该启动自己的判断。

听上去合理但其实站不住脚的框架

凭空发明的"五步法"和"……的四大支柱",在学术文献里其实根本不存在。模型见过足够多的自助类内容结构,能拼出一份看起来很像那么回事的版本,哪怕它描述的那套具体框架是编出来的。如果某套框架会影响你正在做的决定,请先去查一下作者或方法名,确认它真的存在,再把它当成通行做法来用。真实的框架都有真实的维基百科条目、书籍和文献引用;编出来的没有。

我们在这方面是怎么做的

Verke 在这方面是怎么做的

领域防护

教练被设计为在高风险类别中直接拒绝回答,而不是即兴发挥。用药剂量、药物相互作用、法律意见、诊断结论,以及任何涉及持证专业领域的内容——回应方式都是引导你去找合适的人,而不是硬着头皮回答。"这个问题更适合问药剂师"是一项功能,而不是局限。产品宁可不答,也不愿答错。

引用规范

当教练引用研究或方法时,会附上用户可以核实的真实链接(本站《StopOverthinking》一文引用 A-Tjak 等人 2015 年的研究并附 PubMed 链接,正是出于这个原因——读者应当能够点进去查证)。如果教练无法给出可验证的来源,表述就会改为"有证据表明"或"这是该领域常见的模式",而不是编造具体细节。标准是"读者能在 30 秒内核实"。

保守的默认设置

当对话中出现严重程度的信号时,默认做法是把临床照护推到前台,而不是即兴提供帮助。涉及危机的话题会被引导到危机资源,涉及诊断的话题会被引导到临床医生。产品的设计原则是:在风险较高时,宁可倾向于"请把这件事交给真人"——而这恰恰是幻觉一旦漏过会造成最大伤害的地方。

作为用户,你可以做些什么

校准是一项共同的工作。产品这一端靠防护和引用规范守住自己的部分;用户这一端只需要养成几个简单习惯,就能让幻觉即使出现也不会造成太大代价:

  • 把 AI 的建议当作一位聪明但并非无所不知的朋友给出的建议。它是有用的起点,而不是最终答案。
  • 在分享或采取行动之前先核实引用来源。PubMed 和 Google Scholar 都是 30 秒就能完成的检查。
  • 可以问一句"你对这个答案有多大把握?"——模型在被追问时有时会标出自己的不确定性,这个回答本身就很有参考价值。
  • 凡是涉及医疗、法律或财务的——请向有执业资格的人核实。在这些领域,AI 不适合作为主要信息来源。
  • 当某个回应不符合你的具体情况时,请直接反驳。回应会围绕你补充的信息重新校准——泛泛的建议往往说明教练还没有完全理解你的具体情况。

什么时候需要寻求进一步的帮助

自助和 AI 心理咨询能做的事很多,但也有边界。如果你正在经历迟迟没有好转的重度抑郁、影响日常生活的惊恐发作、自伤的念头、正在处理的创伤,或者物质依赖——这些信号意味着该找一位有执业资格的临床专业人士配合,而不是继续在心理咨询工具上加大力度。你可以在以下渠道找到费用较低的选择: opencounseling.com 或通过以下渠道查询国际帮助热线: findahelpline.com。多熬一会儿并不会让你得到什么奖励。

和 Judith 聊聊

校准——"这个想法(或这条建议)到底准不准?"——是 CBT 的核心。Judith 的做法是把信念当作有待验证的假设,而不是要照单全收的事实。这种姿态恰好能让你在使用任何信息来源(包括 AI 教练)时都不会过度信任。她也擅长更上一层的版本:留意你是否过度依赖某一个来源——一本书、一档播客、一个朋友、一款应用——把你拉回到"以自己的判断作为最终过滤器"这条路上。想了解更多方法细节,可参见认知行为疗法

和 Judith 一起试一段 CBT 练习——无需注册账号

常见问题

常见问题

为什么 AI 有时会编造内容?

大语言模型预测的是概率上最可能出现的文字,而不是经过核实的真相。当它没有可靠依据时,会用听起来合理的内容把空缺填上——给出一个语气笃定却没有真实根据的回答。这不是说谎(模型没有动机),而是它内部并没有一个独立的"真相"模块来自我核对。新的防护机制能减少这种情况,但无法彻底消除。

幻觉在心理咨询场景里危险吗?

当话题偏向反思时——为情绪命名、梳理模式、预演对话——风险通常较低。当话题涉及医学、法律或财务上的具体细节时,风险就会升高,因为错误的答案会直接转化成错误的行动。核实的力度应当与风险相匹配:对同事的某种感受不需要去查证;关于药物相互作用的说法则需要。

我怎么判断 AI 在不在胡编?

在小众领域里给出笃定答案是最大的破绽——冷门症状、地方性法规、点名某位心理咨询师。无法核实的引用、找不到链接的"研究"、毫无注意事项的医学细节,也都该提高警惕。语言越干净、越漂亮,越值得多核实一遍;流畅并不等于准确。

AI 告诉我的内容,我需要去核实吗?

凡是要在现实里真正去做的事——要核实。用搜索引擎查证一下也就 30 秒。对于关于自身体验的反思性对话,核实没那么重要,因为你本人就是真相的来源。大致可以这样分:外部信息(数字、引用、法规)需要核实;内在探索(你的感受、你想尝试的事)不需要。

有些 AI 教练比其他的更准吗?

准确度取决于底层模型、产品在外层加的防护,以及教练的边界划得有多窄。基于成熟循证方法(CBT、ACT、PDT)的教练比自由发挥型教练更不容易跑偏,因为它们参考的素材本身就结构清晰、研究充分。Verke 的教练正是出于这个原因按方法划定边界。

Verke 提供的是心理咨询,而不是治疗或医疗服务。效果因人而异。如果你处于危机中,请拨打 988 (美国), 116 123 (英国/欧洲,撒玛利亚会), 或当地紧急服务。访问 findahelpline.com 查找国际资源。