Verke 編輯團隊

AI 會不會編出錯誤建議?會——以下教你怎麼辨識、怎麼應對

Verke 編輯團隊 ·

AI 會不會編出錯誤建議?會。大型語言模型偶爾會掰出一些聽起來很合理的東西——一份其實不存在的研究、一個寫錯的引用、一個套不到你情況上的建議,或一個講得頭頭是道、其實是憑空想出來的框架。教練情境的風險比醫療或法律情境低一些,但建議錯了還是有影響。老實說,防護機制能降低幻覺,但無法把它完全消除;使用者自己的判斷力,也是讓一個好用的 AI 教練工具持續好用的一部分。

這篇文章會帶你看幻覺出現在哪些地方、Verke 怎麼設計來攔下高風險的類別,以及作為使用者該怎麼校準自己對它的信任——大致上就是「把 AI 的建議當成一位聰明但不是全知的朋友給你的意見」。Verke 寧可說「我不確定」,也不要說得篤定但說錯,並且讓教練的角色聚焦在探索,而不是診斷。這些都不能讓幻覺絕跡,但能讓失誤的樣貌容易辨識,補救的動作也容易做。

所謂「幻覺」是什麼意思

語言模型是怎麼編造的

語言模型會根據訓練資料中的模式,預測接下來最可能出現的文字。多數時候,最可能出現的文字剛好也是正確的——這正是這類工具能用得起來的原因。但有時候,最可能出現的文字其實是錯的。模型會給出一個聽起來很有把握的答案,卻完全沒有事實根據。真正讓人困惑的是那種流暢感:錯的答案讀起來和對的答案一樣順,因為模型的工作本來就是把文字寫順,而不是把文字查證。

這不是說謊——模型沒有意圖、沒有目標,也不打算欺騙誰。原因是模型內部沒有一個獨立的「真相」模組,能在產出內容前先把答案跟現實比對一遍。較新的技術(檢索、工具使用、自我一致性檢查、拒答訓練)確實能明顯降低幻覺,每出一代新模型,這個比率都在下降,但還是無法完全消除。把 AI 的輸出當成「大致正確,但事關重大的部分要自己查證」,是目前、也是接下來幾年最合適的拿捏。

還在猶豫該不該信任你收到的建議?

和 Judith 試一個 CBT 練習——兩分鐘,不用 email。

和 Judith 聊聊 →

幻覺會出現在教練對話的哪些地方

編造出來的引用

典型的幻覺長這樣:「2019 年哈佛的一項研究發現……」後面接著一個聽起來很有把握的結論,可是你真的去查,會發現它根本不存在。論文是編的,作者是編的,期刊名稱也許是真的,但那一篇並不存在。解法是:任何對你來說重要的引用,使用前先到 PubMed 或 Google Scholar 查證一次。如果附了網址,就點進去看看摘要是不是真的講了那段被引用的內容——有時候網址是真的,但掛在上面的摘要其實對不上。

具體的醫療或法律建議

劑量、藥物交互作用、各地法規、特定法律程序——任何只要答錯就會造成傷害、答案必須精準到位的問題。就算模型這次剛好答對,也不該交給它,因為你根本沒辦法知道這一次它有沒有答對。任何牽涉到實際行動的事,請一律找有執照的專業人士(醫師、藥師、律師、會計師)查證。Verke 的教練在設計上會直接拒絕這類問題,而不是即興回答——詳見下一段。

在窄領域裡那種篤定的回答

訓練資料稀少的冷門疾病、世界上大多數人不在意的地方性法規、被點名的特定治療師、人數不多的專業圈子。這類主題在訓練資料裡剛好夠模型產出流暢的回答,卻不夠讓它判斷對錯。流暢加冷僻,就是最主要的警訊——主題明明很冷僻,答案卻講得很篤定,這時就該提醒自己重新校準。

看似合理、實際卻錯誤的框架

那些憑空冒出來的「五步驟方法」、「四大支柱」,其實在文獻裡根本不存在。模型看過夠多自我成長書裡的結構,能拼出看起來很像那麼一回事的版本,就算它在描述的那個框架是編出來的也一樣。如果某個框架會影響你正在做的決定,先去查一下作者或方法名稱,確認它真的存在,再把它當成標準做法。真正的框架會有真正的維基條目、書籍和引用;編出來的不會。

我們對此做了什麼

Verke 對此做了什麼

領域防護

對於高風險的類別,教練從設計上就會直接擋下來,而不是即興應付。藥物劑量、藥物交互作用、法律意見、診斷性的說法,以及任何進入持照專業範疇的問題——它的回應是把你轉介給對的人,而不是自己硬接。「這個問題比較適合請教藥師」這樣的回應,是設計上的功能,不是缺陷。產品寧可不答,也不要答錯。

引用紀律

教練在提到研究或方法時,引用都會附上你可以驗證的真實網址(本站〈停止過度思考〉那篇文章引用 A-Tjak 等人 2015 年的研究時,就附上了 PubMed 連結,正是基於這個原因——讀者應該能點進去查證)。如果教練拿不出可查證的出處,講法就會改成「有研究指出」或「這在這個領域是常見的模式」,而不是編出具體細節。標準是:讀者可以在 30 秒內查到。

保守的預設立場

當對話中出現嚴重程度的訊號,預設的處理方式是把臨床資源端出來,而不是當場即興地幫你想辦法。接近危機的話題會導向危機資源,接近診斷的話題會導向臨床工作者。產品的設計原則是:當風險升高,就傾向「請把這件事交給真人」——萬一幻覺真的漏過去,這也正是傷害最大的地方。

身為使用者你可以做什麼

校準是雙方一起做的事。產品這一端要靠防護機制和引用紀律把關;使用者這一端,則是幾個簡單的習慣,讓萬一真的出現幻覺時,代價不會太大:

  • 把 AI 的建議當成一位聰明、但不是無所不知的朋友給的意見:可以當作起點,但不能當作定論。
  • 引用資料在分享或拿來行動之前,先查證一下。用 PubMed 或 Google Scholar 查,30 秒就好。
  • 可以直接問它「你對這個答案有多少把握?」——模型有時候在被問到時,會主動點出自己的不確定,而這個回答本身就很有參考價值。
  • 任何醫療、法律或財務的事——找有執照的真人專業確認。在這些領域,把 AI 當主要來源就是用錯了工具。
  • 如果有哪裡跟你的狀況對不上,就直接說出來。AI 教練會根據你補充的內容重新校準——當你收到的是比較通用的建議,往往代表它還沒真正掌握你的具體情況。

何時尋求進一步協助

自助和 AI 教練對話能幫上的不少,但也有它的極限。如果你正在面對遲遲好不了的重度憂鬱、影響到日常生活的恐慌發作、自傷的念頭、需要處理中的創傷,或物質依賴——這些訊號代表該找有執照的臨床專業人員合作,而不是繼續用力推自助工具。低費用的選擇可以從以下管道找到: opencounseling.com 或透過以下管道查詢國際求助專線: findahelpline.com。沒必要等得比實際需要的時間更久,這又不是在比賽。

和 Judith 對話

所謂校準——「這個想法(或這個建議)真的準確嗎?」——是 CBT 的核心。Judith 把信念當成有待驗證的假設,而不是要照單全收的事實;正是這種姿態,讓你在借助任何一種輸入來源(包括 AI 教練)時,不至於太過信賴。她也很擅長後設版本:察覺你太過倚賴某一個來源——書、Podcast、朋友、App——然後把你拉回到「以自己的判斷做最終把關」這個位置。想多了解這套方法,請見認知行為治療

和 Judith 一起試一個 CBT 練習——不用註冊帳號

常見問題

常見問題

為什麼 AI 有時候會憑空編出東西?

大型語言模型預測的是「可能出現的文字」,不是經過查證的事實。當它手上沒有可靠資訊時,會用聽起來合理的內容把空缺補起來——於是產生一個聽起來很有把握、卻沒有真正依據的答案。這不是說謊(模型本來就沒有任何意圖),而是模型內部並沒有一個獨立的「真相」模組可以拿來檢驗自己。比較新的防護機制能減少這種情況,但無法完全消除。

在陪伴對話裡,幻覺有危險嗎?

話題偏反思性的時候,風險通常不高——替情緒命名、看看自己的模式、把對話先演練一遍。話題涉及醫療、法律、財務這類細節時,答錯就會變成做錯,風險就高了。查證的力氣要跟風險匹配:對同事的某種感覺不需要去查證,但講到藥物交互作用,就需要。

要怎麼看出 AI 正在編造內容?

在窄領域裡那種篤定的回答,就是最明顯的破綻——冷門病症、地方性法規、指名道姓的特定治療師。無法查證的引用、找不到網址的「研究」、沒有附上任何但書的醫療細節,可疑度也都要往上拉。語言越乾淨、越打磨得漂亮,就越值得多花一道工夫去查證;流暢,從來不等於正確。

AI 跟我說的事,我該再去查證嗎?

要在生活中真的採取行動的事——要。用搜尋引擎查證只要 30 秒。如果只是針對自己經驗的反思對話,查不查就沒那麼要緊,因為你自己就是事實的來源。大致可以這樣分:對外的事實主張(數字、引用、法規)需要查證;對內的探索(你的感受、你想試試什麼)不用。

不同的 AI 教練,準確度會有差嗎?

準確度會受幾個因素影響:底層模型本身、產品在外圍設計的防護機制,以及教練的範圍劃得多明確。建立在扎實實證方法(CBT、ACT、PDT)上的教練,通常比開放式教練更不容易偏離主題,因為這些素材本身結構清楚、脈絡分明。Verke 的教練之所以依方法區分,正是基於這個理由。

Verke 提供的是陪伴對話,不是治療或醫療照護。每個人的成效不同。如果你正處於危機中,請撥打 988 (美國), 116 123 (英國/歐盟,Samaritans 撒馬利亞會), 或撥打當地的緊急電話。前往 findahelpline.com 查看國際資源。