Редакция Verke
Может ли ИИ выдумать плохой совет? Да — и вот как это распознать и что с этим делать
Редакция Verke ·
Может ли ИИ выдумать плохой совет? Да. Большие языковые модели иногда сочиняют правдоподобно звучащие вещи — несуществующее исследование, ошибочную ссылку, совет, который не подходит к твоей ситуации, уверенно звучащую «методику», которой на самом деле нет. В коучинговом контексте ставки ниже, чем в медицинском или юридическом, но плохой совет всё равно имеет значение. Честная версия этой статьи такая: ограничители снижают частоту галлюцинаций, но не убирают их, и собственная калибровка пользователя — это часть того, как хороший AI-инструмент для коучинга остаётся полезным.
Статья разбирает, где именно появляются галлюцинации, как Verke устроен, чтобы ловить самые рискованные категории, и как тебе самому калибровать своё доверие — в общем-то «относись к подсказкам ИИ как к совету умного друга, который не всезнающий». Установка Verke — лучше «я не уверен», чем уверенно-но-неверно, и держать коучинг в зоне исследования, а не диагностики. Это не делает галлюцинации невозможными. Но это делает их узнаваемыми, а способы восстановиться — простыми.
Что значит «галлюцинация»
Как языковые модели выдумывают
Языковая модель предсказывает наиболее вероятное продолжение текста по закономерностям, которые она усвоила при обучении. Чаще всего самое вероятное продолжение оказывается ещё и правильным — именно поэтому такие инструменты в принципе работают. Но иногда самое вероятное продолжение — это неправильное продолжение. Модель выдаёт уверенно звучащий ответ, не имеющий под собой никаких оснований. Сбивает с толку именно гладкость: неверный ответ читается так же ровно, как и верный, потому что задача модели — связный текст, а не проверенный.
Это не ложь — у модели нет собственных целей, нет умысла обмануть. Просто у неё нет отдельного «модуля правды», который сверял бы вывод с реальностью до того, как выдать его. Новые подходы (поиск по источникам, использование инструментов, проверки на самосогласованность, обучение отказам) ощутимо снижают частоту галлюцинаций, и с каждым новым поколением модели она продолжает падать. Но не до нуля. Сейчас и, скорее всего, ещё несколько лет правильная установка такая: «в основном верно, но важные места проверяй».
Сомневаешься, можно ли доверять полученному совету?
Попробуй упражнение КПТ с Юдит — 2 минуты, почта не нужна.
Поговорить с Юдит →Где галлюцинации проявляются в коучинге
Выдуманные ссылки
Классическая форма галлюцинации: «исследование Гарварда 2019 года показало, что…» — и дальше уверенно звучащий вывод, которого, когда идёшь проверять, не существует. Статья придумана; авторы придуманы; журнал, возможно, реальный, а статьи в нём нет. Решение — проверять любую важную для тебя ссылку через PubMed или Google Scholar, прежде чем на неё опираться. Если приложен URL, перейди и убедись, что в аннотации действительно написано то, что было сказано — иногда сам URL настоящий, но привязанное к нему описание неверное.
Конкретные медицинские или юридические советы
Дозировки, взаимодействия препаратов, нормы конкретной юрисдикции, конкретные юридические процедуры — всё, где ответ должен быть точным, иначе будет вред. Даже когда модель случайно отвечает правильно, для таких вопросов это неподходящий инструмент: ты никак не узнаешь, права ли она была именно в этот раз. Во всём, на чём ты собираешься основывать действия в этих сферах, всегда сверяйся с лицензированным специалистом — врачом, фармацевтом, юристом, бухгалтером. Коучи Verke устроены так, чтобы прямо отказываться от подобных вопросов, а не импровизировать, — об этом следующий раздел.
Уверенные ответы в узких темах
Редкие состояния, по которым в обучающих данных мало текста, региональные нормы, до которых большей части мира нет дела, конкретные психологи по имени, маленькие профессиональные сообщества. У модели достаточно паттерна, чтобы выдать гладкий текст, но недостаточно, чтобы понять, правильный ли он. Главный сигнал — сочетание гладкости и узости: когда тема нишевая, а ответ уверенный, как раз тогда и нужно включать калибровку.
Правдоподобные, но придуманные методики
Придуманные «методики из пяти шагов» и «четыре опоры…», которых нет в литературе. Модель видела достаточно структур в духе селф-хелпа, чтобы убедительно выглядящие версии собирать самой — даже когда конкретная описываемая «методика» придумана. Если методика влияет на твоё решение, проверь автора или название метода, прежде чем считать это стандартом. У реальных методик есть реальные страницы в Википедии, книги и ссылки; у придуманных — нет.
Что мы с этим делаем
Что с этим делает Verke
Ограничители по темам
Коучи устроены так, чтобы отказываться от высокорисковых категорий, а не импровизировать. Дозировки лекарств, лекарственные взаимодействия, юридические заключения, диагностические утверждения, всё, что заходит на территорию лицензированного специалиста, — реакция в этом случае перенаправить, а не пробовать ответить. «Похоже, это вопрос к фармацевту» — это особенность, а не ограничение. Продукт скорее не ответит, чем ответит неправильно.
Дисциплина со ссылками
Когда коуч ссылается на исследование или метод, к ссылке прилагается реальный URL, который можно проверить (статья StopOverthinking на этом сайте ссылается на A-Tjak и др., 2015, с ссылкой на PubMed как раз поэтому — читатель должен иметь возможность перейти и убедиться). Если коуч не может сослаться проверяемо, формулировка смещается к «есть данные о том, что» или «это распространённый паттерн в этой области», без выдуманной конкретики. Планка такая: «читатель сможет проверить это за 30 секунд».
Осторожные настройки по умолчанию
Когда в разговоре проступает серьёзность, базовое действие — вывести на клиническую помощь, а не импровизировать. Темы, граничащие с кризисом, уходят к кризисным ресурсам. Темы, граничащие с диагностикой, — к специалисту. Продукт сознательно склоняется к «пожалуйста, отнеси это к человеку», когда ставки высоки, — именно там галлюцинация нанесла бы больше всего вреда, если бы всё-таки проскочила.
Что можешь сделать ты как пользователь
Калибровка — это работа в две стороны. Продукт держит свою часть через ограничители и дисциплину со ссылками; со стороны пользователя нужны несколько простых привычек, которые сильно снижают цену ошибки, если галлюцинация всё-таки случилась:
- Относись к подсказкам ИИ как к совету умного друга, который не всезнающий. Хорошая точка старта, но не последнее слово.
- Проверяй ссылки до того, как делиться ими или действовать по ним. PubMed и Google Scholar — это проверка за 30 секунд.
- Спроси: «Насколько ты уверен в этом?» — модели иногда умеют отмечать свою неуверенность, если их об этом прямо спросить, и сам ответ уже о многом говорит.
- По любым медицинским, юридическим и финансовым вопросам — проверяй у лицензированного человека. Как основной источник ИИ для этих тем не подходит.
- Если что-то не подходит к твоей ситуации, возрази. Ответ перестроится вокруг того, что ты добавил — общий совет часто признак того, что коуч ещё не до конца понял твою конкретику.
Когда стоит обратиться за дополнительной помощью
Самопомощь и ИИ-коучинг многое могут, но у них есть пределы. Если у тебя тяжёлая депрессия, которая не отпускает, панические атаки, мешающие обычной жизни, мысли о самоповреждении, активная работа с травмой или зависимость от веществ — это сигнал обратиться к лицензированному специалисту, а не повод сильнее налегать на коуч-приложение. Доступные по цене варианты можно найти на opencounseling.com или международные линии помощи через findahelpline.com. Нет никакой награды за то, чтобы ждать дольше, чем нужно.
Работать с Judith
Калибровка — «а это утверждение (или этот совет) вообще точное?» — это сердцевина КПТ. Judith относится к убеждениям как к гипотезам, которые проверяют, а не как к фактам, которые надо проглотить, и именно такая установка позволяет пользоваться любым источником (включая AI-коуча), не доверяя ему слепо. У неё хорошо получается и мета-уровень: заметить, что ты слишком сильно опираешься на какой-то один источник — книгу, подкаст, друга, приложение — и вернуть тебя к собственному суждению как к финальному фильтру. Подробнее о методе — в материале Когнитивно-поведенческая терапия.
Попробуй упражнение КПТ с Джудит — регистрация не нужна
Похожие материалы
FAQ
Частые вопросы
Почему ИИ иногда выдумывает?
Большие языковые модели предсказывают вероятный текст, а не проверенную правду. Когда обоснованной информации не хватает, они заполняют пробел чем-то правдоподобно звучащим — уверенным ответом без реальной опоры. Это не ложь (у модели нет своих целей); просто у неё нет отдельного «модуля правды», с которым она сверяется. Новые ограничители это уменьшают, но не убирают.
Опасны ли галлюцинации в коучинге?
Обычно ставки невысоки, когда тема рефлексивная — назвать чувства, разглядеть паттерны, прорепетировать разговор. Ставки выше, когда речь о медицинской, юридической или финансовой конкретике, где неверный ответ превращается в неверное действие. Соизмеряй усилие на проверку со ставками: ощущение в адрес коллеги перепроверять не нужно, а утверждение про лекарственное взаимодействие — нужно.
Как понять, что ИИ что-то выдумывает?
Уверенные ответы в узких темах — самый явный сигнал: редкие состояния, региональные нормы, конкретные психотерапевты по имени. Ссылки, которые невозможно проверить, «исследования» без находимых URL и медицинская конкретика без оговорок тоже требуют более тщательной проверки. Чем чище и отполированнее язык, тем больше проверки он заслуживает; беглость — это ещё не точность.
Стоит ли перепроверять то, что говорит мне ИИ?
Для всего, что ты собираешься применять в реальной жизни, — да. Проверка факта занимает 30 секунд в поисковике. Для рефлексивного разговора о собственном опыте это менее критично, потому что источник истины — ты сам. Грубое правило: внешние утверждения (цифры, ссылки, нормы) надо проверять; внутреннее исследование (что ты чувствуешь, что хочешь попробовать) — нет.
Бывают ли AI-коучи точнее других?
Точность зависит от базовой модели, от ограничителей, которые продукт надстраивает поверх неё, и от того, насколько узко очерчена роль коуча. Коучи, опирающиеся на хорошо изученные доказательные методы (КПТ, ACT, PDT), уходят в сторону реже, чем коучи в свободном формате, потому что исходный материал у них структурирован и хорошо описан. Коучи Verke специализированы по методу как раз поэтому.
Verke — это коучинг, а не терапия или медицинская помощь. Результаты у каждого свои. Если ты в кризисе, позвони 988 (США), 116 123 (Великобритания/ЕС, Samaritans), или в местную службу экстренной помощи. Зайди на findahelpline.com для международных ресурсов.