Редакция Verke
Может ли ИИ выдумать плохой совет? Да — и вот как это распознать и что с этим делать
Редакция Verke ·
Может ли ИИ выдумать плохой совет? Да. Большие языковые модели иногда сочиняют правдоподобно звучащие вещи — несуществующее исследование, ошибочную ссылку, совет, который не подходит к твоей ситуации, уверенно звучащую «методику», которой на самом деле нет. В коучинговом контексте ставки ниже, чем в медицинском или юридическом, но плохой совет всё равно имеет значение. Честная версия этой статьи такая: ограничители снижают частоту галлюцинаций, но не убирают их, и собственная калибровка пользователя — это часть того, как хороший AI-инструмент для коучинга остаётся полезным.
Статья разбирает, где именно появляются галлюцинации, как Verke устроен, чтобы ловить самые рискованные категории, и как тебе самому калибровать своё доверие — в общем-то «относись к подсказкам ИИ как к совету умного друга, который не всезнающий». Установка Verke — лучше «я не уверен», чем уверенно-но-неверно, и держать коучинг в зоне исследования, а не диагностики. Это не делает галлюцинации невозможными. Но это делает их узнаваемыми, а способы восстановиться — простыми.
То, к чему подводит эта статья, — возражать, когда совет не подходит именно твоей ситуации. Юдит для этого и создана: убеждения как гипотезы для проверки, и «я не уверена» лучше уверенного и неверного.
Возрази ей на первое, что она скажет, и посмотри, что будет, — без регистрации, без почты, ничего не отменять.
Проверь совет с Юдит →Чат открывается прямо здесь в браузере — аккаунт не нужен.
Что значит «галлюцинация»
Как языковые модели выдумывают
Языковая модель предсказывает наиболее вероятное продолжение текста по закономерностям, которые она усвоила при обучении. Чаще всего самое вероятное продолжение оказывается ещё и правильным — именно поэтому такие инструменты в принципе работают. Но иногда самое вероятное продолжение — это неправильное продолжение. Модель выдаёт уверенно звучащий ответ, не имеющий под собой никаких оснований. Сбивает с толку именно гладкость: неверный ответ читается так же ровно, как и верный, потому что задача модели — связный текст, а не проверенный.
Это не ложь — у модели нет собственных целей, нет умысла обмануть. Просто у неё нет отдельного «модуля правды», который сверял бы вывод с реальностью до того, как выдать его. Новые подходы (поиск по источникам, использование инструментов, проверки на самосогласованность, обучение отказам) ощутимо снижают частоту галлюцинаций, и с каждым новым поколением модели она продолжает падать. Но не до нуля. Сейчас и, скорее всего, ещё несколько лет правильная установка такая: «в основном верно, но важные места проверяй».
То, к чему подводит эта статья, — возражать, когда совет не подходит именно твоей ситуации. Юдит для этого и создана: убеждения как гипотезы для проверки, и «я не уверена» лучше уверенного и неверного.
Возрази ей на первое, что она скажет, и посмотри, что будет, — без регистрации, без почты, ничего не отменять.
Проверь совет с Юдит →То, к чему подводит эта статья, — возражать, когда совет не подходит именно твоей ситуации. Юдит для этого и создана: убеждения как гипотезы для проверки, и «я не уверена» лучше уверенного и неверного.
Возрази ей на первое, что она скажет, и посмотри, что будет, — без регистрации, без почты, ничего не отменять.
Проверь совет с Юдит →Чат открывается прямо здесь в браузере — аккаунт не нужен.
Где галлюцинации проявляются в коучинге
Выдуманные ссылки
Классическая форма галлюцинации: «исследование Гарварда 2019 года показало, что…» — и дальше уверенно звучащий вывод, которого, когда идёшь проверять, не существует. Статья придумана; авторы придуманы; журнал, возможно, реальный, а статьи в нём нет. Решение — проверять любую важную для тебя ссылку через PubMed или Google Scholar, прежде чем на неё опираться. Если приложен URL, перейди и убедись, что в аннотации действительно написано то, что было сказано — иногда сам URL настоящий, но привязанное к нему описание неверное.
Конкретные медицинские или юридические советы
Дозировки, взаимодействия препаратов, нормы конкретной юрисдикции, конкретные юридические процедуры — всё, где ответ должен быть точным, иначе будет вред. Даже когда модель случайно отвечает правильно, для таких вопросов это неподходящий инструмент: ты никак не узнаешь, права ли она была именно в этот раз. Во всём, на чём ты собираешься основывать действия в этих сферах, всегда сверяйся с лицензированным специалистом — врачом, фармацевтом, юристом, бухгалтером. Коучи Verke устроены так, чтобы прямо отказываться от подобных вопросов, а не импровизировать, — об этом следующий раздел.
Уверенные ответы в узких темах
Редкие состояния, по которым в обучающих данных мало текста, региональные нормы, до которых большей части мира нет дела, конкретные психологи по имени, маленькие профессиональные сообщества. У модели достаточно паттерна, чтобы выдать гладкий текст, но недостаточно, чтобы понять, правильный ли он. Главный сигнал — сочетание гладкости и узости: когда тема нишевая, а ответ уверенный, как раз тогда и нужно включать калибровку.
Правдоподобные, но придуманные методики
Придуманные «методики из пяти шагов» и «четыре опоры…», которых нет в литературе. Модель видела достаточно структур в духе селф-хелпа, чтобы убедительно выглядящие версии собирать самой — даже когда конкретная описываемая «методика» придумана. Если методика влияет на твоё решение, проверь автора или название метода, прежде чем считать это стандартом. У реальных методик есть реальные страницы в Википедии, книги и ссылки; у придуманных — нет.
Что мы с этим делаем
Что с этим делает Verke
Ограничители по темам
Коучи устроены так, чтобы отказываться от высокорисковых категорий, а не импровизировать. Дозировки лекарств, лекарственные взаимодействия, юридические заключения, диагностические утверждения, всё, что заходит на территорию лицензированного специалиста, — реакция в этом случае перенаправить, а не пробовать ответить. «Похоже, это вопрос к фармацевту» — это особенность, а не ограничение. Продукт скорее не ответит, чем ответит неправильно.
Дисциплина со ссылками
Когда коуч ссылается на исследование или метод, к ссылке прилагается реальный URL, который можно проверить (статья StopOverthinking на этом сайте ссылается на A-Tjak и др., 2015, с ссылкой на PubMed как раз поэтому — читатель должен иметь возможность перейти и убедиться). Если коуч не может сослаться проверяемо, формулировка смещается к «есть данные о том, что» или «это распространённый паттерн в этой области», без выдуманной конкретики. Планка такая: «читатель сможет проверить это за 30 секунд».
Осторожные настройки по умолчанию
Когда в разговоре проступает серьёзность, базовое действие — вывести на клиническую помощь, а не импровизировать. Темы, граничащие с кризисом, уходят к кризисным ресурсам. Темы, граничащие с диагностикой, — к специалисту. Продукт сознательно склоняется к «пожалуйста, отнеси это к человеку», когда ставки высоки, — именно там галлюцинация нанесла бы больше всего вреда, если бы всё-таки проскочила.
Что можешь сделать ты как пользователь
Калибровка — это работа в две стороны. Продукт держит свою часть через ограничители и дисциплину со ссылками; со стороны пользователя нужны несколько простых привычек, которые сильно снижают цену ошибки, если галлюцинация всё-таки случилась:
- Относись к подсказкам ИИ как к совету умного друга, который не всезнающий. Хорошая точка старта, но не последнее слово.
- Проверяй ссылки до того, как делиться ими или действовать по ним. PubMed и Google Scholar — это проверка за 30 секунд.
- Спроси: «Насколько ты уверен в этом?» — модели иногда умеют отмечать свою неуверенность, если их об этом прямо спросить, и сам ответ уже о многом говорит.
- По любым медицинским, юридическим и финансовым вопросам — проверяй у лицензированного человека. Как основной источник ИИ для этих тем не подходит.
- Если что-то не подходит к твоей ситуации, возрази. Ответ перестроится вокруг того, что ты добавил — общий совет часто признак того, что коуч ещё не до конца понял твою конкретику.
Когда стоит обратиться за дополнительной помощью
Самопомощь и ИИ-коучинг многое могут, но у них есть пределы. Если у тебя тяжёлая депрессия, которая не отпускает, панические атаки, мешающие обычной жизни, мысли о самоповреждении, активная работа с травмой или зависимость от веществ — это сигнал обратиться к лицензированному специалисту, а не повод сильнее налегать на коуч-приложение. Доступные по цене варианты можно найти на opencounseling.com или международные линии помощи через findahelpline.com. Нет никакой награды за то, чтобы ждать дольше, чем нужно.
Работать с Judith
Калибровка — «а это утверждение (или этот совет) вообще точное?» — это сердцевина КПТ. Judith относится к убеждениям как к гипотезам, которые проверяют, а не как к фактам, которые надо проглотить, и именно такая установка позволяет пользоваться любым источником (включая AI-коуча), не доверяя ему слепо. У неё хорошо получается и мета-уровень: заметить, что ты слишком сильно опираешься на какой-то один источник — книгу, подкаст, друга, приложение — и вернуть тебя к собственному суждению как к финальному фильтру. Подробнее о методе — в материале Когнитивно-поведенческая терапия.
Принеси убеждение и проверь доказательства — аккаунт не нужен
Чат открывается прямо здесь в браузере — аккаунт не нужен.
Похожие материалы
FAQ
Частые вопросы
Почему ИИ иногда выдумывает?
Большие языковые модели предсказывают вероятный текст, а не проверенную правду. Когда обоснованной информации не хватает, они заполняют пробел чем-то правдоподобно звучащим — уверенным ответом без реальной опоры. Это не ложь (у модели нет своих целей); просто у неё нет отдельного «модуля правды», с которым она сверяется. Новые ограничители это уменьшают, но не убирают.
Опасны ли галлюцинации в коучинге?
Обычно ставки невысоки, когда тема рефлексивная — назвать чувства, разглядеть паттерны, прорепетировать разговор. Ставки выше, когда речь о медицинской, юридической или финансовой конкретике, где неверный ответ превращается в неверное действие. Соизмеряй усилие на проверку со ставками: ощущение в адрес коллеги перепроверять не нужно, а утверждение про лекарственное взаимодействие — нужно.
Как понять, что ИИ что-то выдумывает?
Уверенные ответы в узких темах — самый явный сигнал: редкие состояния, региональные нормы, конкретные психотерапевты по имени. Ссылки, которые невозможно проверить, «исследования» без находимых URL и медицинская конкретика без оговорок тоже требуют более тщательной проверки. Чем чище и отполированнее язык, тем больше проверки он заслуживает; беглость — это ещё не точность.
Стоит ли перепроверять то, что говорит мне ИИ?
Для всего, что ты собираешься применять в реальной жизни, — да. Проверка факта занимает 30 секунд в поисковике. Для рефлексивного разговора о собственном опыте это менее критично, потому что источник истины — ты сам. Грубое правило: внешние утверждения (цифры, ссылки, нормы) надо проверять; внутреннее исследование (что ты чувствуешь, что хочешь попробовать) — нет.
Бывают ли AI-коучи точнее других?
Точность зависит от базовой модели, от ограничителей, которые продукт надстраивает поверх неё, и от того, насколько узко очерчена роль коуча. Коучи, опирающиеся на хорошо изученные доказательные методы (КПТ, ACT, PDT), уходят в сторону реже, чем коучи в свободном формате, потому что исходный материал у них структурирован и хорошо описан. Коучи Verke специализированы по методу как раз поэтому.
Verke — это коучинг, а не терапия или медицинская помощь. Результаты у каждого свои. Если ты в кризисе, позвони 988 (США), 116 123 (Великобритания/ЕС, Samaritans), или в местную службу экстренной помощи. Зайди на findahelpline.com для международных ресурсов.