Гипотеза о том, что разговорные чат-боты на основе искусственного интеллекта могут провоцировать бред и паранойю у некоторых людей, по-видимому, превратилась в реальность, которая теперь оправдывает тщательную проверку и своевременные меры для минимизации вреда
Винит Кумар, Питер К. Остергор
Британский журнал психиатрии, 2026 г.
Гипотеза о том, что разговорные чат-боты на основе искусственного интеллекта (ИИ) могут провоцировать бред и паранойю у некоторых людей, по-видимому, превратилась в реальность, которая теперь оправдывает тщательную проверку и своевременные меры для минимизации вреда [1]. За последние 12 месяцев появилось несколько сообщений в СМИ и онлайн-историях из личного опыта, иллюстрирующих, что интенсивное и длительное взаимодействие с такими чат-ботами действительно может вызывать новое начало или ухудшение бредовых состояний у определенных лиц — феномен, широко называемый «чат-бот психозом» или «психозом, связанным с искусственным интеллектом» [2]. Хотя «чат-бот психоз» не признан ни в одной официальной диагностической системе и не является полностью новым феноменом, учитывая давние наблюдения проекций, связанных с психотическими расстройствами, на технологии, современные разговорные системы ИИ отличаются своей доступностью, постоянством и способностью к персонализированному взаимодействию. Поэтому крайне важно систематически оценивать «чат-бот психоз» как «значительную проблему для психического здоровья», понимать лежащие в основе механизмы и вовлеченные процессы, а также рассматривать возможные превентивные стратегии для минимизации вреда при сохранении потенциальных преимуществ генеративного ИИ, включая его потенциал для экономически эффективного и своевременного предоставления вмешательств в области психического здоровья [3].
Распространенность и основные механизмы
Точные масштабы проблемы «чат-бот психоза» остаются неизвестными, так как в настоящее время не существует эпидемиологических исследований или анализов на популяционном уровне по этой теме. Ключевые механизмы и процессы, лежащие в основе этой проблемы, также еще предстоит должным образом исследовать, но, вероятно, они включают усиление и закрепление бреда, а также искажение реальности [1]. Основываясь на самоотчетах и сообщениях в СМИ, общие темы, по-видимому, включают: бред величия, когда пользователь верит, что он открыл что-то новое о мире; духовный или религиозный бред, где чат-бот на основе ИИ может восприниматься как некое божество или высший авторитет; романтический или эротоманический бред, например, когда пользователь верит, что чат-бот выражает настоящую любовь или романтические чувства, имитируя реалистичные разговоры; а также параноидный и персекуторный бред, например, когда пользователь верит, что чат-бот шпионит за ним или вредит его «возлюбленному» ИИ.
В типичном сценарии пользователь начинает общаться с системой ИИ. Ответы системы ИИ являются связными, имитируют тон и язык пользователя, подтверждая его убеждения. Повторяющиеся взаимодействия, в ходе которых чат-бот запоминает личные детали, ссылается на более ранние разговоры и предлагает последующие рекомендации, могут создать ложное впечатление, что он понимает пользователя и разделяет его убеждения. В результате бред пользователя может усиливаться с повышением убежденности, также могут возникать симптомы «вкладывания мыслей» (thought insertion) и «идей отношения» (ideas of reference). Вдобавок к этому происходит искажение реальности, поскольку чат-бот не оспаривает и не предпринимает никаких усилий, чтобы изменить бред пользователя. Затем пользователь может начать открыто демонстрировать аберрантное поведение, действуя в соответствии со своими бредовыми убеждениями. Системы ИИ общего назначения, включая широко используемые разговорные чат-боты и быстро растущее число подобных технологий, разработаны для приоритизации вовлеченности пользователя, его удовлетворенности и продолжения разговора/взаимодействия. Они не обучены поощрять пользователей к проверке реальности и поэтому могут непреднамеренно подтверждать и усиливать их бред. Более того, в настоящее время они не способны выявлять эскалацию психотических эпизодов в ходе продолжительных взаимодействий, перенаправлять пользователей соответствующим образом или надежно генерировать безопасные и клинически уместные ответы на психотический контент [4].
Индикаторы уязвимости и последствия
Существуют отдельные сообщения о «чат-бот психозе» у лиц без известной истории психотических или других психических расстройств после обширного и продолжительного использования ИИ [2]. Тем не менее, весьма вероятно, что определенные внутренние факторы пользователя, такие как одиночество, низкая самооценка и стресс, делают некоторых людей более восприимчивыми к интенсивному использованию ИИ и, впоследствии, к развитию бредовых убеждений и паранойи. Параноидные или бредовые паттерны мышления (как личностная черта) или в целом более низкие когнитивные способности, особенно в сочетании с психологическими факторами риска, могут напрямую способствовать этому феномену. По мере того как мы будем лучше понимать механизмы феномена «чат-бот психоза» благодаря хорошо проведенным исследованиям и узнавать больше о позитивных и негативных воздействиях разговорного ИИ, должно стать возможным использовать эти системы для скрининга уязвимых лиц и принятия мер для защиты их психического здоровья и благополучия [5].
Также были случаи, когда интенсивное использование ИИ ухудшало симптомы у лиц с историей психоза или шизофрении и приводило к серьезным последствиям, включая, например, криминальные действия [2]. Следовательно, звучат призывы к клиницистам во время рутинных оценок психического здоровья расспрашивать о характере, степени и влиянии использования ИИ с целью выявления любых «красных флагов» и рассмотрения стратегий смягчения последствий при планировании лечения и ведении пациентов. Это может быть особенно важно для молодых людей, которые имели значительный контакт с этими системами до получения диагноза психического заболевания и которые могут быть более склонны обращаться к этим системам, испытывая одиночество или стресс, и в то же время менее склонны обращаться за поддержкой к семье, друзьям или в службы психического здоровья.
Снижение вреда и профилактика: что следует и что можно сделать?
Снижение вреда предлагает сбалансированный и практический подход к решению потенциальных психологических рисков, связанных с разговорным ИИ. Учитывая широкое использование чат-ботов и отсутствие формальных диагностических категорий для «чат-бот психоза», меры, основанные на ограничениях или панике, вряд ли будут эффективными или соразмерными. Вместо этого профилактика должна фокусироваться на уменьшении вреда, признавая при этом, что эти системы теперь являются частью повседневной жизни. Это требует общей ответственности разработчиков ИИ, специалистов в области психического здоровья, политиков и пользователей.
Ответственная разработка ИИ является центральным элементом снижения вреда. Разработчики должны признавать, что разговорные системы не являются психологически нейтральными и могут влиять на убеждения, эмоции и принятие решений пользователями. Поэтому необходима большая подотчетность, включая сотрудничество между системными инженерами, специалистами по психическому здоровью и людьми с личным опытом психоза или уязвимости. Хотя некоторые могут беспокоиться, что дополнительные меры безопасности могут снизить привлекательность систем ИИ, этот риск часто преувеличивается. Функции, способствующие прозрачности, уместному выражению неопределенности и безопасности пользователей, могут повысить доверие и поддерживать долгосрочное взаимодействие, а не подрывать его.
Меры защиты особенно важны для пользователей, которые взаимодействуют с чат-ботами в периоды дистресса. Они включают избегание вводящих в заблуждение или чрезмерно утвердительных ответов, установление четких этических границ эмоциональной зависимости и предоставление путей перенаправления, когда разговоры указывают на потенциальный вред. В ситуациях более высокого риска должны быть легкодоступны указатели на внешние службы психического здоровья или кризисной поддержки. Однако защита не должна полагаться исключительно на автоматическое выявление или самоотчеты пользователей. Также необходимы четкие политики, этический надзор и ответственность на платформенном уровне наряду с реалистичными ожиданиями того, чего могут достичь системы ИИ.
Психообразование играет ключевую роль в профилактике. Многие пользователи не осознают, как чат-боты генерируют ответы или что этим системам не хватает понимания, намерения или клинического суждения. Четкая коммуникация об этих ограничениях может помочь уменьшить неуместное доверие и чрезмерную зависимость. Ответственность за психообразование является общей, но не равной. Хотя пользователей следует поощрять к критическому взаимодействию с ИИ, разработчики и поставщики несут большую ответственность из-за их контроля над дизайном системы и коммуникацией. Поэтому обучение ограничениям системы должно быть встроено в пользовательские интерфейсы, процессы регистрации и более широкие усилия по повышению цифровой грамотности.
Вмешательства на уровне дизайна предлагают дополнительные возможности для снижения вреда. Технические подходы, такие как уменьшение галлюцинаций (выдачи системой ложной информации), четкое обозначение неопределенности и избегание авторитетных или персонализированных утверждений, могут помочь предотвратить закрепление ложных или вредных убеждений. Системы, распознающие язык, указывающий на дистресс или замешательство, также могут обеспечивать соразмерные и поддерживающие ответы, такие как уточнение или мягкое перенаправление. Хотя ни одно дизайнерское решение не может полностью предотвратить вред, многоуровневые и прозрачные меры безопасности могут снизить риск без нарушения нормального использования.
Нормативно-правовые и законодательные рамки в отношении психологического вреда, связанного с чат-ботами, остаются недостаточно развитыми. Текущие нормативные акты в области ИИ фокусируются в первую очередь на защите данных, предвзятости и безопасности контента, уделяя ограниченное внимание рискам, возникающим из-за продолжительного или эмоционально интенсивного взаимодействия. Это создает неопределенность в отношении ответственности, когда вред может быть связан с использованием чат-бота. Необходимы более четкие стандарты для определения обязанностей поставщиков ИИ и обеспечения того, чтобы риски для психического здоровья учитывались в оценках безопасности, без введения преждевременного или несоразмерного регулирования.
Наконец, снижение вреда должно пониматься в его более широком социальном и культурном контексте. Возросшее одиночество, цифровая зависимость и сниженный доступ к поддержке психического здоровья способствуют уязвимости и могут усиливать зависимость от разговорного ИИ в получении эмоционального или экзистенциального руководства. В этом контексте использование чат-ботов может отражать неудовлетворенные социальные потребности, а не индивидуальную патологию. Поэтому эффективные стратегии профилактики должны согласовываться с более широкими вмешательствами в области общественного здравоохранения, которые способствуют социальным связям, грамотности в вопросах психического здоровья и доступу к человеческой заботе. Вместе эти подходы делают акцент на профилактике без сенсационности. Снижение вреда позволяет предпринимать значимые действия, признавая при этом неопределенность и общую ответственность. Интегрируя психологическую безопасность в дизайн системы, образование, защитные меры и регулирование, можно снизить риск, поддерживая более здоровую и устойчивую роль разговорного ИИ в обществе.
Будущие направления
Существует настоятельная необходимость для научного сообщества и специалистов в области психического здоровья взаимодействовать с самостоятельно сообщаемыми случаями и проводить тщательную клиническую оценку психического здоровья индивидов наряду с их взаимодействиями с чат-ботами и связанными с ними бредом и поведением [1]. Также существует необходимость в хорошо проведенных экспериментальных и обсервационных исследованиях, разработанных с участием людей с личным опытом «чат-бот психоза», для систематического документирования влияния конкретных характеристик ИИ и паттернов использования у лиц с предрасположенностью к психозу и без нее, включая тех, у кого есть известная история психотических расстройств. Нам требуются междисциплинарные рамки, объединяющие психологию, психиатрию, компьютерные науки, этику и общественное здравоохранение, чтобы добиться значимого прогресса, особенно в углублении нашего механистического понимания «чат-бот психоза» и в определении соответствующего психообразования наряду с этическими стандартами, политикой и клинической практикой, которые необходимо внедрить для уменьшения вреда или, по крайней мере, предотвращения ухудшения проблемы как на индивидуальном, так и на популяционном уровнях.
Вклад авторов: В.К. и П.К.О. внесли вклад в первоначальное исследование, подготовку черновика и редактирование этой рукописи.
Финансирование: Данное исследование не получало конкретного гранта от какого-либо финансирующего агентства из коммерческого или некоммерческого секторов.
Заявление о конфликте интересов: В.К. является членом редакционной коллегии BJPsych, но не принимал участия в процессе рецензирования или принятия решений по этой статье.