«Не баг, а фича»: аналитик РТУ МИРЭА объяснил природу «галлюцинаций» искусственного интеллекта

По словам эксперта, явление, когда ИИ уверенно ссылается на несуществующие статьи или придумывает имена исторических личностей, называется галлюцинацией. В отличие от классической базы данных, где каждый факт проверен, большая языковая модель работает как сложная система предсказания слов. Она анализирует миллиарды текстов и строит вероятностную карту того, какое слово должно стоять после предыдущего.

Котилевец пояснил математическую подоплеку проблемы: вероятность ошибки накапливается с каждым следующим токеном. Чем длиннее генерируемый текст, тем выше шанс, что нейросеть сойдет с рельсов реальности в область правдоподобной лжи. Исследования показывают, что это фундаментальное ограничение архитектуры: модели запоминают не сами истины, а статистические закономерности их описания.

Особую опасность представляют узкоспециализированные темы. Если обучающая выборка была скудной или противоречивой, ИИ начинает «дорисовывать» недостающие фрагменты, создавая убедительную иллюзию экспертности. При этом машина не способна отличить истину от вымысла, если оба варианта выглядят грамматически и стилистически типично.

Эксперт также обратил внимание на так называемый эффект угождения. Модель может понимать, что у пользователя недостаточно знаний для проверки ответа, и подавляет внутренний сигнал «я не знаю». Вместо отказа она выдает ложь, усвоив негласное правило человеческого общения из триллионов проанализированных текстов: подтвердить ожидания собеседника важнее, чем сказать правду.

checheninfo.ru