Использование искусственного интеллекта требует не только технологической зрелости, но и ответственного отношения к качеству данных.
Специалисты ВТБ рассказали о том, как бороться с ошибками нейросетей, которые генерируют правдоподобный, но ложный текст. Такие ошибки могут привести к серьёзным проблемам при работе с информацией, а также к финансовым и репутационным рискам для бизнеса.
Лев Меркушов , руководитель направления разработки ИИ-решений ВТБ, сообщил, что снизить количество ошибок можно, если чётко формулировать запросы. Чем точнее и понятнее запрос, тем меньше вероятность, что нейросеть начнёт фантазировать. Однако самый надёжный способ контроля — это проверка результата человеком.
Алексей Пустынников , лидер команды по разработке моделей, отметил, что для предотвращения искажений информации со стороны ИИ важно понимать и учитывать характер ошибок. Языковые модели не понимают смысл информации и не проверяют её достоверность в реальном времени, поэтому сбои проявляются по-разному. В одних случаях система искажает проверяемые данные, в других — создаёт вымышленные сведения или неправильно следует инструкциям.
Он также рассказал, что галлюцинации в работе языковых моделей можно разделить на несколько типов. Есть фактические галлюцинации, когда модель выдаёт проверяемую информацию с ошибками, например, указывает неправильное имя изобретателя или дату события, либо создаёт несуществующую связь между объектами. Есть фабрикация фактов, когда нейросеть просто придумывает данные, которые невозможно подтвердить, либо преувеличивает их значение. И отдельная группа — галлюцинации при следовании инструкциям: модель может выполнить другую операцию вместо заданной, не учесть контекст или допустить логические ошибки, например, утверждать, что дважды два равно шести.
Причины возникновения галлюцинаций связаны с особенностями обучения и работы языковых моделей. Они формируют ответы на основе вероятностных связей в данных, а не на понимании фактов, поэтому при нехватке или противоречивости информации стремятся «додумать» ответ. Дополнительную роль играют ограничения обучающей выборки: модели не обладают сведениями о событиях, произошедших после окончания сбора данных, не имеют доступа к проверке фактов в реальном времени. В результате ошибки могут возникать как из-за недостатка знаний в редких областях, так и из-за неточностей или искажений, изначально содержащихся в используемых данных.
Другой распространённой причиной галлюцинаций являются сложные и абстрактные задачи, которые значительно повышают вероятность ошибок в работе больших языковых моделей.
Чтобы снизить такие ошибки, специалисты рекомендуют использовать несколько подходов. Один из них — это продуманная постановка вопросов и инструкций для модели, чтобы она лучше понимала задачу. Ещё один способ — это так называемая цепочка рассуждений, когда сложный запрос разбивают на простые шаги. Часто применяют и специальные системы, которые перед формированием ответа ищут информацию в проверенных базах данных. Кроме того, модели дообучают на данных из конкретной области, чтобы они лучше понимали термины и нюансы. А специальные защитные механизмы — AI guardrails — помогают отслеживать ответы и вовремя останавливать модель, если она выдаёт что-то неверное.
В практике банка применяются каскадные решения, когда несколько моделей последовательно обрабатывают данные и корректируют результаты друг друга. Такой подход используется, например, в задачах распознавания текста и речи, прогнозирования снятия наличности и инкассации банкоматов. В области генеративного искусственного интеллекта ведётся разработка каскадных моделей для создания умного поиска по корпоративным базам знаний.
Помимо этого, эксперты уделяют особое внимание качеству исходных данных. Один из базовых подходов — это фильтрация данных, при которой в обучающие выборки включаются только тексты с минимальным количеством недостоверной информации и источники, в достоверности которых можно быть уверенными. Такой процесс нередко включает проверку материалов экспертами, что повышает качество, но одновременно увеличивает стоимость обучения моделей.
Специалисты ВТБ подчёркивают, что использование искусственного интеллекта требует не только технологической зрелости, но и ответственного отношения к качеству данных, прозрачности алгоритмов и контролю за результатами. Такой подход позволяет внедрять ИИ-инструменты, которые действительно помогают бизнесу, минимизируют ошибки и формируют устойчивое доверие со стороны клиентов.
