Банки начали создавать системы контроля качества ответов ИИ-агентов

Российские банки разрабатывают собственные инструменты проверки ответов виртуальных помощников на ошибки и неэтичный контент, поскольку готовых решений для этой задачи на рынке не нашлось. Один из примеров — два детектора, созданных ВТБ совместно с Центром искусственного интеллекта МГУ: для проверки токсичности и так называемых галлюцинаций в ответах цифровых помощников.

Первый инструмент анализирует запросы пользователей на наличие запрещённых тем, признаков нарушения законодательства и контента 18+. При обнаружении таких фрагментов система блокирует обработку запроса. Второй детектор проверяет уже сформированные ответы цифровых помощников, выявляет в них несоответствия и противоречия и указывает, в какой части текста они находятся — после этого специалисты банка могут отправить ответ на повторную проверку или заблокировать его.

Разработчики отмечают, что галлюцинации — одна из самых распространённых проблем генеративного ИИ, когда модель выдаёт уверенный, но вымышленный ответ.

Контроль за использованием искусственного интеллекта в финансовом секторе в 2026 году усилился и на регуляторном уровне: 16 июня 2026 года Банк России опубликовал методические рекомендации по безопасному построению и использованию искусственного интеллекта в финансовой сфере, документ содержит более 20 мер, реализация которых потребует доработки инфраструктуры. Одновременно отрасль переходит к более широкому применению ИИ-агентов: банковская отрасль входит в новую фазу внедрения искусственного интеллекта — на смену разрозненным пилотам приходят платформенные решения и мультиагентные системы.

О разработке детекторов ВТБ сообщил на Kazan Digital Week советник первого заместителя президента-председателя правления банка Сергей Путятинский. По его словам, готовых решений, которые отвечали бы требованиям банка, на рынке не нашлось, поэтому детекторы были созданы совместно с экспертами МГУ. Решения планируется внедрить в сервисы розничного бизнеса, где для общения с клиентами используются цифровые помощники.