Он отметил, что надзор должен охватывать весь процесс работы ИИ-агентов: от целей и заложенных инструкций до принятия решений и их результатов. Ключевые приоритеты – прозрачность алгоритмов, контроль со стороны человека и защита клиентов от дискриминации, скрытых комиссий и навязывания дополнительных услуг.
«Наша задача – обеспечить максимальную прозрачность. Если агент выполняет свою функцию правильно, а человек остается в контуре принятия решений, устанавливает определенный уровень доверия, лимиты и условия, то такой подход вполне управляем. Но сегодня появляются более автономные агенты, которые способны самостоятельно принимать решения и формировать корзины продуктов и услуг. Для таких агентов необходимо сформировать систему защиты от новых рисков, в том числе от скрытого jailbreak – атак через интерфейсы и коммуникацию с агентами, направленных на обход установленных ограничений. Пока такие механизмы защиты находятся на достаточно ранней стадии развития не только в банковском секторе, но и в мире в целом», – отметил Тимур Абилкасымов.
Он также рассказал о системе коллективного иммунитета от киберрисков Qainar, к которой подключены более 100 финансовых организаций. В рамках Qainar Агентство активно использует ИИ-агентов для анализа и структурирования информации о киберинцидентах и оперативного обмена данными об угрозах.
Система помогает участникам рынка совместно реагировать на атаки и повышать киберустойчивость. Также Агентство расширяет применение собственных ИИ-агентов для контроля отдельных систем банков.
Подписывайтесь на наш телеграм-канал
Ланга Черешкайте, фото АРРФР