7 ноября 2024

«Закон ценен не потому что он закон, а потому что в нем заключена справедливость» - Генри Уорд Бичер.

USD

493.85 KZT

EUR

571.78 KZT

RUB

6.25 KZT

7 ноября 2024

«Закон ценен не потому что он закон, а потому что в нем заключена справедливость» - Генри Уорд Бичер.

USD

493.85 KZT

EUR

571.78 KZT

RUB

6.25 KZT

Алгоритм спутал жертву с преступником - контракт сорвался

24 сентября 2025
Алгоритм спутал жертву с преступником - контракт сорвался
Доверять ИИ принятие решений в отношении человека, похоже, еще рано. Реальности казахстанского делопроизводства и тот самый пресловутый «человеческий фактор» сбивают с толку даже умные алгоритмы нейросетей.

Вот, например, распространенная практика проверки контрагентов при заключении контрактов или принятии на работу специалистов. Комплаенс-службы все чаще обращаются для сбора такой информации к сервисам, которые работают на алгоритмах искусственного интеллекта. Они как правило частные, но с разрешения гражданина получают доступ к информации из государственных баз данных, а затем ИИ анализирует их. И выводы могут быть совершенно неожиданными.

- Комплаенс-служба одной организации, с которой я собирался заключить контракт, проверила мои личные данные через государственную базу, - рассказывает журналист Азамат Ергалиев, — и алгоритм искусственного интеллекта выдал неожиданный результат: в отношении меня обозначена «высокая степень риска» по статье УК РК о хулиганстве. Но в реальности все было иначе. В феврале 2025 года я пострадал при нападении хулигана. В самолете Fly Аrystan пьяный дебошир избивал стюардессу, я вмешался, защитил ее, получил травмы и дал показания. Следователь внес мои данные в материалы уголовного дела как заявителя и пострадавшего. Однако алгоритм государственной базы при работе комплайенс-систем не различает, кто преступник, а кто жертва. Для него любой участник конфликта - «риск». В результате я пострадал дважды: сначала от рук хулигана, а теперь от некорректной работы цифровой системы. Более того, комплаенс-служба дала понять: вероятность моего сотрудничества с этой организацией близки нулю, потому что госбаза из-за участия на судебном процессе по уголовному делу фиксирует меня как субъекта с высокой степенью риска со всеми вытекающими.

Что в такой ситуации делать и к кому апеллировать, не каждый сориентируется. То ли к потенциальному партнеру, то ли к сервису, который предоставил подобное заключение, то ли к государственному органу, чьей базой пользовались. Увлекательный бюрократический круг получается. При этом очевидно, что таких кейсов будет больше. Азамат рассказывает, что после того, как рассказал публично о своей ситуации, ему стали писать люди, которые оказались в такой же: сервис выдает некорректную информацию.

Сегодня в мажилисе рассмотрят проект закона об искусственном интеллекте уже во втором чтении. Это значит, что затем он попадет в сенат, дальше на подпись президенту и вступит в силу. Единственное, чем он может обезопасить нас от такого рода ошибок - возможностью их обжаловать: это прописано и в самом законе, и в Цифровом кодексе, которые будут регламентировать наши отношения с ИИ. Но утешает это не слишком: доказывать, что прав ты, а не цифровой мозг, можно долго, дорого и нервно.

Очевидно, что нужно свести к минимуму возможные ошибки: правильно формулировать промпты, например. Но эти тонкие настройки будто оставлены на потом. Казахстанские реалии куда более простые. И здесь кейс с «высоким риском хулиганства» очень показателен. В результате ручной проверки со стороны технической службы сервиса выяснилось, что проблема не в искусственном интеллекте, а в том, что кто-то не очень хорошо сделал свою работу.
- Оказалось, что sud.kz не прикреплял документы по нашему делу, и система не определяла степень моего участия в этом деле, автоматически выдавая ошибку о степени риска, — говорит Азамат, — теперь они вручную прикрепили документы из sud.kz к запросу и система будет видеть мой статус как законопослушного лица!
То есть на фоне повсеместной цифровизации и внедрения ИИ в Казахстане пока еще большие проблемы с массивами данных. Растет количество информационных систем, а стало быть, и бюджеты на них. А данные для них собирают крайне неумело. В таких отраслях как сельское хозяйство, торговля, энергетика и даже образование оцифровано немногим больше 30% данных, которые нужны для внедрения технологии искусственного интеллекта. Кстати, судопроизводство считается полностью цифровизированной сферой.

- Очень показательный кейс, на мой взгляд, и поучительный, — говорит депутат мажилиса Екатерина Смышляева, — здесь неполные данные и неверное решение. Сегодня мы говорим о том, что нужно привести в действие существующие нормы по обязательному обмену данными между государственными органами, а для сбора цифровых следов и базовых сведений о гражданине рассмотреть возможности внедрения «цифрового портмоне гражданина». Это позволит аккумулировать данные о гражданине не только в информационных системах, но и в его личном хранилище. А также организовать работу так называемых дата-офицеров, стюардов и дата-контролеров в организациях для обеспечения качества собираемых данных.

Бахыт Нуржанова, фото из Facebook-аккаунтов Азамата Ергалиева, Екатерины Смышляевой и сгенерированные ИИ изображения