Оценка потенциального эффекта и рисков информационной безопасности внедрения технологий искусственного интеллекта в некредитной финансовой организации РФ

Плешков Алексей Константинович

«Газпромбанк» (Акционерное общество)

Эксперт по информационной безопасности, MBA (Информационная безопасность, 2024 г., РАНХиГС)

Ключевые слова: искусственный интеллект, оценка эффективности проекта, риски информационной безопасности

Аннотация
Актуальность и практическая значимость темы. В период с 2022 по 2024 год Центральным Банком РФ проведена серия общественных консультаций по результатам которых был составлен и опубликован отчет о технических инновациях в финансовом секторе. Согласно исследованию ЦБ, финансовые организации в России в 2024 году активно применяют ИИ-системы в операционной деятельности. Степень проникновения ИИ в процессы в финансовых организациях постоянно растет и составляет не менее 15% с трендом на увеличение. По результатам другого проведенного в России в 2023-2024 году исследования рынка ИИ «полный экономический потенциал ИИ в России к 2028 г. составит 22–36 трлн руб. в номинальных ценах, а реализованный эффект к 2028 г. может достичь 4,2–6,9 трлн руб., что эквивалентно влиянию на ВВП до 4%.». Таким образом интерес финансовых компаний в РФ к проектам и решениям на базе ИИ стабильно растет.
На фоне роста интереса к ИИ в финансовом секторе продолжают накапливаться примеры и публично обсуждаться консервативные аргументы и объективно сдерживающие развитие ИИ-технологий в РФ сценарии, такие как:
- отсутствие единой методики оценки эффективности, как в техническом, так и в финансовом плане для ИИ-проектов;
- объективное непонимание ТОП-менеджментом окончательного набора положительных и отрицательных эффектов от внедрения ИИ-проектов в компании;
- низкие показатели рентабельности ИИ-проектов на этапе внедрения и ввода в эксплуатацию;
- недоверие к ИИ-решениям и компаниям-разработчикам ИИ-решений в статусе «стартап» (без подтвержденных внедрений в РФ).
Предложения по изменениям этих и иных сдерживающих развитие ИИ факторов представлены в работе.
Из множества теорий и факторов, регулярно изменяющий представление о нашем будущем, прорывные цифровые технологии заслуживают отдельного внимания, за счёт быстрого и массового внедрения во все сферы нашей жизни, как простых обывателей: от бытовых до коммуникационных, от социальных до производственных. Каждый этап развития технологий в Мире сопряжен как с передовыми открытиями, так и с новыми, иногда неожиданными и пугающими вызовами. Важнейшую роль в этом случае играет время реакции человека на факт появление такого вызова и время, необходимое для устранения причины угрозы. Таким образом, важно уже сейчас искать возможности для минимизации рисков завтрашнего дня. Для любого человека, вне зависимости от статуса и местонахождения, важно понимать насколько эффект от принятого решения перекрывает возникающие в связи с этим дополнительные риски.
Для успешной реализации коммерческого проекта в финансовой организации начиная с этапа принятия решения о выборе целевой архитектуры, а иногда и раньше - при формулировании запроса для технической проработки проблематики – важно адекватно представлять потенциальный эффект от внедрения выбранной технологии в компании, иметь в наличии аналитические инструменты, способные хотя бы приблизительно оценить возникающие в процессе или после завершения проекта риски. Самыми слабо прогнозируемыми всегда остаются операционные риски и риски информационной безопасности, как их подмножество. Руководитель, к которому проектная команда приходят с идеей проекта, обязан уметь адаптироваться и прогнозировать грядущее перестроение внутренних процессов в компании и балансировать между эффектами от внедрения проектных решений и минимизацией возникающих при этом затрат. Параллельно всегда возникают встречные обязательства для компании соблюдать и учитывать интересы государства, права его граждан и обеспечивать рентабельность и непрерывность основного бизнеса.

Цель, этапы и практические аспекты работы
Целью работы стало создание аналитического инструментария для защиты финансовых интересов руководства и собственников некредитной финансовой организации (работающей в России в 2024 году, находящейся в процессе цифровой трансформации и оптимизации внутренних процессов), принимающих решение о/оценивающих целесообразность внедрения у себя в инфраструктуре сервисов/продуктов, созданных с применением технологии искусственного интеллекта (ИИ).
Для достижения поставленной цели в работе решены следующие задачи:
1. Проведен сравнительный анализ современных подходов и технологий, созданных с применением ИИ. Рассмотрены простые и сложные модели машинного обучения «с учителем», «без учителя» и «с подкреплением». На публичных примерах рассмотрены перспективные области для применения ИИ-решений в РФ в 2024 году:
- распознавания образов
- голосовой помощник
- составление рекомендация
- робототехника и ориентирование
- финансовая аналитика и консультации
- автопилот и навигация
- языковые переводчики
- речевой анализ и чтение по губам
- эмуляторы в компьютерных играх
- медицинская диагностика
- генеративные системы
Приведены примеры из практики работы крупных фин.-тех компаний успешной реализации ИИ-проектов. По результатам анализа областей применения решений на базе ИИ сделаны предположения об их применимости для оптимизации процессов в некредитных финансовых организациях в РФ и сформулированы принципы, понимание которых лицами принимающими решение позволит взвешенно и осознанно подойти к решения о внедрении в собственной инфраструктуре ИИ-системы. Следующие базовые требования, принципы и характерные особенности ИИ-систем, возникающие в ИТ-проектах, проанализированы и сведены в сравнительные таблицы.
Рассмотрены следующие принципы и типовые характеристика ИИ-системы в ИИ-проекте для фин. организации:
- доступ к большим объёмам данных
- вычислительная мощность
- современные математические алгоритмы
- адаптивность и контролируемость
- коммуникация на естественном языке
- интерпретируемость и логичность
- безопасность и приватность
- интегрируемость и совместимость
- юридическая чистота
- этические принципы
Изучены международные практики и варианты применения ИИ в типовых для финансовой сферы направлениях. В сводном формате примеры применения ИИ в финансовом секторе экономики РФ в разрезе использованных для анализа в работе принципов ИИ в представлены в сводном виде ниже в Таблице 1.
 
Таблица 1 – Примеры применения ИИ в финансовом секторе РФ

2. На основе материалов из открытых источников собраны примеры повышения конкурентоспособности финансовых организаций в РФ в разбивке по направлениям после внедрения ИИ, проанализированы заявленные критериев оценки эффективности работы систем и решений с использованием ИИ-компонентов в завершенных ИИ-проектах. Результаты представлены в сводной Таблице 2 ниже.
Таблица 2 – Примеры повышения конкурентоспособности финансовых организаций в РФ в разбивке по направлениям после внедрения ИИ

На основе мнений экспертов и аналитических отчетов профильных компаний на рынке в РФ сформулированы общие метрики для оценки эффективности ИИ-проекта на разных стадиях жизненного цикла. Подобными метриками являются:
• снижение по завершению внедрения в отчетный период фактических показателей по трудозатратам в бизнес-процессе на фиксированное количество пунктов относительно значений по выбранным периодам до начала проекта, проценты (%)
• снижение фактической стоимости владения продуктом после замены (автоматизации) части дорогостоящих компонентов (как правило, людские ресурсы) на ИИ-компоненты (частичная или полная автоматизация бизнес-процесса), проценты (%)
• повышение индекса удовлетворенности со стороны клиентов качеством предоставляемого им сервиса (в т.ч. снижение количества претензий/рекламаций) за аналогичные интервалы по сравнению с показателями за выбранный предыдущий период, (пункты)
• выход из стагнации (стартовая точка для) либо переход процесса/продукта/клиентской активности в зону роста (демонстрация положительной динамики и положительных прогнозов) после внедрения ИИ-решения по сравнению с периодом до начала изменений (инструмент анализа динамики, пункты на графике)
• стабильность или возможность оставаться в рамках выделенного на внедрение бюджета, % отклонения от установленных на этапе входа в ИИ-проект значений
• соответствие заявленным в техническом задании на внедрение техническим, организационным, функциональным, регулярным или иным требованиям, % от общего числа требований в ТЗ в разбивке по функциональным блокам
Каждая метрика конкретизирована набором дополнительных вопросов, ответы на которые помогают лицу принимающему решению понять и осознать влияние метрики как на финансовые, так и на функциональные показатели ИИ-проекта. Примеры вопросов представлены ниже.
• для кого предназначена эта метрика?
• как именно эта метрика собирается и кем используется?
• что должно быть измерено с помощью этой метрики?
• какие решения могут быть приняты на основе этой метрики?
• как часто и почему эта метрика может меняться?
• чем эта метрика уникальна и отличается от других?
• в какой системе/месте хранятся данные для сбора этой метрики?
3. Составлена следующая краткая модель угроз ИБ при внедрении и эксплуатации ИИ, состоящая из следующих вероятных сценариев:
• нарушение конфиденциальности
• нарушение целостности
• нарушение доступности
• манипуляции с данным в ИИ-системе
• юридические и организационные угрозы
Зафиксировано влияние внешних риск-факторов (типичных для ИИ-проекта) на модель нарушителя для ИИ-систем. Разобраны такие феномены, как:
• феномен «девиантного посредника»: внедрение ИИ-систем сопровождается передачей третьим лицам (интеграторы, разработки, техническая поддержка) существенного массива внутренних чувствительных данных (для целей обучения ИИ-моделей), что само по себе с учетом регулярного появления в СМИ данных о компрометации создает риски разглашения коммерческой и банковской тайны для финансовых организаций;
• феномен «эволюции ИИ»: алгоритмы самообучения ИИ-системы в какой-то момент могут выйти за пределы поставленных изначально задач, ИИ может сам по себе навредить интересам компании в рамках реализации нестандартно сформулированного пользователем запросов;
• феномен «девиантного разработчика» : технические специалисты и программисты могут действовать в своих интересах или в интересах конкурентов в ущерб интересам компании; они владеют большими знаниями обо всех технических процессах; они могут совершить ошибку при разработке ИИ.
Проведена оценка рисков информационной безопасности, возникающих на разных этапах реализации проекта по имплементации ИИ компонентов в действующую инфраструктуру типовой финансовой организации. С учетом классификации актуальных кибератак, нацеленных на компрометацию ИИ-систем, работающих в/через Интернет, сделаны неутешительные выводы для ИИ-отрасли в целом. К таким выводам можно отнести следующие тезисы:
• российские компании уязвимы к кибератакам через Интернет на ИИ-компоненты, закупленные или созданные на основе open-source или западных (third-party) продуктах и фреймворках (например, в ML-фреймворках);
• по состоянию на третий квартал 2024 года не существует гарантированного алгоритма защиты от всех перечисленных выше таргетированных кибератак на ИИ-модели;
• технология реализации любой системы на базе ИИ предполагает и допускает, что могут найтись данные (в т.ч. в запросах от пользователей), на которых ИИ-модель выдаст ошибочную реакцию (ошибки первого и второго рода будут);
• индустрия ИИ-решений в России находится на этапе зарождения, практика эффективного противодействия кибератакам на ИИ-системы не подтверждена/не формализована;
• для рынка ИИ-решений в РФ отсутствует/не утверждена / не опубликована по состоянию на август 2024 года адекватная и понятная нормативно правовая база.
С учетом практики фин.-тех рынка за период с 2020 года по н/в описаны типовые сценарии реализации целевых кибератак на ИИ-компоненты и связанные с ними риски информационной безопасности, такие как:
• взлом систем ИИ
• утечка данных при обучении ИИ
• кибератаки в процессе эксплуатации
• злоупотребление со стороны обслуживающего персонала
Предложены компенсирующие меры по минимизации угроз в процессе внедрения и эксплуатации ИИ-систем, дана оценка их влияние на общую эффективность ИИ-проекта.
• обучение и повышение квалификации
• проведение тестов на проникновение
• журналирование действий и ответов
• неполное доверие, контроль
• лицензионная чистота кода
• профилактика внутренних угроз ИБ
• изучение пользовательского соглашения
4. Для выбранной некредитной финансовой организации, находящейся по состоянию на август 2024 года на стадии цифровой трансформации, проанализирована бизнес-модель и выполнена оценка влияния заложенных в бизнес-стратегию факторов на темпы цифровизации при внедрения ИИ-компонентов. Выполнен анализ отраслевой специфики на разных стадиях реализации ИИ-проекта.
• краткое описание бизнес-модели и бизнес-стратегии для выбранной Компании
• выполнена оценка бизнес-модели Компании по методике Остервальдера и Пинье
• проведен трехпозиционный анализ бизнес-стратегии Компании:
• анализ факторов внешней среды (PEST-анализ)
• оценка сильных и слабых сторон компании, возможностей и угроз (SWOT-анализ)
• анализ конкуренции. Модель пяти конкурентных сил (Модель Портера, схема анализа конкурентов)
На примере одного из актуальных для Компании проектов по внедрению клиентоориентированного решения на базе ИИ-системы (чат-бот), проведена апробация разработанной методики оценки эффекта внедрения и применимости выбранных для сравнения позиций (чек-листы).
Проведены практические испытания предложенных ранее походов по оценке потенциального эффекта и рисков информационной безопасности внедрения ИИ-технологий в некредитной финансовой организации РФ. В качестве примера проекта по внедрению ИИ-технологий выбрана внутренняя инициатива Компании по автоматизации процесса обработки поступающих через Интернет запросов от клиентов путем внедрения чат-бот с применением технологии ИИ.
С учетом отраслевой специфика проведена апробация методики оценки эффективности и оценка рисков ИБ, приведены примеры заполнения таблиц и чек-листов, дана оценка применимости предложенных метрик/методики и подхода по оценке рисков информационной безопасности с учетом отраслевой специфики Компании. Сделаны выводы о применимости предложенного подхода при реализации ИИ-проектов как в кредитных, так и в некредитных финансовых организациях.

Практические результат работы
К практическим результатам работы можно отнести следующие достижения.
Проведен сравнительный анализ современных подходов и технологий, созданных с применением ИИ. Собраны и проанализированы основные принципы, подходы и характеристики ИИ-проектов. Сформулированы тенденции и ИИ-индустрии. Сделаны предположения о критериях успешности и эффективности ИИ-проектов в фин. секторе. Систематизированы материалы из мировой и отечественной практики применения ИИ-решений.
Собраны кейсы и экспертные заключения, изучены базовые критерии оценки эффективности ИИ-проектов в РФ и в Мире. Сформулированы типовые метрики и составлена экспертная методика расчета и количественной оценки оптимизационного эффекта ИИ-проекта. Методика (подход по последовательному заполнению разработанных чек-листов, сравнению и анализу результатов заполнения) может быть применима для оценки эффекта внедрения и эксплуатации ИИ-систем как в некредитных финансовых организациях, так и в целом ряде иных финансовых организаций в РФ.
Проведены систематизация и оценка рисков информационной безопасности, возникающих на разных этапах реализации ИИ-проектов. Описаны типовые сценарии реализации целевых кибератак на ИИ-компоненты, определены компенсирующие меры по минимизации угроз и приведена оценка косвенного влияние угроз ИБ на общую эффективность ИИ-проекта.
Для выбранной некредитной финансовой организации, проанализирована отраслевая специфика, бизнес-модель и бизнес-стратегия. По модели пентабазиса описан ИИ-проект. Проведена апробация методики оценки эффективности, приведен пример заполнение чек-листов с критериями оценки ИИ-проекта. Сделаны выводы о подверженности ИИ-решения влиянию типовых рисков ИБ и о применимости методики.

Заключение и выводы
Предложенная в работе методика оценки потенциального эффекта и рисков информационной безопасности внедрения технологий искусственного интеллекта в некредитной финансовой организации РФ (апробированный подход по последовательному заполнению разработанных чек-листов, сравнению и анализу результатов заполнения) может быть применима для оценки эффекта внедрения и эксплуатации ИИ-систем как в некредитных финансовых организациях, так и в целом ряде иных финансовых и около финансовых организаций в РФ на горизонте 2025-2027 годов. При необходимости методика может быть модифицирована и уточнена с учетом специфики работы и особенностей реализации выбранных для оптимизации бизнес-процессов. Применение данной методики помогает руководителям организации эффективнее принимать решения в рамках проектов и контролировать линейные процессы, связанные с эксплуатацией систем на базе искусственного интеллекта.

Список источников
1. Яков и Партнеры, Отчет об исследовании «Искусственный интеллект в России – 2023: тренды и перспективы», ссылка: https://clck.ru/3Ct4wh
2. Доклад ЦБ РФ для общественных слушаний. «Применение искусственного интеллекта на финансовом рынке», ссылка: https://clck.ru/3Ct5DQ
3. Отчет об исследовании Ассоциации ФИНТЕХ, «Применение ИИ-технологий в России в 2024 году», ссылка: https://clck.ru/3Ct9jy
4. Отчет компании Boston Dynamics по результатам проведенных испытаний «Ai: магия или имитация», ссылка: https://clck.ru/3CtAbZ
5. Реутов А, Мурзина А, материалы доклада «Риски безопасности применения техник искусственного интеллекта», ссылка: https://clck.ru/3CtBGE
6. Отчет Ростелеком и TAdviser об исследовании на тему «Эффекты от внедрения решений на базе искусственного интеллекта в российских компаниях», https://clck.ru/3CtBWP
7. Отчет об исследовании компании TAdviser, «Искусственный интеллект (ИИ) Artificial intelligence (AI)», 2024. ссылка https://clck.ru/3CtD58
8. Отчет об исследовании компании TAdviser, «Искусственный интеллект в Сбербанке» ссылка: https://clck.ru/3CtDGU
9. Статья «Как Яндекс применил генеративные нейросети для поиска ответов», ссылка: https://habr.com/ru/companies/yandex/articles/561924/
10. Forbes Экспертиза. Статья «Генеративный ИИ в банковской сфере: инновации и этика», ссылка: https://clck.ru/3CtEoM
11. НЦРИИ 2024, Информационно-аналитическая справка по отчету «Индекс готовности правительств к внедрению искусственного интеллекта 2023», ссылка: https://clck.ru/3CtGUn
12. П.А. Алферов, «Проектное управление. Как правильно делать правильные вещи Настольная книга слоновщика», ссылка: https://alferov.expert/pm_book_mif