Финансовая сфера

Банковское обозрение


  • Практические аспекты управления модельным риском в банках
28.10.2020 FinCorpАналитика
Практические аспекты управления модельным риском в банках

В настоящий момент на рынке нет устоявшихся практик управления модельным риском. В то же время модельный риск становится все более актуальным для банков. Поэтому, чтобы оценить уровень модельного риска и принять меры по его минимизации, банку нужно выстроить единую систему управления модельным риском


Модели стали неотъемлемой частью банковского бизнеса

В последнее время все больше процессов в банке используют модели. Существенно выросла сложность используемых методов и алгоритмов. Теперь и сами банки, и регуляторы уделяют модельному риску больше внимания.

Используя в работе модели, банки должны учитывать следующие особенности:

  • выбор метода должен быть обоснован с точки зрения баланса между точностью расчетов и затратами на использование моделей;
  • необходимо обеспечить прозрачность и интерпретируемость результатов;
  • модели должны получить одобрение руководства банка, а в некоторых случаях и надзорных органов;
  • при работе с конфиденциальной информацией возникают требования по защите данных.

Эти, а также многие другие факторы могут ограничивать потенциал применения моделей. В то же время их использование обеспечивает ряд преимуществ с точки зрения эффективности банковской деятельности: позволяет упростить порядок расчета, получить более быстрый и/или точный результат. И если несколько лет назад модели активно применялись в основном для управления рисками, то сейчас сфера применения стала намного шире и распространилась на все сферы банковского бизнеса.

Часто в банках сложно выстроить единый модельный ландшафт. С одной стороны, это достаточно новая тема для банковского сектора и регулирования, особенно российского1, поэтому на рынке еще не сложились устойчивые практики управления модельным риском. С другой стороны, разработка моделей в банках часто проходила децентрализованно (каждое подразделение самостоятельно разрабатывало модели), и нужно немало ресурсов, чтобы составить единую для банка картину по теме модельного риска.

Модели быстро перестают быть актуальными, особенно во время кризиса

В 2016 году Европейский центральный банк (ЕЦБ) запустил программу Targeted review of internal models (TRIM), в рамках которой определил понятие «модель», причины возникновения модельного риска и форматы его проявления.

  • Модель — количественный метод, система или подход, который с помощью статистических, экономических, финансовых или математических теорий и методов преобразует исходные данные в количественные оценки.
  • Источники модельного риска:

- дизайн модели (качество и источники данных, используемые предпосылки);

- использование модели (соответствие модели и бизнес-задачи, интерпретация результатов, внесение изменений в модель).

  • Форматы проявления модельного риска:

- события модельного риска (входят в оценку операционного риска и в его составе покрываются капиталом);

- неопределенность, присущая моделям (может покрываться мерами консерватизма, например независимым аудитом моделей или бэк-тестированием).

Таким образом, модельный риск — это риск потерь, которые могут возникнуть в результате ошибочных решений, основанных на результатах моделей в случае сбоев в разработке, внедрении и использовании моделей. 

Полностью избежать модельного риска нельзя, поскольку он обусловлен природой моделей (механизм возникновения описан на рис. 1).

Сложность управления модельным риском заключается в следующем: наблюдение за моделями проводится не на постоянной основе. Поскольку проверять корректность работы моделей непрерывно невозможно, ошибки моделей могут быть пропущены или обнаружены с опозданием. Чем активнее меняются внешние и внутренние условия, тем чаще ошибки возникают, поэтому управление модельным риском становится более актуальным в кризисы.

Регуляторы рекомендуют2 банкам иметь единую систему управления модельным риском (Model Risk Management System, далее — система MRM), которая может не только отслеживать поведение моделей, включая случаи ошибок, но и заранее предупреждать о возможном наступлении событий модельного риска. Чтобы эффективно работать, система MRM должна охватывать следующие аспекты: методологию, организацию и процедуры управления модельным риском, процессы жизненного цикла моделей и управления модельным риском, отчетность, а также документирование объектов и событий в рамках MRM (представлены на рис. 2).  

В основе системы управления модельным риском лежит модельный ландшафт

Для того чтобы система управления модельным риском работала эффективно, в первую очередь нужно собрать полную информацию об имеющихся у банка моделях. Для этого необходимо зафиксировать определение модели, после чего собрать данные обо всех используемых банком количественных методах. 

Такая инвентаризация модельного ландшафта позволит в том числе:

  • оценить интенсивность использования моделей различными подразделениями;
  • проанализировать взаимосвязи моделей, например, когда результаты одной модели являются входящими данными для другой;
  • выявить всех участников модельного процесса и создать их реестр;
  • оптимизировать модельный ландшафт, в том числе исключить дублирование моделей.

Кроме того, необходимо обобщить сведения об имеющихся требованиях и практиках по управлению модельным риском (включая требования в рамках управления операционным риском): например, как часто нужно проводить валидацию разных моделей, кто может пользоваться определенными моделями и так далее.

Иначе говоря, для каждой модели необходимо собрать полную информацию (примерный состав необходимой информации представлен на рис. 3).

После того как вся информация собрана, важно организовать ее хранение и обновление. Техническое решение должно зависеть от количества моделей внутри банка: от размещенной в общем доступе таблицы до автоматизированной системы. При этом способ отображения данных должен быть удобным для пользователей: например, для поиска по заданным параметрам удобнее использовать реестр моделей, а для просмотра данных конкретной модели — ее карточку с полной информацией.

Жизненный цикл модели и цикл управления модельным риском

Портфельный подход к управлению модельным риском, когда имеющиеся у банка модели рассматриваются как некая совокупность, позволяет видеть общую картину, устанавливать лимиты, а также оптимизировать ресурсы. Именно поэтому система MRM часто фокусируется на управлении модельным риском именно на уровне портфеля моделей. Тем не менее банкам следует учитывать не только совокупный риск, но и риск сбоев отдельных моделей. Это особенно важно для тех моделей, которые поодиночке серьезно влияют на деятельность банка.

Каждая модель самостоятельно проходит путь от идеи (бизнес-задачи) до внедрения и использования. Жизненный цикл модели часто не входит в состав цикла управления модельным риском (рис. 4), но он также важен в контексте системы MRM. Например, на стадии разработки модели формулируются условия корректного ее использования, что в конечном счете может учитываться при оценке модельного риска.

Для того чтобы система MRM была эффективной, необходимо разработать единые процедуры и стандарты документации не только для цикла управления модельным риском, но и для жизненного цикла моделей, в том числе:

  • стандарты регистрации моделей в единой базе 
  • процедуру одобрения моделей на разных этапах их жизненного цикла
  • пошаговую инструкцию по работе с моделями для вовлеченных в процесс моделирования (и жизненный цикл моделей) подразделений;
  • шаблоны отчетов о стадиях жизненного цикла моделей (отчет о разработке, внедрении, использовании, мониторинге и валидации модели).

Более того, необходимым условием для успеха системы MRM является развитие риск-культуры в банке. Часто выполнение задач, связанных с мониторингом, составлением отчетности или своевременным обновлением информации, зависит от заинтересованности исполнителей. А многие действия, связанные с управлением модельным риском, выполняются на уровне отдельных пользователей (например, подразделением — владельцем модели). Поэтому нужно поощрять вовлечение всех сотрудников банка в процесс управления модельным риском, особенно на уровне жизненного цикла модели.

В условиях кризиса проблема модельного риска стоит наиболее остро

В условиях стремительно меняющихся внешних условий поведение моделей перестает быть предсказуемым. Даже если при разработке модели учитывалась возможность наступления кризиса, она может перестать работать в соответствии с заложенным в нее алгоритмом. Такое может произойти, например, в следующих ситуациях:

  • контролируется только частное, но не совокупное распределение входящих переменных. В таком случае даже незначительные изменения сразу в нескольких переменных могут вывести модель из области, где она обучалась. В результате этого модель начнет ошибаться;
  • пороги отклонений (критические значения, при достижении которых модель следует перекалибровать) устанавливаются на основе предыдущего опыта использования модели. При этом реализация новых условий может быть критичной для работы моделей, но эти условия не будут выходить за пороги отклонений, и ошибки модели будут пропущены. Поэтому управление модельным риском становится особенно актуальным во времена кризиса. Для того чтобы события модельного риска не нанесли существенный урон деятельности банка, можно предусмотреть в системе MRM следующие компоненты:
  • отлаженный процесс управления модельным риском в условиях нормального функционирования (business-as-usual). Управление модельным риском важно проводить на постоянной основе и своевременно устранять выявленные недочеты. Для этого разрабатываются средне- и долгосрочные планы в рамках системы MRM (например, график валидации моделей, плановая инвентаризация моделей и прочее), устанавливаются и вовремя пересматриваются целевые показатели (риск-аппетит, лимиты на риск) и вовлекаются в процесс управления риском все связанные с моделями стороны;
  • выявление моделей, которые являются значимыми источниками модельного риска. Банк должен уметь определять модели, стабильная работа которых критически важна. (Подробнее о том, как это можно сделать, написано в следующем разделе этой статьи.) В случае реализации неблагоприятного сценария важно сконцентрировать усилия по минимизации модельного риска со стороны именно таких моделей; 
  • разработка информационной панели, отражающей ситуацию с модельным риском в банке (MRM Dashboard). Такая панель может содержать различную информацию: динамику основных входящих переменных, рейтинг моделей по их влиянию на деятельность банка, список последних риск-событий, данные о концентрации моделей по бизнес-направлениям, ключевые показатели (KPIs) и риск-аппетит (лимиты по модельному риску), если такие имеются у банка;
  • план действий на случай реализации непредвиденных обстоятельств. Такой план должен включать в себя как меры по устранению последствий со стороны поведения моделей (например, процедуру внеочередной калибровки и валидации значимых для банка моделей, перечень резервных источников данных), так и действия по информированию руководства банка, а также всех связанных с моделями лиц.

Одна из наиболее важных задач MRM — выделить модели, ошибки которых поодиночке приведут к наибольшим потерям банка. Если банк знает, насколько сильно ошибки одной модели могут повлиять на его деятельность, он может принять необходимые (и экономически обоснованные) меры по снижению модельного риска. При этом нужно иметь возможность сравнить различные модели между собой по уровню риска. Для этого можно группировать модели по уровню значимости на основе балльной шкалы. Для каждой из групп моделей затем можно установить свои стандарты мониторинга, отчетности, валидации.

На этапе группировки банки могут столкнуться с некоторыми затруднениями. 

Во-первых, нужно оценивать и сравнивать совершенно разные модели по столь же разным критериям. Приходится использовать различные методики оценки. Качественные, а иногда и количественные оценки, если в их основе лежат разные методики или шкалы сложно сопоставить или перевести в баллы.

 

 

Во-вторых, в некоторых случаях возможно использовать только качественные оценки. Например, банки используют «светофоры» для сравнения или агрегирования результатов валидации (где красный сигнал говорит о необходимости пересмотра модели, желтый — о незначительных отклонениях, а зеленый подтверждает, что модель работает хорошо). В таких случаях могут возникать проблемы при интерпретации оценок, если критерии определены недостаточно прозрачно.

В-третьих, система оценки моделей по их критичности должна учитывать особенности отдельно взятого банка. Поэтому сложно предложить предложить единый алгоритм, с которым большинство банков сможет ранжировать модели. 

Тем не менее в качестве примера можно предложить банку выбрать несколько критериев из следующего списка: 

  • требования регулятора (модели для оценки кредитного риска в рамках основанного на внутренних рейтингах подхода требуют больше внимания, чем модели для внутреннего использования) — качественный критерий;
  • степень влияния результатов модели на деятельность банка (например, модель, которая участвует в принятии решений по розничному портфелю, важнее модели, которая оценивает отдельные параметры нескольких небольших сделок) — количественный критерий;
  • сложность модели или метода, лежащего в ее основе (например, результаты модели, основанной на концепции черного ящика, невозможно верифицировать, в отличие от результатов линейной регрессии) — качественный критерий;
  • контроль работы модели, в том числе дата последней проверки ее результатов (например, результаты модели, которая прошла валидацию месяц назад, можно считать более точными, чем результаты модели, которая проверялась год назад) — качественный критерий;
  • другие критерии, например степень влияния модели на внешние по отношению к банку лица.

После того как банк выберет критерии, он разрабатывает шкалу для получения итоговой оценки и определяет границы групп моделей. В этот момент важно провести тестовый расчет (возможно, даже неоднократно), чтобы убедиться в адекватности методики. Кроме того, такую методику важно периодически пересматривать, чтобы учитывать изменения в модельном ландшафте банка.

Выводы

Модели стали неотъемлемой частью функционирования банка. При этом нельзя полностью избежать рисков, связанных с использованием моделей. Поэтому банкам следует грамотно выстроить систему управления модельным риском. Ключом к формированию такой системы является формирование и поддержание базы данных об имеющихся моделях. Помимо разработки инструментов управления модельным риском важно учитывать модельный риск в рамках жизненного цикла модели и развивать риск-культуру в банке. Во время кризиса ситуация с модельным риском может обостриться, поэтому важно заранее внедрить практики и инструменты для своевременного реагирования на изменения. Кроме того, полезно разработать методику определения моделей, критически важных для функционирования банка.

Справка
zeb — единственная европейская консалтинговая компания, которая специализируется исключительно на финансовом секторе (консультирование банков, страховых компаний, национальных регуляторов и других финансовых институтов). Оборот компании около 200 млн евро, работает около 1 тыс. сотрудников, 17 офисов в 13 европейских странах (Германия, Австрия, Швейцария, Лихтенштейн, Италия, Швеция, Норвегия, Дания, Англия, Голландия, Польша, Украина и Россия) zeb — лучшая консалтинговая компания для банков в 2013–2020 годов по версии журнала Brandeins по опросам клиентов и конкурентов zeb предоставляет услуги управленческого бизнес-консалтинга по четырем направлениям: стратегия и операции, финансы и риски, IТ и управление персоналом.

1. Требования к управлению модельным риском входят в обновленные требования Банка России к управлению операционным риском — Положение Банка России от 08.04.2020 № 716-П, опубликованное в июне 2020 года. При этом понятие «модельный риск» закреплено в п. 4.2. Приложения 1 новой редакции Указания Банка России от 15.04.2015 № 3624-У.
2. Согласно опубликованным в 2017 году рекомендациям ЕЦБ в рамках TRIM, “…an institution should have a model risk management framework in place that allows it to identify, understand and manage its model risk as it relates to internal models across the group…”.