Model nie zawsze musi być wyjaśnialny: EBA o uczeniu maszynowym na potrzeby modeli IRB

Sam dokument ma zasadniczo dwa cele – zidentyfikowanie wyzwań związanych ze stosowaniem uczenia maszynowego dla modeli wewnętrznych oraz wskazanie rekomendacji w tym zakresie.

Spójrzmy na propozycje unijnego nadzorcy.

Zacznijmy od definicji

EBA powołuje się tutaj na wcześniejsze dokumenty, m.in. w zakresie zaawansowanej analityki danych oraz Big Data i stosuje definicję, zgodnie z którą uczenie maszynowe jest procesem wykorzystania algorytmów, a nie kodowania proceduralnego, które umożliwiają uczenie się z istniejących danych w celu przewidywania przyszłych wyników (czyli modele predykcyjne).

Uczenie maszynowe jest procesem wykorzystania algorytmów, a nie kodowania proceduralnego

Bardziej ogólnie chodzi tutaj o modele, których parametry są określane automatycznie na podstawie danych, z ograniczonym lub brakiem ludzkiej interwencji. Istotne jest przy tym to, że EBA wyraźnie – bardzo słusznie – nie wprowadza niepotrzebnego zamętu pojęciowego związanego z nadmiernym wykorzystaniem „sztucznej inteligencji”.

Czytaj także: Zastosowanie uczenia maszynowego i przetwarzania języka naturalnego na potrzeby AML/CFT w sektorze finansowym

Lista zastosowań ML

Kolejnym ciekawym elementem dokumentu jest lista zastosowań uczenia maszynowego dla spełnienia wymogów CRR w zakresie modeli wewnętrznych. EBA tutaj wskazuje na:

1.    Walidację modeli;

2.    Poprawę jakości danych;

3.    Dobór zmiennych;

4.    Identyfikację i rozróżnianie różnych rodzajów ryzyk.

W praktyce mogą pojawić się również inne przykłady zastosowania modeli uczenia maszynowego, które również pośrednio wpływają na stosowanie modeli IRB.

Rekomendacje mają zastosowanie do dwóch obszarów – kwalifikacji ryzyk oraz różnicowania ryzyk

EBA podkreśla, bardzo słusznie, wyzwania związane ze stosowaniem ML, do których należy m.in. konieczność uzupełnienia tego automatyzmu również elementem białkowym (ludzkim) oraz kwestie dotyczące wymogów dokumentacyjnych w kontekście modeli IRB.

Ogólne rekomendacje EBA

Skupmy się jednak na rekomendacjach, które EBA zaproponowała w dokumencie, przy czym istotne jest to, że mają one charakter tzw. principle-based, a więc są dość ogólne. Przypomnijmy, że podobne podejście zastosował niemiecki organ nadzoru nad rynkiem finansowym – BaFin.

Same rekomendacje mają zastosowanie do dwóch obszarów – kwalifikacji ryzyk oraz różnicowania ryzyk, a więc w nieco ograniczonym zakresie, ale kluczowym z punktu widzenia samej instytucji oraz organów nadzorczych.

Czytaj takze: Wytyczne BaFin dla sektora finansowego w sprawie AI, to dobry przykład i dobre praktyki

Wiedza najważniejsza

 EBA zaczyna od podkreślenia, że jeżeli instytucja zamierza wykorzystywać modele uczenia maszynowego do wyznaczania wymogów kapitałowych, to wszystkie zainteresowane osoby powinny mieć odpowiednią wiedzę w zakresie tego, jak funkcjonuje dany model.

Unijny nadzorca wskazuje tutaj na konkretne wymogi w zakresie „bezpośrednio zainteresowanych” jednostek, ale także znajomości przez zarząd oraz wyższy „management” tego, jak dany model działa, a w szczególności na jakich danych i założeniach się opiera. Jest też wymóg opracowywania i przedkładania odpowiedniej jakości dokumentacji.

Wszystkie zainteresowane osoby powinny mieć odpowiednią wiedzę w zakresie tego, jak funkcjonuje dany model

Bardzo ciekawe rekomendacje znajdziemy w odniesieniu do jakości modeli. EBA podkreśla tutaj, że instytucja powinna znaleźć odpowiednią równowagę pomiędzy tym jak dany model działa a tzw. wyjaśnialnością (explainability) jego wyników. Co to oznacza? Instytucje powinny unikać nadmiernej kompleksowości modeli, jeżeli nie jest to uzasadnione istotnym polepszeniem jakości predykcji tego modelu. Instytucje powinny unikać nadmiernej ilości zmiennych objaśniających, wykorzystania nieustrukturyzowanych danych (np. tekstowych) oraz nadmiernie skomplikowanych opcji modelowania, jeżeli prostsze metody są dostępne.

EBA rekomenduje także, aby instytucje dokonywały stosowanych analiz różnych parametrów modeli, m.in. w kontekście weryfikacji ich wpływu na rezultaty końcowe, ale także powinny tworzyć dokumenty podsumowujące, w których model jest wytłumaczony w jasny sposób.

Instytucje powinny unikać nadmiernej kompleksowości modeli

Taki dokument powinien zawierać co najmniej informacje dotyczące głównych parametrów oraz głównych zależności pomiędzy parametrami a konkretnymi predykacjami. Instytucje powinny także wprowadzić mechanizmy identyfikacji potencjalnych biasów (skrzywienia algorytmicznego).

Co dalej?

Musi być ludzki osąd. To oznacza, że osoby odpowiedzialne za weryfikację modeli powinny posiadać odpowiednie dane pozwalające na taką ocenę. Oznacza to tyle, że należy tym osobom umożliwić nie tylko identyfikowanie potencjalnych ryzyk związanych ze stosowaniem modelu, ale także podejmowania stosownych działań zaradczych, jeżeli jest to konieczne. A zazwyczaj będzie.

Instytucja ma także zapewnić, że aktualizacje modelu powinny odbywać się, jeżeli rzeczywiście jest to konieczne (i niezbyt często), przy czym należy wprowadzić odpowiednie rozwiązania w zakresie monitoringu i analizy. Małe zmiany mogą powodować też duże (negatywne) konsekwencje dla działania modelu i to też należy wziąć pod uwagę.

Osoby odpowiedzialne za weryfikację modeli powinny posiadać odpowiednie dane pozwalające na taką ocenę

EBA ma również rekomendacje dotyczące walidacji działania modelu, w tym w zakresie tzw. overfittingu, który występuje głównie przy zbyt rozbudowanych modelach. Tutaj mamy sporo technicznych wymogów dla jednostek odpowiedzialnych za walidację. Mamy także wymogi w zakresie dokumentacji i odpowiedniego przygotowania do wdrożenia. De facto oznacza to, że instytucja powinna posiadać odpowiednie rozwiązania organizacyjne i techniczne.

Jak to ocenić?

Cóż, tematyka jest mocno „techniczna”, a więc i rekomendacje takie są. Zwrócić należy jednak uwagę, że trochę zabrakło tutaj rekomendacji dotyczących szeroko rozumianego data governance oraz kwestii rozwiązań organizacyjno-technicznych.

Te oczywiście są już określone chociażby w CRR (art. 174 i następne), jednak przydałoby się wskazanie czy są one wystarczające, czy też należy wziąć pod uwagę pewne niuanse.

Ciekawe będzie też podejście KNF do tych rekomendacji, gdy staną się one już wiążące, szczególnie w kontekście już istniejących rekomendacji, m.in. rekomendacji W.