Bankowość i Finanse | Technologie – BIK SA | Artykuł partnerski | Sztuczna inteligencja wkracza do ryzyka kredytowego

Produkty kredytowe to bardzo istotne źródło zysków w branży finansowej. Szczególnie gdy niskie stopy procentowe znacznie ograniczają możliwość zarabiania na kontach i lokatach. Jednocześnie wydaje się, że instytucje finansowe wyczerpały już niemal wszystkie tradycyjne metody walki konkurencyjnej o wzrost lub utrzymanie marży zysków dla produktów kredytowych. Dość częste jest już bardzo precyzyjne dostosowywanie ceny kredytu/pożyczki do poziomu ryzyka klienta. Teraz przyszedł czas na jeszcze precyzyjniejsze określanie ryzyka kredytowego. Umiejętność trafnego przewidywania, czy dany wnioskodawca spłaci kredyt, czy nie, to od zarania dziejów serce działalności kredytowej. Może stanowić o porażce lub sukcesie na wielką skalę. Wzrost poprawności w tym zakresie choćby o 1% może mieć znaczący wpływ na rachunek zysków i strat instytucji finansowej.

Do oceny ryzyka kredytowego już od niemal 70 lat stosowane są tzw. scoringi kredytowe. Scoring to ocena punktowa wiarygodności kredytowej klienta ubiegającego się o kredyt lub pożyczkę, dokonywana na podstawie danych o tym kliencie (głównie pochodzących z wniosku kredytowego oraz dokumentów towarzyszących – raportu kredytowego, historii konta osobistego), z zastosowaniem metod statystycznych (identyfikacja istotności poszczególnych cech w ocenie prawdopodobieństwa spłacenia kredytu/pożyczki poprzez zbadanie cech klientów spłacających i niespłacających). Pierwotnie scoring kredytowy stosowany był tylko w odniesieniu do klientów indywidualnych. Okazał się niezwykle pomocny, stąd znalazł następnie zastosowanie także w przypadku klientów biznesowych.

Do tworzenia scoringu kredytowego powszechnie stosowane są liczne modele statystyczne, takie jak regresja logistyczna, liniowa analiza dyskryminacyjna, drzewa decyzyjne. Najlepsze praktyki stosują dodatkowo metody inżynierii cech (transformacja WOE) i selekcji cech (wybór reprezentacji zmiennych współliniowych, dobór cech metodą krokową od ogółu do szczegółu, krańcowej wartości informacyjnej). Rozwój metod modelowania statystycznego owocuje w coraz bardziej zaawansowane techniki. Dają one coraz trafniejsze wyniki, ale kosztem coraz bardziej skomplikowanych algorytmów.

W ostatnich latach tradycyjne metody statystyczne coraz częściej zastępowane są w wielu branżach tzw. uczeniem maszynowym, nazywanym też sztuczną inteligencją. W uczeniu maszynowym algorytm nie jest zdefiniowany z góry, lecz poprawia się automatycznie poprzez doświadczenie. Model matematyczny budowany jest przez sztuczną inteligencję na podstawie przykładowych danych (danych treningowych) bez bezpośredniego angażowania człowieka. Uczenie maszynowe może być niezwykle efektywne, gdy mamy do czynienia z dużą liczbą danych i zmiennych.

Metody sztucznej inteligencji nie są jeszcze powszechnie stosowane w modelowaniu ryzyka kredytowego. Wiążą się z tym dwie bariery. Po pierwsze, nie zbadano jeszcze na szeroką skalę, czy metody te są lepsze do oceny ryzyka kredytowego niż metody tradycyjne. Wiele jest opracowań teoretycznych, natomiast niewiele jest dostępnych danych o wynikach ich zastosowania w praktyce działania instytucji finansowych. Drugim wyzwaniem jest fakt, że uważane są one za metody „czarnej skrzynki”. Powszechne jest przekonanie, że nie jest się w stanie jednoznacznie prześledzić, jak działa algorytm sztucznej inteligencji i z czego wynika, że dany wniosek kredytowy/pożyczkowy jest zaakceptowany lub odrzucony. Nie do końca jest to prawdą, gdyż zastosowanie metod XAI (explanaible artificial intelligence/wyjaśnialna sztuczna inteligencja) pozwala zajrzeć do środka modelu. Jednakże przeświadczenie o niejasnym dla użytkownika działaniu takiego modelu stanowi barierę dla menedżerów w działach ryzyka instytucji finansowych, od których regulacje nadzorcze oraz regulacje dotyczące ochrony danych osobowych wymagają, aby dla każdego wnioskodawcy dało się wyjaśnić, dlaczego model ocenił ryzyko kredytowe klienta jako wysokie lub niskie.

Biuro Informacji Kredytowej (BIK) postanowiło zweryfikować obie powyższe bariery, korzystając z ogromnego potencjału bazy klientów kredytowych i pożyczkowych, którymi dysponuje. W tym celu przeprowadzono badanie, do którego zaangażowani zostali dr hab. Przemysław Biecek (specjalizujący się w eXplainable Artificial Intelligence Human Oriented ML Evidence Based Machine Learning) oraz dr Marcin Chlebus i Dominik Ogonowski – założyciele firmy Data Juice Lab sp. z o.o. specjalizującej się w budowie modeli uczenia maszynowego oraz modeli biznesowych, głównie dla sektora finansowego.

Zadanie polegało na zbadaniu skuteczności predykcyjnej scoringu kredytowego zbudowanego metodą uczenia maszynowego i porównaniu go do efektów uzyskanych tradycyjnymi metodami statystycznymi stosowanymi od lat. Dodatkowo, zastosowano metody XAI (wyjaśnialna sztuczna inteligencja), aby „zajrzeć” do modelu stworzonego metodą uczenia maszynowego i zbadać jakie cechy/parametry klienta mają tutaj wpływ na akceptację lub odrzucenie wniosku kredytowego/pożyczkowego.

BIK dysponuje obecnie bazą ponad 159 mln historii rachunków (dane o kredytach/pożyczkach oraz koredytobiorcach/pożyczkobiorcach) dla 24 mln klientów indywidualnych oraz ponad 1 mln małych i średnich firm. Baza Biura Informacji Kredytowej zasilana jest danymi o kredytobiorcach przez wszystkie banki w Polsce oraz przez większość instytucji pożyczkowych. Tak ogromna baza daje możliwość uzyskania wysokiej jakości modelu statystycznego określającego prawdopodobieństwo spłacenia kredytu/pożyczki przez klienta.

Eksperyment wykonano dla danych BIK pochodzących z instytucji pożyczkowych, dla których regulacje sektora bankowego nie ograniczają zastosowania uczenia maszynowego w ocenie ryzyka kredytowego (w przeciwieństwie do banków, gdzie takie ograniczenie istnieje). Wykorzystano 5 mln obserwacji (rachunków pożyczkowych) i 1729 zmiennych charakteryzujących je, dla okresu czasu od 11.10.2018 do 20.05.2019. Przyjęto założenie, że problem w spłacaniu pożyczki/kredytu ujawnia się najczęściej w szóstym miesiącu od jego udzielenia (tzw. szczyt kredytowy), stąd ograniczono obserwacje do pożyczek udzielonych do 30.11.2018. Dane zostały w pełni zanonimizowane.

Do oceny modeli zastosowano współczynnik Giniego (miara poprawności predykcji) i przyjęto jego minimalną akceptowalną wartość 0,6 (na podstawie wiedzy eksperckiej). Wyniki uzyskane wszystkimi modelami spełniły powyższe kryterium. Dla metody lasów losowych (jedna z metod uczenia maszynowego) uzyskano najwyższą wartość tego wskaźnika w porównaniu do pozostałych modeli. Dla zestawu treningowego była to wartość bliska 1 (jest to maksymalna możliwa wartość tego wskaźnika), a dla zestawu testowego 0,76. Wynik 1 dla zestawu treningowego jest rezultatem wyjątkowo dużej głębokości „drzew” w „lesie losowym”. Inna metoda uczenia maszynowego, technika maksymalizacji gradientu (Gradient Boosting Machine), dała również bardzo wysokie współczynniki Giniego – 0,68 dla obu zestawów danych. Spośród klasycznych metod statystycznych najlepsze efekty uzyskano regresją logistyczną z transformacją WOE – współczynnik 0,65 dla obu zestawów danych. Zbadano też inne standardowe modele statystyczne, ale ich efekty były słabsze od powyższych.

Drugim celem eksperymentu było „zajrzenie” do modelu stworzonego metodą uczenia maszynowego i zbadanie cech/charakterystyki klienta, które mają wpływ na akceptację lub odrzucenie wniosku kredytowego/pożyczkowego. Służą do tego metody XAI (eXplainable Artificial Intelligence). Dzięki nim można zarówno wykryć najważniejsze cechy, jak i przeprowadzić analizę typu „co by było, gdyby” oraz uzyskać lepszy wgląd w proces decyzyjny algorytmu. Wśród różnych metod i narzędzi jest kilka, które zasługują na więcej uwagi. Najprostszą metodą jest wyznaczanie ważności cech permutacji (PFI). Po wielokrotnym losowym przetasowaniu każdej charakterystyki i zastosowaniu w modelu obserwujemy średni spadek dokładności modelu. Cechy, dla których wystąpił największy średni spadek mają największą istotność, czyli najbardziej wpływają na to, czy klient zakwalifikowany będzie do wysokiego, czy też niskiego ryzyka kredytowego. Cechy klientów użyte w modelu zostały utajnione ze względów bezpieczeństwa, ale można powiedzieć, że trzy kluczowe z nich okazały się mieć wpływ odpowiednio w 7%, 3% i 2% na finalną decyzję kredytową.

Podsumowując, przeprowadzone badanie wykazało, że metody uczenia maszynowego mogą mieć istotny wpływ na zwiększenie skuteczności określania ryzyka kredytowego, a tym samym wzrost zysków instytucji finansowej.

Wzrost jakości predykcyjnej modelu już o 1% ma niebagatelne znaczenie w skali biznesu – może dać korzyści finansowe 3,5 mln zł rocznie (przy założeniu wartości udzielanych kredytów 10 mld zł rocznie). Użyteczność modeli uczenia maszynowego rośnie szczególnie wtedy, gdy liczba zmiennych jest bardzo duża – dla modeli klasycznych może stanowić to wyzwanie, dla metod uczenia maszynowego nie jest to żadnym problemem.

Jednocześnie zastosowanie dodatkowo XAI daje możliwość zrozumienia, jak działa model, co pozwala na identyfikację kluczowych czynników ryzyka, kierunku ich wpływu na ocenę, monotoniczności wpływu oraz pozytywną weryfikację jakościową modelu na potrzeby walidacji, audytu i regulatorów (możliwość wyjaśnienia przyczyn decyzji kredytowej wymagana art. 70a Prawa bankowego, jako implementacja RODO w przepisach krajowych).

Jesteśmy w przededniu rewolucji w obszarach ryzyka kredytowego w branży finansowej. Bardzo konkurencyjne otoczenie, a przy tym coraz większa nieprzewidywalność sytuacji ekonomicznej oznaczają konieczność dalszego zwiększania skuteczności i tak już wyśrubowanych modeli oceny ryzyka kredytowego. Metody klasyczne mogą nie pozwolić już na dodatkowy wzrost, stąd wygranymi będą te instytucje, które jako pierwsze sięgną po metody innowacyjne, takie jak uczenie maszynowe. Zastosowanie tego typu rozwiązań przyśpieszy procesy i zwiększy ich dokładność, jednak ostateczna analiza wyników i decyzja powinna pozostać w rękach ekspertów nadzorujących modele, którzy w odpowiedni sposób zinterpretują rezultaty, mając do czynienia z tak trudnymi do przewidzenia sytuacjami, jak np. wybuch ogólnoświatowej pandemii.

dr Piotr Wojewnik
Dyrektor ds. Rozwoju Scoringu w BIK SA, odpowiedzialny za rozwój modeli i analizy ryzyka kredytowego w sektorze bankowym i pozabankowym. Kilkunastoletnie doświadczenie w budowie modeli prognostycznych w obszarach ryzyka kredytowego, sprzedaży i skarbu.

Sławomir Grzybek
Dyrektor Departamentu Business Intelligence w BIK SA, odpowiedzialny za zarządzanie w obszarze analiz porfelowych oraz modeli scoringowych. Ponad 20 lat doświadczenia w projektowaniu, wdrażaniu i monitorowaniu polityk kredytowych, modeli scoringowych i ratingowych w obszarze bankowym oraz w branży e-commerce.

dr hab. Inż. Przemysław Biecek
Profesor Politechniki Warszawskiej i Uniwersytetu Warszawskiego, dziekan ds. rozwoju Wydziału Matematyki i Nauk Informacyjnych PW. Zainteresowania badawcze: Responsible Artificial Intelligence.

Dominik Ogonowski
Założyciel i Prezes Data Juice Lab sp. z o.o., specjalizującej się w budowie modeli biznesowych i statystycznych dla sektora finansowego. Ponad 20 lat doświadczenia w wiodących bankach w obszarach ryzyka kredytowego, zarządzania produktami, optymalizacji procesów i marketingu.

dr Marcin Chlebus
Założyciel i Wiceprezes Data Juice Lab sp. z o.o., specjalizującej się w budowie modeli biznesowych i statystycznych dla sektora finansowego. Kierownik Programu Data Science na Uniwersytecie Warszawskim, wykładowca specjalizujący się w ekonometrii, statystyce i uczeniu maszynowym.