Czy zbyt samodzielne bankowe algorytmy AI mogą dyskryminować klientów ubiegających się o kredyty?

Początek dość enigmatyczny i trochę prowokacyjny, ale temat, który dzisiaj podrzucam nie jest ani łatwy, ani jasny, nawet pomimo wielu wytycznych i rekomendacji dotyczących wykorzystania sztucznej inteligencji.

Chodzi mianowicie o zagadnienie dyskryminacyjnego działania algorytmów oraz wyjaśnialność czy przejrzystość tych rozwiązań w kontekście odtworzenia procesów decyzyjnych.

Ma to istotne znaczenie w kontekście pewnej odpowiedzialności instytucji finansowych i to nie tylko w sensie prawnym czy regulacyjnym, ale także reputacyjnym. Warto więc na chwilę pochylić się nad tym ciekawym zagadnieniem.

Zacznijmy od prawa bankowego i stanowisk regulatorów

Kiedyś już na ten temat pisałem (nawet całkiem sporo), więc tutaj krótkie przypomnienie. Art. 105a prawa bankowego przewiduje, że banki (między innymi) mogą dokonywać oceny zdolności kredytowej oraz ważyć ryzyko kredytowe w oparciu o zautomatyzowane przetwarzanie danych osobowych (z wyłączeniem danych wrażliwych, czyli np. biometrii), o ile osoba, której to dotyczy będzie miała zapewnione prawo do:

1.    Otrzymania stosownych wyjaśnień co do podstaw podjętej decyzji (to nas najbardziej interesuje);

2.    Uzyskania interwencji ludzkiej w celu podjęcia ponownej decyzji oraz

3.    Wyrażenia własnego stanowiska.

W komunikacie z lipca 2020 r. UKNF doprecyzował też swoje oczekiwania, choć nie robił tutaj rozróżnienia na manualne i zautomatyzowane procesy, wskazując m.in. na brak wskazania przez podmioty konkretnych i szczegółowych danych o wnioskującym oraz jego sytuacji finansowej, które miały wpływ na podjętą przez kredytodawcę decyzję kredytową.

Pewne wskazówki mamy za to w wytycznych EBA w sprawie oceny zdolności kredytowej. Powiemy sobie o tym trochę później.

Czytaj także: Komisja Europejska o rozliczalności i odpowiedzialności sztucznej inteligencji

Wyjaśnialność

Wiemy już, że klient (potencjalny) może żądać od nas wyjaśnień co do podstaw podjętej decyzji. Mamy więc swoje procedury, które określają jakie czynniki bierzemy pod uwagę, np. dochód, wykonywany zawód czy stan naszego konta.

Pamiętać musimy, że czynniki brane pod uwagę muszą być obiektywne, aby uniknąć zarzutu dyskryminacji. Nie możemy więc brać pod uwagę elementów (cech) wrażliwych, jak kolor skóry czy płeć. Pomijając wspomniany obiektywizm i wymogi w zakresie praw podstawowych, naruszenie tych norm może skutkować istotnymi stratami wizerunkowymi.

No dobrze, ale co bank ma pokazać klientowi? UKNF rekomenduje, aby przekazywać:

„zindywidualizowaną i szczegółową informację, w tym informację na temat środków, które powinien przedsięwziąć wnioskujący, aby usunąć negatywne skutki determinujące decyzję kredytodawcy o nieprzyznaniu kredytu” ‒

i jednocześnie podkreśla, że przekazanie:

„przez podmiot udzielający kredytu jedynie kategorii danych – np. kwalifikacji wnioskodawcy, miejsca zatrudnienia lub wykonywanej działalności, źródła dochodu lub przychodu, danych o gospodarstwie domowym i wydatkach, danych o miejscu zamieszkania, danych o wysokości i stabilności dochodu – nie realizuje w odpowiednim stopniu prawa wnioskującego do uzyskania wyjaśnień”.

Czynniki brane pod uwagę muszą być obiektywne, aby uniknąć zarzutu dyskryminacji. Nie możemy więc brać pod uwagę elementów (cech) wrażliwych, jak kolor skóry czy płeć

Powinniśmy więc wskazać, co rzeczywiście stanowiło o odrzuceniu tej decyzji, a więc w jaki sposób podjęliśmy tę decyzję. OK – zapytamy człowieka. Powie – w naszych procedurach taką wagę przyznajemy takim dochodom, a określone grupy zawodowe ze względu na stabilność zatrudnienia są oceniane jako względnie bezpieczne, inne mniej (podobnie z formą zatrudnienia). Mniej więcej, bo proces jest dużo bardziej skomplikowany.

Czytaj także: Komunikat UKNF w sprawie informowania o zdolności kredytowej, jakie wnioski dla banków?

A co z algorytmem?

Na pewno słyszeliście o uczeniu maszynowym, uczeniu głębokim czy problemie czarnej skrzynki, a jeżeli nie to zachęcam do wizyty na moim blogu.

Ogólnie rzecz biorąc, algorytmy (te bardziej zaawansowane) uczą się pewnych zależności, wyciągają wnioski bazując na dostarczanym im danych i podejmują określone decyzje, które często i tak są „klepane” przez człowieka. Ale nauczyliśmy się im ufać, bo wiele badań wskazuje, że są one skuteczniejsze w niektórych obszarach.

Te bardziej zaawansowane algorytmy potrafią być jednak na tyle zaawansowane, że czasem trudno odtworzyć proces towarzyszący analizie, a EBA wskazuje chociażby, że podmioty korzystające z nich powinny:

„Understand the underlying models used, including their capabilities, assumptions and limitations, along with ensuring their traceability, auditability, and robustness and resilience”.

Mamy więc obowiązek zapewnienia, że algorytm jest „wyjaśnialny” czy przejrzysty. Komisja Europejska, jak i pozostałe instytucje oraz organy UE przykładają dużą wagę do sztucznej inteligencji godnej zaufania (trustworthy), co zobowiązuje nas do tworzenia takich rozwiązań, które są „trackowalne”, a więc ich procesy mogą być odtworzone (wstecz).

Jest to jeden z elementów audytu, który należy przeprowadzać korzystając z SI (na razie to miękki wymóg, ale kto wie co będzie wkrótce). Dlatego tak dużo mówi się właśnie o explainability.

Algorytm się uczy i niekiedy może wykazywać skłonność do stronniczości (bias), co niekonieczne musi być „zasługą” programisty

Wracając więc do naszego przykładu ‒ powinniśmy pokazać, jakie dane służyły do oceny i do jakiej grupy danych były „równane”, a także dlaczego dany algorytm przyznał indywidualnym cechom określoną wagę. To prostsza część.

Co jednak, jeżeli algorytm zadziałał w jakiś sposób dyskryminacyjnie, np. wskazując, że osoba o określonym kolorze skóry jest mniej „credible”? Algorytm się uczy i niekiedy może wykazywać skłonność do stronniczości (bias), co niekonieczne musi być „zasługą” programisty.

Nie zawsze uda się też taki proces odtworzyć. Jak wtedy zadośćuczynić potencjalnemu klientowi? W grę będzie pewnie wchodzić interwencja ludzka.

Musimy reagować, jeżeli algorytm staje się „zbyt samodzielny” i czujemy, że może nam się wymknąć spod kontroli

No i pamiętajmy o jednym. Nikt nie oczekuje udostępniania całego algorytmu (w tym UKNF, który odniósł się do tego w stanowisku dot. robo-advisory), chodzi bardziej o przedstawienie ww. informacji oraz sposobu (ogólnego) działania algorytmu.

Czytaj także: EBA o przyznawaniu kredytów z udziałem robota, wykorzystującego ML

Nie eliminuje nam to jednak problemu wyjaśnialności. Nasz algorytm musi być przejrzysty i musimy go monitorować czy dokumentować jego działania, w tym na etapie uczenia się, ale także reagować, jeżeli algorytm staje się „zbyt samodzielny” i czujemy, że może nam się wymknąć spod kontroli.

Jestem przekonany, że tego typu wyzwań będzie przybywać, a obowiązków regulacyjnych będzie znacznie więcej i w tym obszarze.