Wytyczne BaFin dla sektora finansowego w sprawie AI, to dobry przykład i dobre praktyki

Dzisiaj chciałbym bardziej szczegółowo przybliżyć te zasady i mam nadzieję – otworzyć dyskusję nad przyszłym kształtem ram prawno-regulacyjnych dla algorytmizacji w sektorze finansowym.

Nadzór od początku do końca

Na początek warto zwrócić uwagę na ważne stwierdzenie – BaFin zamierza patrzeć na wykorzystanie algorytmów jako na złożony proces, a w konsekwencji zamierza przyglądać się mu od początku (zgromadzenie danych, trenowanie) do końca (implementacji biznesowej). Pokrywa się to zasadniczo z wymogami, jakie będzie stawiało przed nami – o ile zostanie przyjęte – rozporządzenie w sprawie sztucznej inteligencji.

Dalej BaFin nie zakłada – co do zasady – konieczności wydawania uprzednich zgód na zastosowanie algorytmów decyzyjnych, ale jednocześnie zamierza zgłaszać ewentualne uwagi w toku nadzoru czy na poziomie udzielania licencji.

BaFin zamierza patrzeć na wykorzystanie algorytmów jako na złożony proces, a w konsekwencji zamierza przyglądać się mu od początku (zgromadzenie danych, trenowanie) do końca (implementacji biznesowej)

Nie można jednak zapominać – i to też raczej standard – niekiedy organ nadzoru może wpływać na stosowany model, np. stosowany przy wymogach kapitałowych. Prawo bankowe przewiduje już podobne rozwiązania, m.in. w kontekście modeli wewnętrznych.

Czytaj także: Prawa podstawowe a sztuczna inteligencja, dlaczego powinniśmy o nie walczyć?

Aktywność BaFin zależy stopnia od ryzyka

Kolejną ważną zasadą jest podejście na zasadzie „same business, same risk, same rules”, która oznacza, że niemiecki organ nadzoru oceniając i nadzorując stosowane procesy oparte o algorytmy będzie stosował podejście oparte na ryzyku i neutralne technologicznie, ale także proporcjonalne do „biznesu”, który je wykorzystuje. W praktyce będzie to oznaczało, że większe zaangażowanie będzie widoczne w przypadku, gdy pojawią się dodatkowe ryzyka związane z danym procesem, np. dany system jest kluczowy dla banku lub podlega szczególnym zasadom outsourcingu.

Zakładam również, że te algorytmy, które będą miały bezpośredni wpływ na np. konsumentów (ocena zdolności kredytowej) będą systemami „wysokiego ryzyka” lub bardziej konkretnego zainteresowania organów.

Niemiecki organ nadzoru oceniając i nadzorując stosowane procesy oparte o algorytmy będzie stosował podejście oparte na ryzyku i neutralne technologicznie, ale także proporcjonalne do „biznesu”, który je wykorzystuje

BaFin tutaj wskazuje na konkretny przykład takiego algorytmu – skalowalność rozwiązania i powiązane z tym ryzyko ewentualnych błędów (tutaj dopowiadam, np. stronniczość algorytmiczna czy dyskryminacja).

Otwarty katalog minimum

Idźmy dalej. Niemiecki nadzorca zakłada, że zasady zawarte w dokumencie mają jedynie uzupełniać istniejące akty prawne i regulacje (w szczególności mają je doprecyzowywać), a już na pewno nie zastępować (te nadal mają pierwszeństwo).

BaFin ma świadomość jak dynamicznie zmienia się otoczenie i dlatego zasady mają charakter otwarty

Jednocześnie mają być minimalnym standardem i oczekiwaniem nadzorcy w odniesieniu do AI (tutaj mamy wyraźne wskazanie, że mogą one stanowić wyraźną wskazówkę dla nadzorowanych podmiotów co do kierunku nadzoru).

Ciekawe i godne pochwały jest przy tym to, że BaFin ma świadomość jak dynamicznie zmienia się otoczenie i dlatego zasady te mają charakter otwarty, tj. mogą się zmieniać w czasie, np. wraz z rozwojem algorytmizacji w sektorze finansowym czy postępem technologicznym.

Czytaj także: Projekt rozporządzenia UE w sprawie #artificialintelligence w pigułce; jak sztuczna inteligencja zmieni oblicze finansów

Zasady o charakterze podstawowym

BaFin opracował konkretne zasady na każdy etap wykorzystania algorytmów, ale wskazał także na cztery kluczowe zasady, które wyznaczają sposób realizacji pozostałych. Należą do nich:

1.    Jasne określenie odpowiedzialności za obszar algorytmów;

2.    Odpowiedni system zarządzania ryzykiem oraz outsourcingiem;

3.    Przeciwdziałanie stronniczości algorytmicznej oraz

4.    Przeciwdziałanie dyskryminacji.

Od razu widać, że to de facto kombinacja wymogów określonych m.in. w projektowanym rozporządzeniu w sprawie cyfrowej odporności operacyjnej oraz części norm o charakterze prawno-etycznym zawartych m.in. w wytycznych Komisji w sprawie AI godnej zaufania.

Wyższa kadra menedżerska (zakładam, że przede wszystkim zarząd) ma być odpowiedzialna za procesy wykorzystujące algorytmy decyzyjne, a to rozciąga się też na konieczność wylistowania poszczególnych procesów (mapowanie) oraz przypisanie im konkretnych ryzyk oraz zakresów odpowiedzialności.

I od razu uwaga – kłania się nam rola człowieka – to ta kadra podejmuje decyzje i bierze za nie odpowiedzialność, a nie algorytmy. W praktyce więc osoby te muszą mieć odpowiedni poziom wiedzy eksperckiej (technologicznej), żeby zrozumieć, jak algorytmy podejmują decyzje (np. na czym opierają swoją „wiedzę”. BaFin wymaga także odpowiednich rozwiązań w zakresie raportowania, w tym incydentów, związanego z algorytmami. Ciekawe czy fakt podjęcia decyzji na podstawie rekomendacji algorytmu powinno być odnotowane w protokole…

No i ostatnia rzecz, stosujesz algorytmy decyzyjne? Uwzględnij to w swojej strategii IT i zapewnij odpowiednie zasoby do zarządzania tym obszarem (UKNF będzie do tego podchodził zapewne podobnie – patrz najnowszy BION).

BaFin wymaga także odpowiednich rozwiązań w zakresie raportowania, w tym incydentów, związanego z algorytmami

Dalej mamy zarządzanie ryzykiem i outsourcing, a więc znowu wyższa kadra menedżerska, która ponosi za to odpowiedzialność. Należy wdrożyć odpowiedni system zarządzania ryzykiem oraz ryzykiem outsourcingu (tutaj przydatne będą z pewnością wytyczne EBA oraz ESMA). Podobnie jak wcześniej – odpowiedzialność, raportowanie i monitorowanie muszą być jasno określone.

To na co szczególną uwagę zwraca BaFin to efektywne zarządzanie ryzykami, w tym identyfikowanie źródeł oraz potencjalnych skutków niewłaściwego działania algorytmów. Mamy też kwestie związane z cyberbezpieczeństwem, np. w kontekście data poisoning.

Trzecim elementem jest przeciwdziałanie stronniczości algorytmicznej, czyli zapewnienie, że decyzje są obiektywne (w uproszczeniu). To oczywiście wymaga zastosowania odpowiednich danych (także w kontekście ich dostępności). W ramach systemu zarządzania ryzykiem musimy też uwzględnić ten specyficzny rodzaj ryzyka.

Szczególną uwagę zwraca BaFin na efektywne zarządzanie ryzykami, w tym identyfikowanie źródeł oraz potencjalnych skutków niewłaściwego działania algorytmów

I na koniec dyskryminacja. Tej zakazanej przez prawo w ogóle nie możemy dopuścić – to jasne. To powoduje, że na etapie tworzenia algorytmów istotną wagę musimy przypisać doborowi kryteriów oraz danych, które będziemy wykorzystywać. Jasne i oczywiste, ale rzadko podkreślane. Tutaj BaFin wyraźnie podkreśla wagę tego zagrożenia.

I to tyle na dzisiaj. W kolejnej odsłonie zajmiemy się poszczególnymi fazami.

Michał Nowakowski,

https://pl.linkedin.com/in/michal-nowakowski-phd-35930315, Head of NewTech w NGL Advisory oraz Counsel w NGL Legal, założyciel www.finregtech.pl, wykładowca studiów podyplomowych SGH: FinTech ‒ nowe zjawiska i technologie na rynku finansowym. Adres e-mail: michal.nowakowski@ngladvisory.com
Opinie wyrażone w artykule są osobistymi opiniami Autora i nie mogą być utożsamiane z jakąkolwiek instytucją, z którą Autor jest lub był związany.