Projekt rozporządzenia UE w sprawie #artificialintelligence w pigułce; jak sztuczna inteligencja zmieni oblicze finansów

Jednym z przejawów tego zainteresowania jest próba uregulowania kwestii zastosowania systemów AI w szerszym zakresie, w szczególności w odniesieniu do systemów tzw. wysokiego ryzyka (hi-risk).

Pod koniec kwietnia 2021 r. Komisja (UE) opublikowała projekt rozporządzenia ustanawiającego zharmonizowane zasady dla sztucznej inteligencji, który wprowadza szereg elementów istotnych również z punktu widzenia sektora finansowego.

Jest tak z kilku powodów. Przede wszystkim wśród wspomnianych systemów wysokiego ryzyka znalazły się rozwiązania związane m.in. ze zautomatyzowaną oceną zdolności kredytowej. Po drugie, projekt zakłada wprowadzenie pewnych zakazanych praktyk związanych z AI, a po trzecie – niektóre wymogi dotyczące systemów AI będą miały zastosowanie w obszarach zarządzania bankiem czy inną instytucją finansową.

Sztuczna inteligencja przestaje więc być już tylko ciekawostką, ale jej zastosowanie biznesowe będzie stanowić również wyzwanie prawno-regulacyjne. Jest to o tyle istotna informacja, że wiele z fintechów (niekoniecznie bankowych) intensywnie rozwija obszary automatyzacji, które mogą w nieodległej przyszłości stanowić znaczną przewagę konkurencyjną w walce o klienta.

Projektowane rozporządzenie wprowadza także katalog działań z użyciem sztucznej inteligencji, które podlegają zakazowi stosowania na terytorium UE

Projekt rozporządzenia jest wprawdzie tylko projektem i ostateczna wersja rozporządzenia może istotnie różnić się od tego, co mieliśmy okazję zobaczyć w ostatnich dniach kwietnia, ale już teraz wiemy jak wiele wymagań będzie trzeba spełnić chcąc wykorzystywać sztuczną inteligencję do świadczenia usług finansowych – niezależnie czy mówimy o tzw. front-end (np. wirtualni asystenci i chatboty), czy też rozwiązaniach back-endowych – niewidocznych dla klienta (np. wszelkiej maści systemy zarządzania ryzykiem).

Akt ten jest dość rozbudowany (zawiera także niemniej istotne załączniki) i zawiera wymogi w czterech zasadniczych obszarach, do których należą obowiązki w zakresie wykorzystywania systemów AI, zakazane praktyki, specyficzne wymogi dla systemów wysokiego ryzyka, wymogi w zakresie przejrzystości oraz zasady dotyczące monitorowania rynku AI i nadzoru.

Definicje

Z punktu widzenia podmiotu wykorzystującego systemy AI już sama definicja stanowi ważny element projektu, jako że to ona będzie determinowała czy określone rozwiązanie technologiczne podlegać może wymogom rozporządzenia. W pewnym uproszczeniu możemy przyjąć, że systemem AI będzie oprogramowanie utworzone z użyciem jednej lub więcej technik i sposobów (podejść) określonych w załączniku 1 do rozporządzenia (katalog jest szeroki i obejmuje m.in. uczenie maszynowe czy uczenie głębokie, ale też estymacje Bayesa), i które to oprogramowanie jest zdolne do wygenerowanie określonego rezultatu, np. treści, przewidywań, rekomendacji czy decyzji, które mają wpływ na cele określone przez człowieka.

Już przy pierwszym spojrzeniu widać, że definicja jest niezwykle szeroka, co wymagać może dokonania swoistego mapowania rozwiązań technologicznych stosowanych w danej instytucji celem ewentualnej oceny konieczności zmian w procesach, procedurach czy politykach. Tym bardziej, że niewłaściwa ewaluacja może wpłynąć na sytuację instytucji, czy to w kontekście reputacji i odpowiedzialności względem klienta, czy też sytuacji nadzorczej, o czym w dalszej części.

Jednocześnie projektowane rozporządzenie wprowadza także katalog działań z użyciem sztucznej inteligencji, które podlegają zakazowi stosowania na terytorium UE. Zaliczyć do nich można m.in. wszelkie rozwiązania o charakterze manipulacyjnym (względem człowieka) czy pewne kategorie działań organów publicznych związanych z tzw. scoringiem społecznym.

Czytaj także: UKNF: Raport z prac Zespołu ds. rozwoju innowacji finansowych FinTech

Wysokie ryzyko

Z punktu widzenia sektora finansowego istotne jest przede wszystkim to, co znajdziemy pod hasłem „sztuczna inteligencja wysokiego ryzyka”. W dużym uproszczeniu są to systemy wykorzystujące wspomniane już systemy AI, które mogą generować wysokie ryzyko np. dla zdrowia i życia człowieka czy nawet „tylko” danych osobowych.

W praktyce definicja jest dużo szersza i nie jest wyczerpująca, bowiem Komisji (UE) przyznano uprawnienia do jej modyfikowania. Samo zestawienie takich systemów przedstawiono w załączniku 3 do projektowanego rozporządzenia i znajdziemy tam m.in. rozwiązania wykorzystujące cechy biometryczne do identyfikacji osób fizycznych czy wspominaną już ocenę zdolności kredytowej. W rzeczywistości katalog jest jeszcze szerszy, bowiem system AI może być uznany za „hi-risk” również i w innych sytuacjach.

Z punktu widzenia sektora finansowego istotne jest przede wszystkim to, co znajdziemy pod hasłem „sztuczna inteligencja wysokiego ryzyka”

Co w konsekwencji? Całkiem sporo, bowiem projektowane rozporządzenie nakłada na szereg podmiotów (nie tylko samych operatorów) obowiązki w zakresie „utrzymania” tych systemów, a przecież w tle pojawia się projektowane rozporządzenie w sprawie operacyjnej odporności cyfrowej sektora finansowego, które również będzie wymagało istotnych dostosowań po stronie instytucji finansowych.

Dołóżmy do tego założenia Strategii dla UE w zakresie finansów cyfrowych i propozycję wytycznych sektorowych AI dla obszaru finansowego ‒ i najbliższe lata okażą się prawdziwym wyzwaniem dla sektora finansowego wykorzystującego nowoczesne technologie, takie jak AI. Nie można także zapominać o tym, że niektóre wymogi pojawiają się przykładowo w ustawie Prawo bankowe (ocena zdolności kredytowej) czy dokumentach organów nadzoru (stanowisko UKNF w sprawie tzw. robo-doradztwa).

Wymogi dla hi-risk AI

Wróćmy jednak do wspomnianych wymogów dla systemów AI wysokiego ryzyka. Wymogi zostały opisane przede wszystkim w rozdziale II projektowanego rozporządzenia. Najbardziej rozbudowanym wymogiem jest obowiązek wdrożenia systemu zarządzania ryzykiem, a także jego udokumentowanie i utrzymywanie w odniesieniu do systemów AI wysokiego ryzyka.

Z punktu widzenia sektora finansowego nie jest to wymóg nadzwyczajny, gdyż szereg aktów prawnych i regulacji już dziś nakazuje wprowadzanie ram zarządzania ryzykiem, w tym ryzykiem ICT czy operacyjnym (na fakt ten wskazuje zresztą sam projekt odwołujący się do CRD). Tutaj pojawiają się jednak pewne odmienności, które należy uwzględnić przy uzupełnianiu polityk, procedur i regulaminów.

Najbardziej rozbudowanym wymogiem jest obowiązek wdrożenia systemu zarządzania ryzykiem, a także jego udokumentowanie i utrzymywanie w odniesieniu do systemów AI wysokiego ryzyka

Sam proces zarządzania ryzykami specyficznymi dla AI wysokiego ryzyka powinien składać się z co najmniej czterech etapów, do których można zaliczyć m.in. identyfikację znanych i przewidywalnych ryzyk oraz ich ocena czy zastosowanie odpowiednich środków przeciwdziałania tym ryzykom. W skrócie, bo zakres jest znacznie szerszy. Co istotne, lista ryzyk powinna być na bieżąco analizowana i poddawana aktualizacji. Jednocześnie wspomniane systemy powinny być poddawane regularnym testom, których zasady również określone zostały w projektowanym rozporządzeniu.

Kolejnym ważnym elementem całego systemu zarządzania systemami AI wysokiego ryzyka jest zarządzanie danymi (data governance). Na wymogi w tym zakresie wskazywał już Europejski Urząd Nadzoru Bankowego w jednym z opracowań poświęconych Big Data oraz zaawansowanej analityce. Pierwszym i najważniejszym założeniem (i zarazem wymogiem) jest zapewnienie odpowiedniej jakości danych na wszystkich etapach opracowywania algorytmu – trenowania, walidacji oraz testowania.

Ważnym elementem całego systemu zarządzania systemami AI wysokiego ryzyka jest zarządzanie danymi (data governance)

Projektowane rozporządzenie zakłada konieczność opracowania kompleksowego systemu zarządzania danymi, na który składać się będą zasady dotyczące m.in. pozyskiwania danych i ich opracowywania na potrzeby danego algorytmu, ale także identyfikowanie potencjalnych luk czy stronniczości algorytmicznej. Ograniczone ramy felietonu nie pozwalają na szersze odniesienie się do tej kwestii, ale podkreślić trzeba, że jest to jeden z centralnych punktów projektowanego rozporządzenia.

Podkreślenia jednocześnie wymaga – i może to być szczególnie interesujące dla sektora bankowego – że projektowany akt dopuszcza możliwość wykorzystania danych wrażliwych (np. biometrycznych) w celu wyeliminowania ryzyka ewentualnej stronniczości algorytmicznej, ale pod warunkiem zastosowania odpowiednich zabezpieczeń i środków ochrony.

Czytaj także: Pandemia COVID-19 przyspieszyła transformację cyfrową banków

Kolejne dwa obowiązki mają charakter dokumentacyjny. W projekcie znajdziemy obowiązek przygotowania stosownej dokumentacji technicznej dla systemów wysokiego ryzyka jeszcze przed „wystawieniem” narzędzia na rynek. Taka dokumentacja musi przede wszystkim zawierać informacje pozwalające na ocenę spełnienia wszystkich wymogów z rozporządzenia (minimalny zakres danych został zawarty w załączniku IV do projektu).

Patrząc dalej, pojawiają się obowiązki w zakresie pozyskiwania i automatycznego zapisu różnych zdarzeń związanych z działaniem systemu AI (tzw. logi), a samo rozwiązanie powinno umożliwić prześledzenie działania algorytmu od początku do końca (danego działania).

Omawiany przez nas projekt zawiera także bardzo konkretne wymagania w zakresie przejrzystości i udostępniania informacji użytkownikom systemów wysokiego ryzyka, co jest jednym z istotniejszych obszarów dla uznania systemu AI za godne zaufania (trustworthy AI).

Co to oznacza w praktyce? Mniej więcej tyle, że użytkownik systemu musi mieć taki zestaw informacji, który pozwoli mu na jego użytkownie w sposób zgodny z założeniami (celami), a także ‒ aby możliwe było zrozumienie jak taki algorytm generuje określone wyniki. Sam projektowany akt zawiera listę tego, co powinno znaleźć się w przekazywanych informacjach, a więc przykładowo ograniczenia systemu AI czy założony sposób wykorzystania algorytmu, ale także poziom dokładności i odporności. Pewnym wyzwaniem będzie niewątpliwie opracowanie takich dokumentów przez dostawców rozwiązań AI.

Na marginesie warto zauważyć, że w projekcie znalazły się też specyficzne wymogi w zakresie przejrzystości względem osób fizycznych.

Samo rozwiązanie powinno umożliwić prześledzenie działania algorytmu od początku do końca (danego działania)

Ważnym elementem jest także wymóg posiadania odpowiednich rozwiązań w zakresie możliwości ingerencji ludzkiej w działanie algorytmu (systemu AI). Mówiąc ogólnie – to człowiek powinien mieć kontrolę nad algorytmem, a zadaniem człowieka ma być minimalizowanie ryzyka dla zdrowia, bezpieczeństwa czy praw podstawowych, które mogą się zmaterializować w związku z wykorzystaniem systemu. Projekt wskazuje także w jaki sposób można to osiągnąć.

Twórcy dokumentu nie zapomnieli też o bardzo istotnym obszarze, jakim jest dokładność, odporność i cyberbezpieczeństwo. Systemy AI wysokiego ryzyka powinny być więc opracowane w taki sposób, aby na każdy etapie cyklu życia zapewniały one odpowiednie wysokie standardy, które dodatkowo powinny być zadeklarowane w samej instrukcji użytkowania.

To człowiek powinien mieć kontrolę nad algorytmem, a zadaniem człowieka ma być minimalizowanie ryzyka dla zdrowia, bezpieczeństwa czy praw podstawowych

Systemy te powinny być też odporne na błędy czy „niewłaściwe” interakcje z człowiekiem. W projekcie wskazano także, że narzędzia te powinny być odporne na ryzyka w zakresie cyberbezpieczeństwa, w szczególności mogące prowadzić do tzw. „data poisoning”, czyli manipulacji danymi w celu uzyskania określonego rezultatu.

Tyle, jeżeli chodzi o same systemy wysokiego ryzyka i wymogi wynikające z projektowanego rozporządzenia. Nie jest to jednak koniec wymagań stawianych poszczególnym podmiotom wykorzystującym lub wchodzącym w interakcje z systemami AI wysokiego ryzyka.

Znajdziemy tam m.in. obowiązek posiadania przez dostawcę systemu tzw. Quality Management Systems, czyli całokształtu rozwiązań zapewniających wysoki poziom efektywności algorytmów. Dostawcy systemów AI muszą również zapewnić, aby wobec systemu przeprowadzony był tzw. conformity assessment mający w założeniu być potwierdzeniem zgodności z wymogami rozporządzenia. Towarzyszy temu wymóg stosownej certyfikacji.

Na projekt rozporządzenia należy spojrzeć z kilku perspektyw, choć zastrzeżenia wymaga to, że jest to tylko projekt, który – miejmy nadzieję – podlegał będzie jeszcze istotnym modyfikacjom. Po pierwsze wprowadza on nową kategorię systemów AI, które stają się już teraz coraz bardziej powszechne. Wprawdzie część z obowiązków nakładana jest wyłącznie na dostawców rozwiązań, ale i na użytkownikach spoczywają – w tym na bankach – określone obowiązki realizowane w ramach systemów zarządzania wewnętrznego.

Ponadto, pojawiają się konkretne obowiązki w zakresie informowania klientów o fakcie wykorzystywania systemów wysokiego ryzyka (czy w ogóle AI), co wiązać się będzie z koniecznością rewizji dokumentacji wewnętrznej i zewnętrznej, jak również posiadanych procesów.

Już dzisiaj Komisja (UE) rekomenduje przeprowadzanie regularnych audytów rozwiązań opartych o sztuczną inteligencję w celu oceny wspomnianej już „trustworthy”, a założyć można, że wraz z ewentualnym wydaniem wytycznych sektorowych (finansowych) dla AI pojawią się analogiczne obowiązki.

Pojawiają się konkretne obowiązki w zakresie informowania klientów o fakcie wykorzystywania systemów wysokiego ryzyka (czy w ogóle AI),

Projekt według różnych szacunków ma szansę zostać przyjęty pewnie nie wcześniej niż za 1‒1,5 roku, ale wykorzystując już dzisiaj systemy AI warto rozważyć rewizję rozwiązań wewnętrznych w tym zakresie. Tym bardziej, że kompetencje niezbędne do zbudowania takich rozwiązań są ograniczone.