Systemy zarządzania ryzykiem w kontekście wykorzystania uczenia maszynowego ‒ ryzykowna akcja z użyciem AI?

Zarządzanie ryzykami ma szczególne znaczenie w sektorach regulowanych oraz obarczonych zarządzaniem danymi osobowymi, gdzie jest to po prostu wymóg prawny i/lub regulacyjny. W praktyce jednak prawidłowe zarządzanie ryzykami może mieć znaczenie dla każdego podmiotu, który wchodzi w relacje ze światem zewnętrznym.

Skutki digitalizacji relacji

Cyfryzacja relacji, także prawnych, powoduje, że stajemy przed coraz to nowymi wyzwaniami, które do tej pory ignorowaliśmy lub co najmniej bagatelizowaliśmy jako mało prawdopodobne. Coraz częściej decydujemy się jednak na wykorzystanie mniej lub bardziej zaawansowanych rozwiązań, które wykorzystują techniki zautomatyzowanego uczenia, np. uczenie maszynowe czy głębokie, które szumnie nazywamy „sztuczną inteligencją”. W rzeczywistości ta sztuczna inteligencja jest jednak niczym innym, jak pewną techniką (czy technologią), za którą stoi człowiek, którego powinnością jest zarządzanie i nadzorowanie, aby wszystko działało sprawnie i bez szkody dla podmiotów zewnętrznych.

Systemy sztucznej inteligencji, jako że często oddajemy im sporą część autonomii, a także ponieważ są w znacznej mierze odzwierciedleniem naszych błędów, mogą być źródłem wielu ryzyk, które nie są znane klasycznemu IT.

A przynajmniej może się tak wydawać na pierwszy rzut oka. W standardzie ISO/IEC 38507:2022 znajdziemy przykładowy katalog ryzyk związanych ze stosowaniem systemów sztucznej inteligencji, do których możemy zaliczyć m.in.:

1.    Brak wyjaśnialności modeli uczenia maszynowego.

2.    Brak ekspertyzy w obszarze „AI”.

3.    Problemy związane z dostępem do danych (dobrej jakości, w odpowiedniej ilości).

4.    Wyzwania związane z „wielowątkowym” dostępem do różnych usług powiązanych z systemami.

5.    Niejasne specyfikacje techniczne czy instrukcje.

6.    Stronniczość i skrzywienie algorytmiczne mogące przerodzić się w dyskryminacje na wielu polach.

7.    Zagrożenia z obszaru cyberbezpieczeństwa, jak np. data poisoning.

Nie jest to oczywiście lista zamknięta i moglibyśmy ją uzupełnić także o zagadnienia z szeroko rozumianego obszaru etyki sztucznej inteligencji czy zarządzania danymi, ale nie taka jest intencja dzisiejszego felietonu.

Czytaj także: Kongres FTB: technologia powinna być wyborem człowieka, a nie jego obowiązkiem

Trzeba zidentyfikować ryzyko

Prawdą jest, że decyzja o zastosowaniu systemów sztucznej inteligencji, które w jakikolwiek sposób wpływają na człowieka i jego otoczenia, powinna być poprzedzona odpowiednią identyfikacją ryzyk, a także regularnym monitoringiem związanym z ich ewentualną materializacją.

Zmaterializowanie się tych ryzyk może mieć doniosłe konsekwencje zarówno dla operatora czy dostawcy tego typu rozwiązań, jak również odbiorców produktu końcowego, którym może być np. rekomendacja, predykcja czy decyzja, niekiedy o charakterze kluczowym lub istotnym (np. dotyczącym leczenia).

Brak odpowiednich ram dla zarządzania tymi ryzykami może więc być źródłem wielu problemów, a niestety często ignorujemy te ryzyka, które wydają nam się mało prawdopodobne (o pokrewnym temacie pisałem w tym artykule). Zarządzanie w tym obszarze to także w pewnym sensie odpowiedzialność społeczna, bowiem tam gdzie człowiek, tam i odpowiedzialność.

Nie miejmy przy tym jednak złudzeń, że będziemy w stanie zawsze uchronić się przed materializacją ryzyk. Te są immanentną częścią niepewnego świata i nawet najlepiej zaprojektowany, wdrożony i prowadzony system zarządzania ryzykiem może być nieskuteczny wobec „czegoś” lub „kogoś” – tym bardziej, że to człowiek jest często źródłem takich problemów – świadomie lub nieświadomie.

Takie rozwiązania, które możemy określić jako organizacyjne, techniczne i „człowiecze” mają jedynie zminimalizować prawdopodobieństwo ich wystąpienia, a jeżeli już się pojawią, to umożliwić ich szybkie wyeliminowanie i przywrócenie do stanu pierwotnego. A także wyciągnięcie odpowiednich wniosków i wdrożenie działań naprawczych.

Zasady systemu zarządzania ryzykiem dla AI

System zarządzania ryzykiem dla obszaru AI zawszę będzie miał zindywidualizowany charakter. Tak jak organizacje mają różne modele działalności, tak systemy te mogą być budowane na różne sposoby i tworzyć tym samym zróżnicowane możliwości, ale także generować inne ryzyka. Podejście oparte o zasadę risk-based approach oraz proporcjonalność jest nie tylko zalecane, ale wręcz konieczne. Nie ma sensu „przepalać” zasobów tam, gdzie nie jest to potrzebne.

Niewątpliwie jednak taki system zarządzania ryzykiem dla AI musi opierać się na pewnych zasadach, które nie do końca muszą być intuicyjne dla klasycznego IT. Stosowanie algorytmów i modeli uczenia maszynowego czy głębokiego jest często obudowane koniecznością wykorzystywania zróżnicowanych danych (w tym osobowych), zapewnienia różnorodności i niedyskryminacji czy nieustannego monitorowania zmian w systemie, także z perspektywy prawno-regulacyjnej, ale i klientowskiej. Szczególnie jeżeli tworzymy rozwiązania, które mają służyć człowiekowi.

Systemy sztucznej inteligencji mogą być źródłem ryzyk, które nie są intuicyjne z perspektywy systemów IT, co wymaga odejścia od silosowego zarządzania

Sam system można zdefiniować, zgodnie z art. 9 ust. 2 projektu rozporządzenia w sprawie sztucznej inteligencji, jako ciągły, iteracyjny proces realizowany przez cały cykl życia systemu sztucznej inteligencji (wysokiego ryzyka – choć ma to zastosowanie do każdego systemu), wymagający regularnej, systematycznej aktualizacji.

Obejmować on powinien co najmniej kilka etapów, do których możemy zaliczyć:

1.    Identyfikację i analizę ryzyk związanych ze stosowaniem AI.

2.    Oszacowania i oceny tych ryzyk.

3.    Oceny ryzyk, które mogą pojawić się w trakcie wykorzystywania systemu.

4.    Przyjęcia odpowiednich rozwiązań czy instrumentów, które pozwolą na zarządzanie ryzykami, w szczególności w przypadku ich materializacji.

5.    (dodatkowo) Opracowanie mechanizmów obronnych, które zapewnią przywrócenie działania systemu po materializacji ryzyka, a także wprowadzenia działań korygujących.

Zadanie polegające na stworzeniu takiego systemu wymaga zaangażowania nie tylko osób wchodzących w skład komórki zarządzania ryzykiem lub wyznaczonej osoby, ale tych wszystkich osób, które znają i rozumieją te systemy, a także z nich korzystają. Systemy sztucznej inteligencji mogą być źródłem ryzyk, które nie są intuicyjne z perspektywy systemów IT, co wymaga odejścia od silosowego zarządzania. Zaangażowanie osób spoza IT wydaje się więc tutaj kluczowe. Interdyscyplinarne zespoły muszą więc powstawać.

Dzisiaj w tym miejscu zakończę, ale do tematu oczywiście wrócimy, bo jest niezwykle istotny, zarówno z perspektywy sektora prywatnego, jak i publicznego. Niezależnie od tego, czy myślimy o wymogach jakie – być może – nałoży projektowane rozporządzenie w sprawie sztucznej inteligencji.