Proces AI & Data Governance z perspektywy instytucji ‒ czy uczenie maszynowe potrzebuje własnego ładu?

Postępująca algorytmizacja życia może mieć bardzo pozytywne, ale i równie negatywne skutki, w wielu obszarach, na co wskazuje chociażby Unia Europejska planując wprowadzenie konkretnych zakazów (manipulacji, wykorzystania słabości,…) związanych z wykorzystaniem niektórych algorytmów i modeli sztucznej inteligencji.

Istnieje całkiem wysokie prawdopodobieństwo, że będziemy świadkami „złych” praktyk i rezultatów działania niewłaściwie zarządzanych algorytmów i modeli sztucznej inteligencji

Inne – mogące również wpływać na człowieka, prawdopodobnie będą poddane szczególnym wymogom prawnym i regulacyjnym. Równie istotna, choć nieco rzadziej dyskutowana jest też etyka nowych technologii, która zdaniem niektórych będzie kluczowa w kontekście rozwoju chociażby sztucznej inteligencji.

Regulacje systemowe dla AI?

Dzisiaj nie mamy specyficznych wymagań w zakresie AI, choć nie można zapominać o tym, że sztuczna inteligencja to dane, a jak dane to ochrona prywatności i danych osobowych oraz ryzyka operacyjne, które są immanentną częścią każdego rozwiązania technologicznego.

Z tej perspektywy może stwierdzić, że AI podlega jakiejś formie regulacji, choć trudno nazwać ją regulacją specyficzną dla tego obszaru. Jeżeli nie mamy rozwiązań systemowych, w tym prawnych i regulacyjnych, a AI poddane jest raczej samoregulacji (self-governance), to istnieje całkiem wysokie prawdopodobieństwo, że będziemy świadkami „złych” praktyk i rezultatów działania niewłaściwie zarządzanych algorytmów i modeli sztucznej inteligencji. GIGO w pełnej krasie. Garbage In, Garbage Out.

Z tego względu czekanie na narzucenie przez prawodawców konkretnych wymagań, które będą rzeczywiście kosztowne, może okazać się zgubne. Zasadniczo dla wszystkich zainteresowanych. Dlaczego?

Każde rozwiązanie może (i prawdopodobnie jest) być zawodne

Po pierwsze ‒ brak odpowiednich zasad dotyczących zarządzania AI i danymi może spowodować, że nasze rozwiązania – nawet pomimo osiągania dobrych wyników wcale nie będą na dłuższą metę efektywne i/lub obarczone będą np. nie zawsze widocznymi ryzykami biasu i dyskryminacji, które nie są tylko wyświechtanym sloganem.

Po drugie – wraz z rozwojem naszych rozwiązań opartych o sztuczną inteligencję, wprowadzenie nowych rozwiązań organizacyjno-technicznych i ułożenie algorytmów może okazać się drogą przez mękę, jeżeli nie niemożliwe. Spowodować to może, że zwyczajnie utracimy kontrolę nad tym, co w środku, a warto pamiętać, że nie jest jeszcze przesądzony los „explainable AI” (XAI), ale widać wyraźnie, że wiele organów regulacyjnych i nadzorczych będzie dążyła do tego, aby wyjaśnienie działania modelu było możliwe, nawet kosztem skuteczności.

Po trzecie – każde rozwiązanie może (i prawdopodobnie jest) być zawodne. Jeżeli nie będziemy mieli odpowiednich rozwiązań w zakresie raportowania, komunikacji, odpowiedzialności i działań naprawczych, to może okazać się, że usunięcie skutków awarii czy działania osoby trzeciej może być trudne, a w takich sytuacjach czas odgrywa dużą rolę.

Czytaj także: Jak wiele tracimy zyskując na rozwoju chmury obliczeniowej i sztucznej inteligencji?

Odpowiedzialność zarządów i zarządzających

Poza tym jest kwestia pewnej wysoko postawionej poprzeczki dla organów zarządczych. W końcu to zarządy podejmują strategiczne decyzje i biorę za te decyzje odpowiedzialność. To, w jaki sposób funkcjonować będą kluczowe procesy, w tym technologiczne, zależy od nich, a każda wpadka może skutkować utratą reputacji, sankcjami administracyjnymi czy odpowiedzialnością karną.

Zwracam uwagę na nieoczywistą stronę wdrażania rozwiązań opartych o AI bez odpowiedniego przygotowania, również wewnątrz organizacji

Pozostaje też kwestia ludzkiej uczciwości i odpowiedzialności za drugiego człowieka. Tego nie da się zmierzyć KPI. W skrajnych przypadkach, choć wcale nie tak mało prawdopodobnych, może nawet pojawić się kwestia odpowiedzialności karnej, a to już duża rzecz.

Czy straszę? Trochę tak, trochę zwracam uwagę na nieoczywistą stronę wdrażania rozwiązań opartych o AI bez odpowiedniego przygotowania, również wewnątrz organizacji. Jasne, wiele zależy od tego „co i dla kogo” robimy, bo inny będzie poziom odpowiedzialności za działanie algorytmów i modeli dla potrzeb wewnętrznych (choć i to nie wyklucza ryzyk, np. z obszaru overreliance), a inne w sytuacji, gdy tworzymy rozwiązania dla społeczeństwa, i które są powszechnie dostępne. Jeszcze inaczej będzie się to kształtowało w przypadku wykorzystania SI przez sektor publiczny. Zasada proporcjonalności przede wszystkim.

ML i AI tylko pod nadzorem

Co to oznacza w praktyce? Czy korzystaniu z uczeniu maszynowego czy głębokiego powinna towarzyszyć jaka specyficzna forma nadzoru i kontroli albo chociaż „opieki”?

Nawet jeżeli nie mamy (…) danych osobowych, to odpowiedzialność za algorytmy i modele nadal pozostaje

Wszędzie tam, gdzie są dane osobowe – bezwzględnie, bo takie wymogi znajdziemy między innymi w Rozporządzeniu 2016/679 (RODO), np. w kontekście tzw. DPIA, czyli procesu oceny skutków dla ochrony danych, które w przypadku AI może być bardzo specyficzne. To i tak będzie niewystarczające, ale o tym za chwilę.

Nawet jeżeli nie mamy – lub wydaje nam się, że nie mamy, bo działamy na danych „nieosobowych” poddanych pseudonimizacji – danych osobowych, to odpowiedzialność za algorytmy i modele nadal pozostaje. Na różnych poziomach, zarówno wewnętrznych, jak i zewnętrznych. Nic nie działa w próżni.

Czytaj także: Dlaczego tak trudno „wytłumaczyć” działanie systemów sztucznej inteligencji? I czy zawsze warto

Człowiek na każdym etapie

Odpowiednie AI & Data Governance to skomplikowany temat, bo choć możemy wymienić pewne ogólne założenia, jak np. konieczność posiadania systemu zarządzania ryzykiem, ustalenia zasad odpowiedzialności wewnętrznej, procesu raportowania o incydentach i zasad dokumentowania, to jednak zawsze jest to obszar mocno zindywidualizowany, szczególnie jeżeli zależy nam przy okazji na optymalizacji kosztowej i poszanowaniu zasady „risk-based approach”, która zakłada, że instrumenty dostosowujemy do zidentyfikowanych ryzyk.

Człowiek, który nie będzie posiadał odpowiedniej wiedzy, doświadczenia, kompetencji, ale i przede wszystkim instrumentów (…) nie będzie w stanie w należyty sposób zapewnić poprawnego funkcjonowania modeli SI

Możemy oczywiście wdrożyć rozwiązania na bogato, ze wszystkim fajerwerkami, politykami i procedurami o najwyższym możliwym poziomie bezpieczeństwa, ale po pierwsze – to ogromny koszt wdrożenia i utrzymania, a po drugie – bezpieczeństwo gwarantuje nie samo napisanie polityk i procedur, ale ich efektywne stosowanie.

To także, a może przede wszystkim, ludzie, którzy odpowiadają za każdy etap (cykl) życia produktu – nie oszukujmy się, to przecież nic innego jak bardziej zaawansowany produkt, a nie HAL-9000 z Odysei Kosmicznej.

Człowiek, który nie będzie posiadał odpowiedniej wiedzy, doświadczenia, kompetencji, ale i przede wszystkim instrumentów (w tym sfery decyzyjnej i pewnej elastyczności), nie będzie w stanie w należyty sposób zapewnić poprawnego funkcjonowania modeli SI, a także monitorować i reagować na ewentualne zagrożenia lub już zmaterializowane ryzyka.

W takiej sytuacji testowanie na produkcji może okazać się kosztownym i brzemiennym w skutkach eksperymentem. Dlatego nie można ignorować potrzeb ludzi, a także uświadomić sobie, że w wielu przypadkach – co nie znaczy, że w każdym – podejście oparte o zasadę „human-in-the-loop” (człowiek na każdym etapie), choć może wydawać się kosztowne, może niejednokrotnie uratować znacznie więcej.

Monitorowanie działania modelu, raportowanie o incydentach

Jest też bardzo istotny aspekt techniczny, któremu przyjrzę się jeszcze nieraz – z pewnymi ograniczeniami wynikającymi z mojej niewiedzy – dotyczący stosowania rozwiązań pozwalających przykładowo na bieżące monitorowanie działania modelu, w tym odkładania logów czy wykrywania i raportowania incydentów.

Odrębnymi są kwestie dotyczące wspomnianego już explainable AI, czyli wyjaśnialności algorytmów i modeli oraz etyki algorytmów. To zagadnienie mogące budzić kontrowersje, ale w świetle wymagań np. w zakresie sztucznej inteligencji godnej zaufania – trustworthy AI – najbardziej realne i potrzebne. Brak odpowiednich zabezpieczeń, np. przed zagrożeniami typu data poisoning (zatruwanie danych), to też spore ryzyko dla wszystkich interesariuszy.

W tym miejscu dzisiaj skończę, choć jedynie zasygnalizowałem. Tworzenie AI & Data Governance jest procesem – zazwyczaj dość powolnym – więc właściwa analiza potencjalnych luk może być pierwszym krokiem do uświadomienia sobie, jak wiele pracy może przed nami czekać, i że warto rozłożyć to na raty. Tym bardziej, że wspomniane już przeze mnie akty prawne i regulacje są raczej przesądzone, a organizacje międzynarodowe – które mają wpływ na politykę i prawodawstwo wielu państw – tworzą kolejne wytyczne i rekomendacje, które utwierdzają tylko w przekonaniu, że warto lub trzeba.

Brak odpowiednich zabezpieczeń, np. przed zagrożeniami typu data poisoning (zatruwanie danych), to też spore ryzyko dla wszystkich interesariuszy

Ja sam uważam, że trzeba, bo to odpowiedzialność nie tylko za organizację, ale także za innych ludzi. Odpowiedzialność za wspólne dobro, choć akurat ten element wspomnianej AI godnej zaufania może niekiedy budzić wątpliwości. O tym jednak przy innej okazji.

Michał Nowakowski, https://pl.linkedin.com/in/michal-nowakowski-phd-35930315, Head of NewTech w NGL Advisory oraz Counsel w NGL Legal, założyciel www.finregtech.pl, wykładowca studiów podyplomowych SGH: FinTech ‒ nowe zjawiska i technologie na rynku finansowym. Adres e-mail: michal.nowakowski@ngladvisory.com
Opinie wyrażone w artykule są osobistymi opiniami Autora i nie mogą być utożsamiane z jakąkolwiek instytucją, z którą Autor jest lub był związany.