Dlaczego tak trudno „wytłumaczyć” działanie systemów sztucznej inteligencji? I czy zawsze warto

Ryzyka te mogą mieć zróżnicowany charakter – czasem kupimy coś „bez sensu”, a czasem nie dostaniemy kredytu. W skrajnych, ale nie niemożliwych przypadkach, model sztucznej inteligencji (a może jego twórca) jest w stanie wyrządzić nam krzywdę.

Projekt rozporządzenia unijnego w sprawie sztucznej inteligencji ma być odpowiedzią na wiele z tych ryzyk, ale nie rozwiązuje wszystkich problemów, które wiążą się ze stosowaniem takich systemów, także dla ich twórców, operatorów czy użytkowników.

Wszystko jest dobrze, dopóki jest dobrze

Jednym z takich obszarów, który dość słabo opisany jest nie tylko we wspomnianym projekcie, ale także w różnych opracowaniach regulatorów czy organizacji międzynarodowych, jest tematyka wyjaśnialności (explainability) modeli sztucznej inteligencji.

Wyjaśnialność, czasem błędnie utożsamiana z przejrzystością, jest tematem ważnym, ale i trudnym do rozstrzygnięcia na poziomie prawa i regulacji. Jest wynikiem – jak na razie – otwartej debaty na temat tego czy modele sztucznej inteligencji powinny mieć charakter otwarty. Spokojnie, nie chodzi mi tutaj o powszechne publikowanie kodu źródłowego czy zastosowanej „mechaniki” (choć i tutaj znajdziemy całkiem ciekawe przykłady – jak OpenAI). Chodzi raczej o sytuacje, w której jesteśmy w stanie (lub nie) odtworzyć proces „myślowy” wykorzystywanego modelu SI.

Dlaczego jest to takie ważne? Cóż, wszystko jest dobrze, dopóki jest dobrze. Problemy zaczynają się, gdy model sztucznej inteligencji zadziała nie tak, jakbyśmy chcieli, albo pojawi się jakaś szkoda, którą należy naprawić.

Pierwszy przypadek może mieć miejsce np. w przypadku niekorzystnej decyzji kredytowej, a drugi, gdy np. wskutek (nie)działania modelu straciliśmy znaczne środki finansowe. W każdym z tych przypadków powinniśmy (czy na pewno?) mieć prawo do poznania przyczyny takiego, a nie innego działania ze strony SI (a może człowieka, który za tym stoi).

W obu przypadkach podstawy takiego żądania mogą wynikać z zupełnie różnych źródeł (np. ustawowego obowiązku wyjaśnienia lub decyzji sądu), ale kluczowy w tym kontekście pozostaje zakres danych, jak i rzeczywista możliwość (koszt) uzyskania wyjaśnienia.

Odejdźmy na chwilę od cyfrowego świata i wróćmy do ludzkiej rzeczywistości. Czy jeżeli ktoś wyrządził nam krzywdę (przestępstwo, delikt) to możemy żądać wyjaśnienia jego motywów? Oczywiście możemy, bo przykładowo w kontekście odpowiedzialności karnej może mieć to znaczenie dla samej odpowiedzialności oskarżonego. Problem polega tylko na tym, że „możemy” nie oznacza, że to dostaniemy.

Problemy zaczynają się, gdy model sztucznej inteligencji zadziała nie tak, jakbyśmy chcieli, albo pojawi się jakaś szkoda, którą należy naprawić

Prześledzenie procesu myślowego i decyzyjnego człowieka napotyka dwie zasadnicze przeszkody:

1.    Dobrowolność wyjaśnialności naszych decyzji oraz

2.    Skrzywienie obrazu, który widzi osoba „działająca”.

Czasem dochodzi też kłamstwo, ale to odrębny temat.

Innymi słowy, wyjaśnienie motywu, jak i podstaw działania człowieka jest uwarunkowane szeregiem czynników, w tym zewnętrznych, które nie zawsze złożą się w spójną i jasną całość. Są przecież emocje, którymi dość mocno się kierujemy, a instynktu też nie zatraciliśmy.

Nie do końca może nam chodzić wyłącznie o dane, które zostały zaimplementowane do modelu. Dla nas istotne będą „pobudki” jakimi taki model się kierował, podejmując taką, a nie inną decyzję

Wróćmy więc do naszych modeli sztucznej inteligencji. Od razu widzimy różnicę. Przecież modele sztucznej inteligencji bazują na jasnych i dość „czystych” danych, które łatwo można przyporządkować do konkretnej decyzji. Jasne, że tak!

Zarządzanie danymi, w tym porządkowanie (czyszczenie) danych treningowych to jeden z kluczowych obszarów dla każdego, kto odpowiada za systemy sztucznej inteligencji. Problem polega na tym, że nie do końca może nam chodzić wyłącznie o dane, które zostały zaimplementowane do modelu. Dla nas istotne będą „pobudki” jakimi taki model się kierował, podejmując taką, a nie inną decyzję (rozumianą bardzo szeroko).

Przykładowo, jeżeli model nadaje wagi określonymi kryteriom, to zagadką dla nas będzie to, dlaczego w tym konkretnym przypadku przyznał taką, a nie inną wagę. Może okazać się, że popełnił on (model) przy tym błąd, który należy naprawić. Istotny jest więc sam proces podejmowania konkretnych decyzji, a nie zawsze sam „uproszczony” efekt końcowy.

Czytaj także: Sztuczna inteligencja ‒ możliwości są duże, ale czy można jej zaufać?

Niewyjaśnialne i wyjaśnialne modele SI

Tutaj pojawia się problem, którego technicznie nie będę dzisiaj dotykał, dotyczący tego czy w ogóle można i powinno się „rozkodowywać” model sztucznej inteligencji. Dość powszechny jest pogląd, który głosi, że im bardziej rozbudowany i samodzielny model sztucznej inteligencji, tym trudniej wyjaśnić „motywy” działania.

Zaawansowane rozwiązania, oparte o uczenie maszynowe i głębokie, nie tylko mogą być niewyjaśnialne, co niezrozumiałe dla człowieka

Stąd często słyszymy o modelach „black box” oraz „glass box”, czyli dwóch przeciwległych biegunach – niewyjaśnialnych i wyjaśnialnych modelach. Czy jednak rzeczywiście jest tak, że chodzi o to, że nie jesteśmy w stanie ich wyjaśnić?

Cóż, wszystko jest kwestią interpretacji rzeczywistości. I samego modelu. Najbardziej zaawansowane rozwiązania, oparte o uczenie maszynowe i głębokie, nie tylko mogą być niewyjaśnialne, co niezrozumiałe dla człowieka. W praktyce jesteśmy bowiem w stanie „wyciągnąć” dane dotyczące konkretnego działania (chyba, że stoją tutaj na przeszkodzie jakieś ograniczenia technologiczne, które sami wygenerowaliśmy), ale mogą być one dla nas po prostu nieczytelne.

Nieczytelne dla osoby technicznej, która odpowiada za dany model, a co dopiero dla osoby, która jest żywo zainteresowana motywami naszej SI. Inną, ale niemniej istotną kwestią, jest problematyka kosztów odtworzenia samego procesu.

Czytaj także: Chatbot zamiast pracownika banku? Prawie połowa Polaków jest otwarta na współpracę z wirtualnym asystentem

Określenie granic wyjaśnialności modelu sztucznej inteligencji

Tutaj dochodzimy do sedna problemu. Dyskusja, o której wspominałem toczy się wokół tego jakie modele powinniśmy stosować, tj. czy każdy model powinien być „przejrzysty”, tj. możliwy do odtworzenia, czy też dopuszczamy możliwość zastosowania takich rozwiązań (bardziej zaawansowanych i tym samym potencjalnie korzystnych), które tego przynajmniej nie ułatwiają?

Istotne jest więc określenie granic wyjaśnialności, jak i wskazanie odpowiedzialności za te kwestie

Cała sprawa nabiera jeszcze większych rumieńców, gdy dochodzi do tej kwestia wykorzystywania modeli przez państwo czy dotyka obszaru tajemnicy przedsiębiorstwa lub innej informacji prawnie chronionej. To jednak nie jest tutaj najważniejsze, choć dobrze, abyśmy starali się osiągnąć w tym zakresie jakieś spójne stanowisko.

Ważniejszą kwestią jest określenie czego oczekuje sam użytkownik albo czego powinien on oczekiwać. Każda informacja, jeżeli jest nieczytelna i/lub niezrozumiała nie daje żadnej wartości jej odbiorcy. Nawet jeżeli będziemy w stanie przekazać „jakieś” informacje użytkownikowi, ale będą one niezrozumiałe, to cały wysiłek włożony w wyjaśnienie pozostanie „bez sensu”.

Istotne jest więc określenie granic wyjaśnialności, jak i wskazanie odpowiedzialności za te kwestie. Szczególnie ta granica pozostaje kluczowa w całej dyskusji. Zbyt szeroko zakreślone informacje (mowa o tych bardziej zrozumiałych) mogą posłużyć po prostu do obchodzenia systemu i nieuprawnionego „naginania” do własnych potrzeb. Jest to spore ryzyko.

Na koniec warto zastanowić się nad jeszcze jedną kwestią. Co z modelami sztucznej inteligencji będącymi we władaniu sektora publicznego? Szczególnie tych modeli, które mają wpływ na obywateli.

Czy powinny być one powszechnie „wyjaśnialne”? A może jednak należy założyć, że pewne granice w tym obszarze muszą pozostać? Czy powinniśmy stosować analogiczne rozwiązania, jak dla otwartych danych? Co z tajemnicą państwową? Co z bezpieczeństwem?

Sporo tematów do rozstrzygnięcia. Nie dziś, innym razem.

Michał Nowakowski, https://pl.linkedin.com/in/michal-nowakowski-phd-35930315, Head of NewTech w NGL Advisory oraz Counsel w NGL Legal, założyciel www.finregtech.pl, wykładowca studiów podyplomowych SGH: FinTech ‒ nowe zjawiska i technologie na rynku finansowym. Adres e-mail: michal.nowakowski@ngladvisory.com
Opinie wyrażone w artykule są osobistymi opiniami Autora i nie mogą być utożsamiane z jakąkolwiek instytucją, z którą Autor jest lub był związany.