Powstaje polska aplikacja do tłumaczenia języka migowego

Powstaje polska aplikacja do tłumaczenia języka migowego
Źródło: Newseria Biznes
Udostępnij Ikona facebook Ikona LinkedIn Ikona twitter
Głusi bardzo często doświadczają wykluczenia z uwagi na bariery komunikacyjne. Niski stopień znajomości polskiego języka migowego, zwłaszcza w urzędach, ochronie zdrowia i szkołach, sprawia, że Głusi mają problemy z dostępem do nauki, usług zdrowotnych czy z załatwianiem spraw urzędowych. Tworzona przez polski start-up aplikacja Gesture To Speech (GTS) ma pomóc rozwiązać ten problem. Rozwiązanie z pomocą kamery w telefonie i sztucznej inteligencji przetłumaczy zarówno gesty języka migowego na napisy, jak i mowę na gesty wyświetlane w formie awatara.

– Założenie Gesture To Speech jest takie, aby osoba głucha mogła swobodnie komunikować się z osobą słyszącą. Aplikacja będzie działała w ten sposób, że osoba głucha będzie mogła pokazać jakiś znak, który zostanie przełożony odpowiednio na język polski z zachowaniem gramatyki języka polskiego.

Osoba słysząca będzie mogła odczytać, co zamigała do niej osoba głucha, następnie będzie mogła odpowiedzieć, napisać lub powiedzieć i osoba głucha otrzyma ten komunikat odpowiednio przełożony na gramatykę polskiego języka migowego w formie awatara, który zamiga jej informację – wyjaśnia w rozmowie z agencją Newseria Innowacje Paweł Kacprzak, prezes zarządu Gesture To Speech.

Język migowy w szkołach

Tego typu aplikacje są bardzo potrzebne z uwagi na trudną sytuację osób głuchych, chociażby w procesie edukacji. Jak wynika z raportu przygotowanego przez Komisję Ekspertów ds. Osób Głuchych przy Rzeczniku Praw Obywatelskich, w zaledwie kilku szkołach w Polsce polski język migowy jest językiem wykładowym. Do tej pory PJM nie ma rangi przedmiotu nauczania jak inne języki, np. polski czy angielski.

Kwalifikacje personelu pedagogicznego w szkołach dla niesłyszących też często nie odpowiadają rzeczywistym potrzebom uczniów. Nauczycielami są na ogół pedagodzy specjalni po podyplomowych studiach przedmiotowych, część z nich słabo zna PJM.

Z kolei zawodu uczą albo pedagodzy specjalni po kursach i studiach podyplomowych, albo fachowcy w danej dziedzinie, ale nieznający PJM. W dwóch warszawskich szkołach dla niesłyszących Głusi stanowią zaledwie 20 proc. kadry nauczycielskiej. Zdaniem ekspertów język migowy jest jednak dość łatwy do nauczenia się.

– W większości jest to język dość obrazowy. Stworzyły go osoby, które żyją z nami w naszej kulturze, więc to nie jest tak, że osoby głuche są wyłączone kompletnie z naszego życia codziennego. Na bazie ich doświadczeń i skojarzeń powstaje język migowy, dlatego myślę, że w większości obrazowość znaków jest w stanie nam przypomnieć, jak ten znak wygląda – podkreśla pomysłodawca GTS.

Czytaj także: Nagrody Kongresu Gospodarki Elektronicznej wręczone

Jak zlikwidować bariery komunikacyjne?

Jego zdaniem świadomość Polaków na temat barier komunikacyjnych i PJM rośnie, ale wciąż jest niewystarczająca.

– Przed nami jeszcze dość długa droga, żeby zakorzenić w naszych głowach prosty fakt, że aparat słuchowy jest niczym więcej jak narzędziem korekcyjnym, podobnym jak okulary dla osób, które mają problemy ze wzrokiem – mówi Paweł Kacprzak.

– Polacy wiedzą o polskim języku migowym, że jest to język osób głuchych, wyrażany poprzez znaki pokazywane rękoma, zawierający pewnego rodzaju gesty i bardzo ekspresyjny. Niestety powielamy bardzo wiele stereotypów, chociażby w nazewnictwie do dzisiaj pojawia się słowo „głuchoniemy”, natomiast osoby głuche nie są nieme, ponieważ mają swój język i potrafią się nim komunikować – dodaje ekspert.

Jak podkreśla, ten obszar mimo rozwoju innowacji wciąż nie jest wystarczająco zagospodarowany technologicznie.

Czytaj także: ZBP: słownik pojęć finansowych w Polskim Języku Migowym już dostępny

Tłumacz języka migowego w aplikacji

Dużo ułatwiło powszechne wprowadzenie kamerek do telefonów, które umożliwiły rozmowy zdalne między osobami głuchymi, ale nie rozwiązało to problemów tłumaczenia z polskiego języka migowego na polski.

– Dlatego zdecydowaliśmy się podjąć wyzwanie stworzenia inteligentnego tłumacza, który ułatwi osobom głuchym komunikację z osobami słyszącymi i odwrotnie. Nie wyobrażam sobie, żeby to działało tylko jednostronnie, wtedy stworzylibyśmy kolejny translator – wyjaśnia prezes GTS.

Kolejna demonstracyjna wersja aplikacji jest planowana na styczeń 2023 roku, a debiut produktu ma nastąpić w listopadzie. Działanie aplikacji bazuje na sztucznej inteligencji, a uczenie sieci neuronowej jest oparte na autorskim data secie. Projekt zyskał już finansowanie z Polskiej Agencji Rozwoju Przedsiębiorczości.

– Nasza aplikacja może znaleźć zastosowanie w wielu miejscach użyteczności publicznej, chociażby w urzędach, bankach, kinach, czyli wszędzie, gdzie osoby głuche wcześniej musiały umawiać się po to, żeby na miejscu pojawił się tłumacz i pomógł im w rozwiązaniu ich problemu.

Docelowo będzie to aplikacja, dzięki której będziemy mogli się po prostu swobodnie ze sobą komunikować bez udziału osób trzecich w postaci tłumacza. Wystarczą w zasadzie dwie osoby, ich telefony komórkowe, a resztę załatwiamy my i sztuczna inteligencja – zapewnia Paweł Kacprzak.

Logo Newseria Innowacje
Źródło: Newseria Innowacje