Badania

Badania, którymi się zajmuję dotyczą przede wszystkim sposobów automatycznej analizy, przetwarzania i odpowiedniego kodowania cyfrowych sygnałów akustycznych i wizyjnych, pod kątem wykorzystania ich w systemach biometrycznych, czy też systemach sterujących. Przed obroną pracy doktorskiej zajmowałem się głównie analizą sygnałów mowy, obecnie większą uwagę poświęcam systemom bazującym na cyfrowych obrazach statycznych i dynamicznych, wykorzystywanych w zadaniach autonomicznych i sterujących.

Podsumowanie dorobku naukowo - badawczego przed uzyskaniem stopnia doktora

  1. W zakresie rozpoznawania audio-wideo mowy:

    • Stworzenie metody AV_Mowa_PL, a także odpowiedniego systemu programowego AVM_PL do rozpoznawania słów izolowanych audio-wideo mowy polskiej, bazujących na fuzji audio i wideo sygnałów (czytania z ruchu warg); jako matematyczne narzędzie do rozpoznawania wykorzystane zostały ukryte modele Markowa.
    • Opracowanie pomocniczych metod ES i CZS do definiowania początku i końca słów izolowanych audio mowy, a także zbadanie efektu połączenia tych metod dla skrajnych przypadków.
    • Badanie specyfiki tworzenia wektorów obserwacji audio mowy polskiej za pomocą kodowania współczynników cepstralnych.
    • Opracowanie metody śledzenia ruchu ust na podstawie metod: detekcji twarzy w oparciu o kolor skóry; lokalizacji oczu i definiowania obszaru ust; stworzonych metod GMIP i CSM do wykrywania kącików i zewnętrznych krawędzi ust.
    • Opracowanie metody EP do ekstrakcji/kodowania wektorów obserwacji wideo mowy.
    • Zdefiniowanie i zbadanie efektywności metod Sr, ASr_I i ASr_II fuzji charakterystyk sygnałów audio-wideo mowy.
    • Dobór struktury i parametrów modeli UMM, a także optymalnego rozmiaru książki kodowej wypowiedzi polskich mówców.
    • Eksperymentalne udowodnienie większej efektywności identyfikacji użytkownika na podstawie audio-wideo mowy, od identyfikacji na podstawie tylko audio mowy.
    • Stworzenie bazy AV_BM dla wymagań testowania metody AV_Mowa_PL do rozpoznawania słów izolowanych audio-wideo mowy, zawierającej zbiór komend sterowania systemem operacyjnym, i bazy AV_BI do identyfikacji użytkownika na podstawie audio-wideo mowy.
    • Przeprowadzenie szeregu badań w celu eksperymentalnego potwierdzenia faktu, iż rozpoznawanie audio-wideo mowy jest szczególnie przydatne w warunkach mocno zakłóconego sygnału audio, dając zdecydowanie mniejszy poziom błędów niż rozpoznawanie w tych samych warunkach samej audio mowy.

Podsumowanie dorobku naukowo - badawczego po uzyskaniu stopnia doktora

  1. W zakresie rozpoznawania audio-wideo mowy:

    • Opracowanie zmodyfikowanej metody rozpoznawania audio-wideo mowy, przeznaczonej do pracy w warunkach ze znacznie zakłóconym sygnałem audio mowy i pozwalającej na skuteczniejszą pracę systemu w naturalnym, narażonym na hałas środowisku.
    • Zastosowanie metody sprzężonych ukrytych modeli Markowa do fuzji i synchronizacji sygnałów audio i wideo mowy, umożliwiającej jednoczesną analizę obserwacji audio i wideo w tych samych chwilach czasowych.
    • Przeanalizowanie dostępnych metod śledzenia twarzy w nagraniu wideo pod kątem optymalizacji przetwarzania na potrzeby systemów pracujących w czasie rzeczywistym.
    • Opracowanie metody szybkiego i efektownego kodowania kształtu ust wypowiadających poszczególne komendy.
    • Udowodnienie, że sygnał wideo mowy może być równie przydatny w systemach biometrycznych, jak w przypadku naturalnej konwersacji pomiędzy osobami wspomagającymi się zdolnością czytania z ruchu ust.

  2. W zakresie identyfikacji i weryfikacji tożsamości na podstawie obrazu tęczówki oka:

    • Wykorzystanie transformaty falkowej do kodowania obrazu têczówki oka, umożliwiające zastosowanie jako narzędzia ucząco-rozpoznającego ukrytych modeli Markowa.
    • Wykorzystanie ukrytych modeli Markowa do weryfikacji i identyfikacji tożsamości w oparciu o obraz tęczówki oka.
    • Na podstawie uzyskanych wyników udowodnienie, że w przypadku znacznego pogorszenia jakości obrazów tęczówek, lepszym rozwiązaniem jest zastosowanie do rozpoznawania ukrytych modeli Markowa.

  3. W zakresie weryfikacji i identyfikacji tożsamości na podstawie linii papilarnych palców:

    • Opracowanie metody klasyfikacji kształtu linii papilarnych palców za pomocą ukrytych modeli Markowa, pozwalającej na znaczne ograniczenie przeszukiwanych zasobów w bazie danych, co w przypadku dużej ilości danych ma niebywałe znaczenie.
    • Opracowanie metody kodowania kształtu linii papilarnych palców na potrzeby tworzenia wektorów obserwacji.

  4. W zakresie weryfikacji tożsamości na podstawie geometrii dłoni oraz głównych linii papilarnych dłoni:

    • Opracowanie metody analizy dłoni i detekcji poszukiwanych cech biometrycznych.
    • Opracowanie metody kodowania głównych linii papilarnych dłoni, pozwalającej na tworzenie wektorów obserwacji o zmiennej długości.
    • Wykorzystanie ukrytych modeli Markowa do weryfikacji tożsamości na podstawie geometrii dłoni oraz głównych linii papilarnych dłoni oraz dowód wysokich przydatności modeli i łatwości w implementacji.
    • Udowodnienie, że weryfikacja tożsamości na podstawie geometrii dłoni w połączeniu z głównymi liniami papilarnymi dłoni daje zbliżone wyniki do niezawodnej metody bazującej na cechach szczególnych linii papilarnych palców (przy porównywalnej liczbie użytkowników).

  5. W zakresie weryfikacji tożsamości na podstawie asymetrii twarzy:

    • Opracowanie metody tworzenia biometrycznego szablonu asymetrii twarzy.
    • Opracowanie metody kodowania informacji o asymetrii twarzy na potrzeby utworzenia wektora obserwacji o zmiennej długości.
    • Opracowanie pośrednich algorytmów do detekcji punktów charakterystycznych twarzy.
    • Wykorzystanie ukrytych modeli Markowa do weryfikacji tożsamości na podstawie informacji o asymetrii twarzy.
    • Udowodnienie, że informacja o asymetrii twarzy może być wykorzystywana do weryfikacji tożsamości w oparciu o zastosowane ukryte modele Markowa.
    • Zdefiniowanie i przeanalizowanie możliwości funkcjonowania systemu hybrydowego, wykorzystującego połączone informacje o asymetrii twarzy oraz o barwie głosu analizowanego użytkownika.

  6. W zakresie budowy pojazdów autonomicznych:

    • Dokonanie weryfikacji istniejących metod i zaproponowanie własnych rozwiązań dla celów wstępnej analizy i przetwarzania obrazów cyfrowych, automatycznej detekcji i kodowania poszukiwanych cech, na potrzeby konstruowania autonomicznych urządzeń.