Vision-based eye-blink detection system for mental fatigue monitoring and human-computer interfacing

Abstract

The paper presents an algorithm for detection of the eye-blinks in image sequences. The employed image processing methods include well-known solutions, such as Haar-like face detection and template matching based eye tracking, as well as newly developed algorithms for skin colour segmentation and modified active contour model with ellipse fitting for eye-blink detection. The developed algorithm was used for human fatigue monitoring and as a core of the eye-blink controlled human-computer interface.W pracy przedstawiono wizyjny system detekcji i analizy mrugnięć powiekami. Zastosowano rozwiązania, takie jak: wykrywanie twarzy za pomocą kaskady klasyfikatorów wykorzystujących cechy obliczane na podstawie masek Haara, dopasowanie wzorca oraz metodą aktywnego konturu. Zaproponowano nowy algorytm segmentacji koloru skóry. Opracowany zestaw algorytmów pozwala na bieżąco wykrywać i analizować mrugnięcia dla ~27 klatek na sekundę dla sekwencji obrazów o rozdzielczoci 320x240 pikseli. Implementacja opracowanego algorytmu została wykorzystana w programie komputerowym do oceny poziomu zmęczenia osoby. Przeprowadzone badania wykazały, że opracowany system wizyjny umożliwia skuteczną detekcję mrugnięć w sekwencjach obrazów twarzy oraz pozwala na analizę zmian parametrów mrugania w czasie, wystarczającą do oceny poziomu zmęczenia osoby. Zaproponowany algorytm detekcji mrugnięć został wykorzystany do budowy interfejsu człowiek-komputer sterowanego mruganiem. Zbudowany interfejs poddano testom z udziałem osób zdrowych, jak i niepełnosprawnych. Wyniki testów pokazały, że opracowany algorytm może służyć do kontroli kursora myszy oraz emulacji przycisków myszy i klawiatury poprzez zamierzone mruganie, a dzięki temu pozwala na skuteczną komunikację z komputerem.