Clasificación automática de las vocales en el lenguaje de señas colombiano

Botina-Monsalve, Deivid J.; Domínguez-Vásquez, María A.; Madrigal-González, Carlos A.; Castro-Ospina, Andrés E.

View/Open

730-Manuscrito-1030-1-10-20180416.pdf (886.5Kb)

Clasificación automática de las vocales en el lenguaje de señas colombiano

Date

2018-01-15

PDF Documents

Abstract

El reconocimiento del lenguaje de señas es un problema de alta complejidad, debido a la cantidad de gestos estáticos y dinámicos necesarios para representar dicho lenguaje, teniendo en cuenta que el mismo variará para cada país en particular. Este artículo se enfoca en el reconocimiento de las vocales del lenguaje colombiano de señas, de forma estática. Se adquirieron 151 imágenes por cada clase, teniendo en cuenta también una clase no vocal adicional con diferentes escenas. A partir de cada imagen capturada se separa el objeto de interés del resto de la escena usando información de color; luego, se extraen características para describir el gesto correspondiente a cada vocal o a la clase que no corresponde a ninguna vocal. Posteriormente, se seleccionan cuatro conjuntos de características. El primero con la totalidad de ellas; a partir de este salen tres nuevos conjuntos: el segundo extrayendo un subconjunto de características mediante el algoritmo de Análisis de Componentes Principales (PCA). El tercer conjunto, aplicando Selección Secuencial hacia Adelante (SFS), mediante la medida de FISHER y el último conjunto con SFS basado en el desempeño del clasificador de los vecinos más cercanos (KNN). Finalmente se prueban múltiples clasificadores para cada conjunto por medio de validación cruzada, obteniendo un desempeño superior al 90% para la mayoría de los clasificadores, concluyendo que la metodología propuesta permite una adecuada separación de las clases.

Abstract

Sign language recognition is a highly-complex problem due to the amount of static and dynamic gestures needed to represent such language, especially when it changes from country to country. This article focuses on static recognition of vowels in Colombian Sign Language. A total of 151 images were acquired for each class, and an additional non-vowel class with different scenes was also considered. The object of interest was cut out of the rest of the scene in the captured image by using color information. Subsequently, features were extracted to describe the gesture that corresponds to a vowel or to the class that does not match any vowel. Next, four sets of features were selected. The first one contained all of them; from it, three new sets were generated. The second one was extracted from a subset of features given by the Principal Component Analysis (PCA) algorithm. The third set was obtained by Sequential Feature Selection (SFS) with the FISHER measure. The last set was completed with SFS based on the performance of the K-Nearest Neighbor (KNN) algorithm. Finally, multiple classifiers were tested on each set by cross-validation. Most of the classifiers achieved a performance over 90%, which led to conclude that the proposed method allows an appropriate class distinction.