La interacción mediante comandos gestuales, particularmente de la mano o brazo, es uno de los objetivos de la interacción natural y se espera que permita y facilite procesos interactivos intuitivos al usuario ^[1]-[3]. Sin embargo, el reconocimiento de gestos presenta todavía grandes limitaciones que dificultan su implantación como una alternativa real de interacción para un usuario final.

Una de estas limitaciones se origina en el proceso de captura o adquisición de información, en el que existen principalmente dos opciones: 1) sensores ópticos y 2) sensores de señales biométricas.

El uso de sensores ópticos (cámaras) es la opción más usada y estudiada para el reconocimiento de gestos ^[3]-[9]; esta ha incentivado la fabricación de dispositivos comerciales ampliamente conocidos, como el Microsoft Kinect y el Leap Motion, y equipos especializados en los laboratorios de marcha y captura de movimiento para producción audiovisual. Los métodos de captura son muy variados e incluyen imágenes RGB, infrarrojas (ir), de profundidad (depth), cámaras estéreo y arreglos de cámaras, entre otros ^[3]-[9].

Las principales limitaciones del uso de sensores ópticos son la necesidad de tener una vista directa entre el usuario y los sensores y el requerimiento de un espacio adecuado de trabajo, donde los sensores puedan ser correctamente instalados.

En cuanto a la segunda opción, el uso de sensores biométricos, resaltan los sensores inerciales (acelerómetros y giroscopios) ^[10]-[12] y las señales de electromiografía (emg) ^[13]-[20].

Estas últimas han cobrado importancia recientemente debido a que las señales de emg del brazo/antebrazo contienen información relevante sobre la actividad eléctrica producida por el proceso neuromuscular, por lo tanto, es posible analizar esas señales para un reconocimiento efectivo de los movimientos de contracción o relajación de dedos, mano, brazo y antebrazo ^[13]-[20]. Lo anterior ha dado lugar al diseño de diferentes sistemas comerciales de reconocimiento de gestos usando señales emg, para fines de interacción ^[13]-[20]. La principal limitación del uso de sensores biométricos es su carácter “invasivo”, que implica vestir o usar un dispositivo.

Otra importante limitación del reconocimiento de gestos en interacción humano-computador es la efectividad de los métodos de análisis y reconocimiento ^[3]-[8]. Si bien es cierto que los dispositivos comerciales facilitan un proceso de reconocimiento de conjunto de gestos prediseñados, este es limitado debido a que, muchas veces, el conjunto de gestos no es suficiente, o a que las características particulares de los usuarios (anatómicas o funcionales) dificultan o impiden su uso.

Adicionalmente, un conjunto de gestos fijo impide cualquier personalización de la interacción; si se considera que la flexibilidad, la libertad y el control que tenga el usuario de la interfaz son aspectos importantes de la usabilidad _{[1], [2], [21]}, su ausencia es otra importante limitación.

Lo anterior motiva, en muchos casos, a adelantar un proceso de diseño del conjunto de gestos para la interacción y el sistema de reconocimiento. Esta causa es la principal razón de este trabajo: el diseño de un sistema de interacción para una persona con problemas de movilidad motora.

La revisión del estado del arte presenta una amplia gama de métodos y técnicas que pueden ser utilizados ^[3]-[8], pero pocos trabajos han comparado de forma experimental diferentes modelos computacionales. Generalmente, las propuestas reportan la efectividad del método y una comparación contra métodos del mismo modelo computacional.

Este trabajo ofrece un aporte en esa dirección y presenta una comparación de tres modelos de reconocimientos de gestos presentes en el estado del arte, aplicados a un usuario con movilidad reducida. Dichos modelos han reportado un buen comportamiento por sus autores: 1) reconocimiento tradicional de patrones usando máquinas de soporte vectorial ^{[19], [22]}; 2) modelos ocultos de Marcov ^{[23], [24]} y 3) bolsas de características ^{[25], [26]}.

Se aclara que, en el estado del arte se han identificado trabajos que usan aprendizaje profundo; sin embargo, ese modelo no fue considerado en este trabajo, debido a que requiere una gran cantidad de muestras de entrenamiento. La principal motivación de este trabajo —una persona con problemas de movilidad motora— impide obtener la cantidad de muestras para usar aprendizaje profundo. Los tres modelos elegidos se aplicaron a un conjunto de gestos diseñados para el usuario. Se usó un dispositivo comercial de emg, debido a que su diseño inalámbrico brindaba un adecuado confort al usuario y no requería un espacio preconfigurado con sensores.

Las siguientes secciones se presentan de la siguiente forma: en la sección 2 se ofrece una revisión de trabajos previos y se enfatiza en aquellos que han propuesto el uso de dispositivos comerciales para el reconocimiento de gestos por emg.

En la sección 3 se describen los métodos usados, desde el diseño del conjunto de gestos, la captura de los datos y la comparación computacional de los métodos de reconocimiento. En la siguiente sección se expone un análisis de los resultados, en el que se presentan, principalmente, métricas de sensibilidad y especificidad de los métodos. Finalmente, en la última sección se plantean las conclusiones finales y algunas reflexiones sobre trabajos futuros.

El reconocimiento de patrones en señales biométricas, principalmente con señales de emg, es un método muy importante para la clasificación de movimientos de las extremidades superiores ^{[5], [6], [8]}. Sin embargo, hay muchos factores como los clasificadores, las longitudes de ventana y el número de canales que se pueden analizar, que influyen en la eficiencia del proceso.

Por tal razón, uno de los mayores desafíos para el reconocimiento de las tareas motoras ha sido crear sistemas de clasificación robustos, que empleen algoritmos que permitan procesar la información con el menor costo computacional y un alto porcentaje de acierto en la identificación de los movimientos.

Se han dedicado importantes esfuerzos al preprocesamiento, el filtrado, la extracción/reducción de características y la clasificación de patrones dirigidos al recogimiento de movimientos de los miembros superiores, usando señales emg.

Tal es el caso de la propuesta de ^[27], quienes mostraron que es posible la identificación de cinco movimientos de la mano con un rango de exactitud entre el 94 % a 99 %. También se ha sugerido la detección de movimientos de la muñeca y del dedo anular, lo cual procesó el mismo tipo y alcanzó una precisión del 87,3 %, al usar máquinas de soporte vectorial (svm) ^[22].

Dardas y Georganas presentan un sistema que en tiempo real permite la interacción con una aplicación o videojuego a través de gestos con las manos ^[25].

La propuesta usa bolsas de características (Bof) y smv en la que construye un vocabulario que genera comandos de gestos para controlar la aplicación ^[25].

Oskoei y Hu hacen uso de diferentes clasificadores, como el análisis de discriminante lineal, las redes neuronales artificiales y smv, en la clasificación de nueve clases de movimientos, a partir de señales emg ^[28]. Gracias a los resultados obtenidos, los autores concluyen que el clasificador smv, al usar características frecuenciales, tiene la mejor precisión y alcanza una tasa de errores de clasificación media de 1,53 %, con una desviación estándar de 1,08 ^[28]. Un trabajo similar alcanza el reconocimiento de ocho gestos de la mano con una exactitud entre 96,9 % y 99,65 % ^[29].

Trabajos más recientes han propuesto modelos que pueden llegar a procesar la clasificación de este tipo de señales con resultados sobresalientes y una menor complejidad computacional. Este es el caso de la propuesta de Rossi y col. ^[19], que emplea un enfoque mixto con modelos ocultos de Markov (hmm) y smv. El trabajo mostró que, independientemente del rendimiento de smv, se puede optimizar un buen clasificador con métodos típicos (hmm) y lograr una mejora del 12 % de precisión del reconocimiento ^[19].

Xu y col. ^[12] presentan tres (3) modelos diferentes para el reconocimiento de siete gestos de las manos (arriba, abajo, izquierda, derecha, tic, círculo y cruz), en función de las señales de entrada de los acelerómetros, los tres (3) ejes de movimiento. En este punto, se muestra que, para el mejor caso, se logra una precisión de reconocimiento general del 95,6 %.

Otros trabajos se han dirigido al diseño de nuevos sensores, que permitan la adquisición de señales emg, para posterior clasificación. Es el caso del trabajo de Du y col. ^[14], que usa técnicas de aprendizaje profundo, con una precisión de reconocimiento del 85,0 %.

Nuevamente, se resalta que los trabajos publicados no contrastan de forma explícita y experimental diferentes modelos computacionales para el reconocimiento de gesto; los autores generalmente reportan únicamente la efectividad de su método y una comparación contra métodos del mismo modelo computacional.

La Tabla 2 presenta los resultados de la comparación de los tres modelos computacionales: reconocimiento de patrones con smv (ml-smv), modelos ocultos de Markov (hmm) y bolsas de características (Bow).

Tabla 2. Resumen de comparación de modelos las), con respecto a las métricas de precisión y sensibilidad (columnas).

Tabla 2 Tabla 2 Resumen de comparación de modelos las) con respecto a las métricas de precisión y sensibilidad (columnas) Fuente: elaboración propia.

Las columnas muestran los valores máximos y mínimos de sensibilidad y precisión de cada método. Se puede observar que los modelos hmm presentaron el rendimiento más bajo en las dos métricas (precisión 0,38% y sensibilidad 0,4 %) y, en general, el rendimiento promedio menos destacado. El modelo de BoF mostró el mejor comportamiento para las dos métricas, con un valor de precisión de 0,99 % para K = 19 palabras y un E = 0,8 el exponente del kernel polinomial normalizado. Los valores mínimos obtenidos el modelo BoF son superiores al del modelo ML-smv.

La Fig. 3 muestra las matrices de confusión obtenidas en cada caso, mínimo y máximo para precisión y sensibilidad.

Fig. 3. Fig. 3. Matrices de confusión para los vales máximos y mínimos de precisión y sensibilidad Fuente: elaboración propia.

Destaca el hecho de que, para los hmm, se alcanzan los valores más altos de las dos métricas con los mismos parámetros (S=5 K=11). La escala de color de las matrices de confusión varía entre azul (1) y rojo (1).

Se observa que, para los modelos de BoF y ML -smv, tanto para los valores máximos y mínimos, el gesto de reposo (H) es el gesto con mejor taza de reconocimiento. También es posible afirmar que el gesto G es el de mayor dificultad de reconocimiento para estos dos modelos. Es importante anotar que, para los hmm, el gesto de reposo (H) es el que presenta mayor confusión.

La Fig. 4 muestra las gráficas obtenidas para cada una de las métricas (curvas de nivel a color) frente a los parámetros evaluados (ejes). La escala de color varía entre 40 % (azul) y 100 % (rojo).

Fig. 4. Fig. 4. Gráficas de sensibilidad y precisión para los tres modelos computacionales, en curvas de nivel. La escala de color varía entre 0\% (azul) y 100\% (rojo). Fuente: elaboración propia.

Se observa que el modelo que presentó mayor variación de las métricas, dados los parámetros, fue hmm, mientras que el más estable fue ml-smv.

Las BoF presentaron una variabilidad mayor que ml-smv, donde se observan zonas de picos de alto rendimiento y valles en las que el rendimiento desciende principalmente en la métrica de sensibilidad (zonas de color naranja).

En los dos casos, se evidencian curvas de estabilización del modelo hacia los parámetros adecuados, lo que permite descartar fenómenos de sobreentrenamiento.

Por último, se resalta que los modelos ml-smv y BoF mostraron resultados similares e incluso superiores a los reportados en el estado del arte, presentados en la sección 2 de este documento.

Este artículo presentó una comparación de tres modelos computacionales para el reconocimiento de gestos: el reconocimiento de patrones usando máquinas de soporte vectorial (ml-smv), los modelos ocultos de Marcov (hmm) y las bolsas de características (BoF). La evaluación se hizo sobre un conjunto de ocho gestos para un usuario con limitaciones motoras, definido mediante diseño participativo.

Como dispositivo de adquisición se usó un brazalete MyO gesture, con el cual se adelantó un proceso de adquisición de 10 repeticiones para cada gesto.

Tras una evaluación de los modelos mediante una validación cruzada de diez paquetes (10-folding Cross validation), los resultaron mostraron un mejor rendimiento de las BoF, respecto a las métricas de sensibilidad y precisión.

El modelo de ml-smv expuso una mayor estabilidad respecto a los parámetros de estudio, mientras que los mhh generaron los resultados más discretos.

En general, los resultados de los tres modelos computacionales fueron adecuados para un conjunto de datos de 80 muestras (ocho gestos por diez repeticiones).

Las bolsas de características muestran resultados prometedores, de los cuales se puede colegir que, a futuro, es posible evaluar métodos de ajuste del diccionario de palabras, para seleccionar solo las más representativas para conjunto de gestos.

Adicionalmente, es necesario evaluar la usabilidad del conjunto de gestos, ya que, si bien es cierto que se hizo mediante un diseño participativo con el usuario interesado.