La primera fase consistió en la definición de los términos principales de búsqueda, con base en los grandes temas de investigación: i) gestos, ii) reconocimiento de gestos, iii) interacción.

Con esta información como insumo, se seleccionaron los sinónimos y otros términos relacionados. Después de definidas las ecuaciones de búsqueda, se eligieron las bases de datos para la revisión de artículos, para lo cual se utilizó como fuente las páginas web de Special Interest Group on Computer-Human Interaction (SIGCHI) ^[21], International Federetion for Information Processing (IFIP) ^[22] y IEEE Systems, Man and Cybernetics Society IEEE (SMC) ^[23], por ser los principales referentes en el área de HCI.

La Tabla 1 resume las ecuaciones de búsqueda más significativas y los resultados obtenidos en las bases de datos de mayor publicación y consulta.

De acuerdo con la información de la Tabla 1, se infiere que la cantidad de resultados en Springer es significativamente mayor que en ACM o IEEE, debido a que tiene repositorios de áreas del conocimiento diversas: psicología, medicina, estudios culturales y sociales, ciencias de la computación, entre otras.

Tabla 1 Tabla 1 Ecuaciones de búsqueda principales junto con las fechas y la cantidad de resultados encontrados en las principales bases de datos de consulta

Ecuación de búsqueda	Variable	acm	Springer	ieee Xplore
Gesture and Based and Interaction	Rango de fechas de publicación	1988-2019	1929-2019	1989-2019
	Cantidad de resultados	2292	63055	2550
Gestural and Interaction	Rango de fechas de publicación	1980-2019	1960-2019	1987-2019
	Cantidad de resultados	4762	7427	267
Gesture and Recognition	Rango de fechas de publicación	1980-2019	1853-2019	1989-2019
	Cantidad de resultados	1366	59047	9518
Gesture and Modelling	Rango de fechas de publicación	1970-2019	1850-2019	1978-2019
	Cantidad de resultados	1074	86616	4391
Gesture and Culture	Rango de fechas de publicación	1991-2019	1850-2019	1997-2018
	Cantidad de resultados	118	62962	57

Fuente: elaboración propia.

Cuando la búsqueda se filtra por fechas en Springer, se encuentra que antes de los años noventa la mayoría de los resultados obedecen a las áreas de medicina y psicología; pero, a partir de dicha década, se concentran en ciencias de la computación. Sobre los resultados en IEEE y ACM, se observa que IEEE tiene más resultados en temas técnicos: reconocimiento de gestos y modelado de gestos; mientras que ACM arroja más resultados, comparativamente, cuando se incluyen palabras clave más asociadas a lo humano como “interacción” o “cultura”.

Adicionalmente, en los medios de divulgación se encuentran: ACM Interactions ^[24], Communications of the ACM ^[25], Interaction Design Foundation ^[26]; y, en Latinoamérica, la revista de diseño de interacción Faz ^[27], así como redes sociales y plataformas de video usadas por conferencias destacables como Conference on Human Factors in Computing Systems (CHI) ^[28], Tangible, Embedded and Emboided Interactions (TEI) ^[29] o, de la comunidad latinoamericana, Conferencia Latinoamericana en Interacción Humano Computador (CLIHC) ^[30] y Conferencia Latinoamericana en Informática (CLEI).

El ordenamiento para la aproximación a los textos fue inicialmente por relevancia, posteriormente, por número de citaciones y, finalmente, del más reciente al más antiguo. La selección de textos para una lectura más detallada dependió de la información encontrada en la primera aproximación, para lo cual se tuvieron en cuenta factores como: conferencia o revista en la que se publicó, relevancia de los autores (número de publicaciones y citaciones), rigurosidad en la descripción del texto en el resumen (por ejemplo, si presenta un método, describe una herramienta, algoritmo, o experimento con usuarios). Adicionalmente, se hizo una búsqueda específica en revistas en español (Faz ^[27]) y en fuentes de publicación latinoamericanas.

Los gestos son, en esencia, un medio de comunicación. Si bien se suelen considerar como naturales, de acuerdo con Norman ^[16], las expresiones gestuales no son naturales ni innatas ni fáciles de aprender, comprender o recordar. Más aún, los gestos son expresiones culturales ^[31] y muchos de ellos pueden ser efímeros para adaptarse a condiciones particulares del contexto espacial o temporal en el que ocurren ^[16]. Así, existen dos escenarios posibles: i) desarrollar estrategias computacionales para el reconocimiento de gestos culturalmente aceptados-apropiados (adaptación) o ii) proponer gestos que sean reconocidos por los dispositivos computacionales y que puedan ser aprendidos y apropiados por las personas (estandarización). El primer escenario es el más complejo, por la diversidad y variabilidad de los gestos, entre una cultura y otra. El segundo escenario es el más común, y ha permitido la estandarización de gestos para la interacción humano-computador, por entidades formales o por convención a través de la popularización de su uso ^[32].

La Tabla 2 presenta una comparación de los dos enfoques, en cuanto a ventajas y desventajas. En ambos casos, la comprensión del gesto es muy amplia y aplica para diferentes partes del cuerpo: estos faciales ^[33], con las manos ^{[5], [34], [35]}, con los dedos ^{[4], [5], [20]}, o de cuerpo entero ^{[8], [36]}. En algunos casos, la complejidad técnica de reconocer la secuencia de acciones que definen un gesto ha llevado a que se utilicen objetos que restrinjan la interacción ^{[11], [18]}.

Tabla 2 Tabla 2 Ventajas y desventajas comparativas entre las dos estrategias utilizadas en hci para el uso de gestos como medios de interacción Fuente: adaptada de [32].

El proceso de reconocimiento de los gestos requiere seguir los fundamentos de hci: definir modelos de expresión, establecer un rango posible de acciones, restringir el espectro de interacciones, reconocer respuestas —deseadas e indeseadas— del sistema ^{[16], [37]}.

Así mismo, exige afrontar nuevos desafíos que se encuentran en todas las etapas del proceso de reconocimiento de gestos, en este texto, comprendido en dos grandes etapas: entrenamiento y clasificación/regresión (Fig. 2)

Fig. 2. Fig. 2. Etapas del reconocimiento de gestos. Fuente: elaboración propia.

El reconocimiento del gesto se aplica tanto para procesos de clasificación, en los que se etiqueta un conjunto de acciones del usuario, como para procesos de regresión, en los que se anticipa una acción consecuente, a partir de unas acciones previas.

En los dos casos, el proceso de entrenamiento ocurre en cuatro etapas, resumidas en la Tabla 3: captura, pre-procesamiento, selección y extracción de características y aprendizaje. La captura de gestos se suele hacer con diferentes tipos de sensores, entre los que se encuentran: ópticos (cámaras como la PlayStation Eye y cámaras de profundidad como Kinect o LeapMotion) ^{[36], [38], [39]}; acelerómetro (SteamVR tracker, Wii Mote); capacitivos (touchpad, pantallas táctiles de dispositivos móviles); giróscopos y electrodos para detección de movimientos musculares (EMG-Myo-, EEG-Emotiv-) ^[37].

Tabla 3 Tabla 3 Resumen de las diferentes etapas a considerar en el proceso de reconocimiento de gestos incluidas las cuestiones que se deben resolver en cada etapa técnicas y herramientas Fuente: elaboración propia.

Además de la selección de sensores, el diseño de la captura de gestos debe responder a cuestiones como: ¿cada cuánto tiempo se captura un dato?, ¿cuál es la resolución requerida para el convertidor analógico-digital?, ¿cuánto almacenamiento se requiere para guardar los datos crudos que provee el sensor?

El preprocesamiento, así como la extracción y selección de características, dependen de la aplicación particular y de la forma en que se reconozcan los gestos (por ejemplo, ^[40]-[43]). Estas etapas varían según el método de captura y la técnica de reconocimiento y pueden utilizar desde procesos estadísticos (análisis por componentes principales pca ^[44] o discriminantes de Fisher), hasta algoritmos propios del contexto de aplicación como el de Haar ^{[45], [46]}.

Algunas de las cuestiones que deben ser respondidas en estas etapas son: ¿qué ventana de tiempo es adecuada para preprocesar un conjunto de datos crudos?, ¿cómo se filtran los datos crudos?, ¿de qué manera se pueden comprimir los datos crudos para mantener la información más relevante, sin demandar demasiado espacio de memoria?, ¿se preprocesa el gesto luego de capturarlo completamente (offline) o se va preprocesando en tiempo real, a medida que la persona lo hace (online)?, ¿cómo se representa computacionalmente el gesto? Y, si se pierde un segmento de la información, ¿cómo se conserva el gesto.

Para el aprendizaje de máquina y la etapa de clasificación o regresión, se han utilizado diferentes técnicas, entre las que destacan: Modelos Ocultos de Markov (HMM) ^{[15], [33 ], [34], [47]}, Redes Neuronales ^[34], Freeman Chain Code ^[44], Máquinas de Vectores de Soporte ^[48]-[50], evolución neuronal ^[35] y aprendizaje profundo ^{[51], [52]}.

Para revisar las tendencias sobre algoritmos de reconocimiento utilizados en la clasificación o regresión de gestos, se hizo una búsqueda filtrada por la fecha de publicación, en la cual se escogieron solo artículos del presente año: 2019. Asimismo, se utilizó la ecuación de búsqueda: “Gesture and (Classification or Regression or Recognition)”. Luego, se concatenaron los textos de título, resumen y palabras clave de los resultados y se contaron las palabras para estimar cuáles son los algoritmos más utilizados actualmente.

Los hallazgos muestran que el aprendizaje profundo (deep learning) y, en particular, las redes neuronales convolucionales son los algoritmos utilizados con mayor frecuencia (ver Tabla 4).

Tabla 4 Tabla 4 Palabras más frecuentes en relación con los algoritmos de aprendizaje en los títulos resúmenes y palabras clave resultantes de la ecuación Gesture and Classification or Regression or Recognition

Palabra	Conteo		Palabra	Conteo
Recognition	1305		Clustering	53
Learning	1078		lstm	44
			Tree	38
Deep	517		Logistic	38
Network	494		Unsupervised	37
Neural	476		Bayesian	32
…	…		svm	28
Convolutional	217		Fuzzy	28
cnn	100		hmm	24
Supervised	71		Heuristic	10

Fuente: elaboración propia.

Adicionalmente, se encontró también la existencia de palabras frecuentes como clustering y unsupervised, asociadas a técnicas no supervisadas; o tree y fuzzy, asociadas a árboles de decisión y lógica difusa como técnicas no estadísticas.

El análisis sobre las tendencias finalizó con la selección de la fuente de búsqueda Springer, debido a que tenía una mayor cantidad de resultados en las publicaciones referentes a reconocimiento y a modelado.

Como indicador se obtuvo la cantidad de publicaciones en las que se mencionara el algoritmo o técnica de clasificación, de acuerdo con las siguientes ecuaciones de búsqueda: i) Deep Learning: Gesture AND (“deep learning” OR “convolutional neural network”), ii) SVM: Gesture AND (“Support Vector Machine” OR “SVM” OR “SVR”, iii) Redes neuronales: Gesture AND “neural networks” AND NOT “Deep” AND NOT “convolutional”, iv) HMM: Gesture AND (“hidden markov model” OR “HMM”).

Las publicaciones incluidas en el conteo fueron separadas por año y limitadas a las áreas de ingeniería y ciencias de la computación. Los resultados se muestran en la Fig. 3.

Fig. 3 Fig. 3 Tendencias en el número de publicaciones asociadas a gestos, según el año y el tipo de método de aprendizaje automático. Fuente: elaboración propia.

En las áreas de aplicación de las interacciones basadas en gestos que se encuentran más a menudo ^[5], sobresalen la de robótica ^{[15], [33], [47], [53]}, en particular el campo de la robótica suave; las tareas recurrentes en hci como seleccionar, maximizar, arrastrar, copiar, pegar ^[54]; la preservación cultural ^[44]; la computación incluyente que involucra grupos poblacionales particulares como niños, adultos mayores, personas con capacidades limitadas o movilidad reducida; o los videojuegos ^[55]-[57].

En esos campos, se detectaron los siguientes desafíos de interés actual: i) Segmentación ^[58]. En aplicaciones en las que un gesto siga al siguiente, ¿cómo reconocer cuándo acaba un gesto e inicia el otro?, ¿cómo separar un gesto del contexto en el que ocurre? (del fondo). ii) Concurrencia. Si un gesto es capturado con múltiples sensores, del mismo o diferente tipo, o usando diferentes máquinas, ¿cómo fusionar los datos?; si el sistema de cómputo es utilizado por múltiples personas a la vez, ¿cómo diferenciar los gestos de una persona respecto a otra?, ¿existen los gestos colectivos, que son ejecutados por más de una persona?

En caso tal, ¿cómo reconocer dichos gestos? iii) Experiencia de usuario. ¿Cómo garantizar que el usuario puede completar una tarea con un gesto?, ¿cómo realimentar al usuario cuando no puede completar una acción a través de un gesto?, ¿qué herramientas se proveen al usuario en caso de que no pueda hacer un gesto?, ¿cómo enseñarle al usuario a hacer gestos que sean reconocidos por la máquina? iv) Estudios culturales. ¿Cómo representar computacionalmente los gestos?, ¿es posible estandarizar esa representación?, ¿cómo afecta el contexto cultural el proceso de reconocimiento computacional de gestos?, ¿de qué manera desarrollar estudios culturales relacionados con las expresiones gestuales de una comunidad, desde el área de HCI? v) Adaptación. ¿Cómo diseñar máquinas que no solo reconozcan gestos específicos, sino que puedan adaptarse a los gestos de sus usuarios?, ¿de qué forma se pueden adaptar los algoritmos de reconocimiento de gestos para que sea posible que se modifiquen cuando los gestos de las personas cambian?