Dado que el INSOR aún no cuenta con un repositorio digital de lenguaje de señas, se construye uno para el sistema. Se usa como guía el contenido de la página web de la entidad que se detalla en (Fig. 21) y el conocimiento de una interprete [20].

Fig. 21. Fig. 21. Página Web Diccionario de Gestos de INSOR Fuente: [20].

El lenguaje de señas se constituye de gestos dinámicos y estáticos. De los videos y el apoyo de la intérprete de señas se revisa gestos estáticos fáciles de replicar. Con respecto a los gestos dinámicos, algunos se conforman de gestos estáticos que poseen desplazamientos lineales durante el tiempo (es decir, la postura de las manos o el torso es el mismo, pero existe un movimiento de translación). De este último grupo, se seleccionarán algunas señas y se etiquetarán en diferentes momentos temporales con la misma palabra o expresión, de acuerdo con lo expresado en [20].

Por ejemplo, en la siguiente seña (Fig. 22) presente en la página, se ve que las manos de la persona que realiza el gesto se mueven horizontalmente, mientras que su torso se mantiene estático. La idea es tomar gestos donde parte de las manos se vea relacionada con el torso o incluso partes de la cabeza como el mentón o la sien [20].

Fig. 22. Fig. 22. Gesto dinámico de traslación lineal para indicar Televisión Fuente: [20]

Con estos criterios establecidos, se construye un repositorio de imágenes con 22 diferentes gestos del lenguaje de señas de la página Web del INSOR y la experiencia del intérprete. Cada uno de estos gestos serán las diferentes clases del sistema. Se toma la idea de un procedimiento hecho en Argentina [13] en la que se trabajan con M intérpretes o personas que conocen el lenguaje de señas para tener más datos que entrene el modelo.

De esta cantidad de personas, la sugerencia en [13] es que solo M-1 serán usadas para la etapa de entrenamiento y la persona restante se incluirá durante la etapa de prueba.

En el presente caso, se entrenó el modelo con 5 personas y la última persona (interprete) se incluyó con los otros para evaluar el prototipo de software.

El criterio para elegir las señas se basa en su facilidad para replicar y, adicionalmente, que los movimientos no involucren complejidad para ser detectadas.

El listado de las señas correspondientes a las diferentes clases del sistema es el siguiente:

- Atardecer

- Baño

- Casa

- Color

- Escuchar

- Gracias

- Hola1 (usando 2 dedos)

- Hola2 (usando 4)

- Hoy

- Mamá

- Mucho gusto

- Nombre

- Novio

- Papá

- Profesor

- ¿Qué paso?

- Siéntese

- Televisión

- Tener curiosidad

- Tener algo como posesión

- Universidad

- Yo

A continuación, se muestran algunas de las 22 señas obtenidas de los videos con las diferentes personas que servirán como insumo para la construcción del repositorio, (Fig. 23 a 25). El total de imágenes del repositorio obtenidas es de 3168 con una distribución uniforme para las 22 clases.

Fig. 23. Fig. 23. Seña estática de la palabra YO Fuente: elaboración propia.

Fig. 24. Fig. 24. Seña estática de la palabra CASA Fuente: elaboración propia.

Fig. 25. Fig. 25. Seña dinámica de la palabra TELEVISOR Fuente: elaboración propia.

Todas las imágenes contienen una resolución de 640x380 y guardadas en formato PNG. Estas imágenes son obtenidas como frames cada 0.0033 segundos de videos en blanco y negro donde se grabó a cada una de las personas realizándolas. Luego, cada imagen se guardó con un título numérico y se asoció con una etiqueta en un listado completo del repositorio en un archivo de Excel.

La ventaja de construir el repositorio de señas es la de tener una distribución uniforme de las diferentes clases que la conforman. En total, las 3168 imágenes construidas poseen un total de 144 imágenes por cada una de las expresiones o palabras a clasificar (o clases del sistema).

Con esto en mente, se construyó una matriz de 2 dimensiones en Python del tipo Array, donde estas imágenes puedan ser representadas numéricamente con el fin de ser tratada por la CNN.

Dado que las imágenes capturadas poseen una resolución alta, gracias a la cámara comercial con la que fue adquirida, el primer paso es ajustar su tamaño sin que se pierda calidad. Con un ajuste en el tamaño de 320x240 pixeles se observa poca modificación de las imágenes originales.

Dado que computacionalmente una imagen es una matriz de números enteros, cada imagen se ajusta a un vector de tamaño 76 800 (valor resultante de multiplicar 320x240) y de esa manera todas las imágenes se almacenan en una matriz más fácil de manejar (3368 x 76800), justo como se detalla en (Fig. 26).

Fig. 26. Fig. 26. Proceso de conversión de matriz 2x2 a vector de 1 dimensión usado en imágenes Fuente: elaboración propia.

A su vez, en un archivo de Excel cada nombre de archivo de imagen es asignado con una etiqueta de su correspondiente significado o expresión de seña, en el mismo orden en que la matriz tiene guardada la imagen. Con la librería Pandas de Python, se cargó este archivo de Excel (almacenado en formato CSV) y se visualizaron los primeros registros de la asociación del nombre de la imagen con su etiqueta como se ve en (Fig. 27).

Fig. 27. Fig. 27. Validación en Pandas de archivo de etiquetas asociadas con el nombre de archivo de imagen Fuente: elaboración propia.

Dado que para la CNN se trabaja con datos numéricos, la variable de salida se representa por medio de ‘0’ y ‘1’ con la técnica conocida como One Hot Code.

En este caso, Python permite realizar esta transformación dando como resultado una matriz de 3168 registros (cantidad de imágenes) por 22 columnas (las 22 clases del sistema, donde cada salida es un conjunto de 21 ‘0’ y un ‘1’ que representa esa clase en determinada posición).

A continuación, se separaron los datos en aquellos que se usan para entrenar y los que se usan para probar el modelo a construir. Se indica que el 70 % de los datos es para entrenamiento y de manera estratificada, con el fin de conservar el balanceo de clases. Se adiciona también un valor de semilla en la aleatoriedad en estos datos con el fin de que en una próxima simulación se tengan las mismas imágenes y etiquetas elegidas aleatoriamente para la separación. Se valida nuevamente la distribución de las señas después de la separación y esta fue de 100 imágenes para los datos de entrenamiento.

Se aplicó un proceso de normalización sobre los datos para manejar los valores numéricos, tanto de los datos de entrenamiento como de prueba entre 0 y 1.

Para ello se determinaron los valores máximo y mínimo de las imágenes que son 255 y 0, respectivamente. Dada la simplicidad de estos valores, la normalización consistió en dividir todos los datos por el valor de 255, dando como resultado que para los datos de entrenamiento o Train el valor máximo y mínimo son 1 y 0, mientras que para los datos de Test son 1 y 0.003, resultado de la división flotante. Con esto, los datos ya están procesados y listos para construir el modelo.

El modelo se construye luego de haber realizado el procesamiento de las diferentes imágenes que servirán como datos fuente de entrenamiento. La arquitectura de este modelo es la misma planteada heurísticamente en [19], reconocimiento de alfabeto de señas de personas sordas, con la diferencia de que no se agregó inicialmente una capa de Dropout para ver como este factor altera una CNN totalmente interconectada.

En una red neuronal son muchos los hiperparámetros que varían para obtener diferentes resultados, haciendo que sea complejo cambiarlos todos a la vez (costo computacional). Los hiperparámetros de una red neuronal más comunes son el número de neuronas por capa, las funciones de activación presentes, el tipo de optimizador, la tasa de aprendizaje o Learning Rate, el número de épocas o interacciones de entrenamiento, momento, entre otros.

Por fortuna, la sencillez del modelo a usar permitió variar el número de neuronas existentes en las capas convolucionales junto con sus funciones de activación correspondientes. Para encontrar los parámetros óptimos se usó la técnica Grid Search, donde se variaron estos parámetros dentro un rango establecido y se combinaron los mismos. La arquitectura y funcionamiento básico de la red neuronal a implementar se describen a continuación.

La primera capa es convolucional con un Kernel o filtro de 3x3 ejecutado sobre cada una de las imágenes de entrada. Es la responsable de recibir los datos por lo que se indica que estos deben venir en una dimensión de 320 x3 40. El número de neuronas y función de activación de la capa son parámetros por encontrar.

La capa que procede es de MaxPooling cuya matriz es de 2x2 y permite reducir el número de parámetros de salida de la capa de entrada. Esta capa toma el máximo valor de la imagen de cada 4 pixeles cercanos organizados en 2x2.

La tercera capa es similar a la primera con la diferencia de que no recibe la misma cantidad de entradas, ya que por la capa de MaxPooling el número es reducido.

Nuevamente, las neuronas y función de activación se definieron variables en esta capa.

La cuarta es una capa MaxPooling similar a la segunda, usada para reducir aún más el número de parámetros de la CNN. No tuvo neuronas al igual que la segunda.

Luego de pasar por las 2 capas de Convolución y MaxPooling, se usó una capa Flatten para que todas las salidas convergieran hacia una salida. Finalmente, se agregó una capa de 22 neuronas igual al número de clases existentes en el sistema, con una función de activación Softmax, asegurando que las probabilidades obtenidas den una sola clase predicha como salida.

Por simplicidad, se dejó como optimizador el valor de “Adam” y la pérdida o Loss de la red neuronal es categórica Crossentropy. La medida para ver la eficiencia del algoritmo es el Accuracy.

El proceso de Grid Search se acompañó de una técnica denominada Cross Validation [21]. Esta técnica consiste en que de los datos de entrenamiento de los datos originales se vuelve a hacer otra división. Esta división transforma todo el segmento de datos en conjuntos de datos más pequeños (N conjuntos) para entrenar N-1 y el restante para validar el modelo obtenido en el entrenamiento como se observa en (Fig. 28).

Fig. 28. Fig. 28. Cross Validation con 5 pliegues. Sobre los datos de entrenamiento se hacen nuevas divisiones y se itera Fuente: elaboración propia.

Este proceso es iterativo y se realiza N veces haciendo que cada conjunto al final sea usado como datos de validación.

Los resultados obtenidos se promedian para cada una de las combinaciones de hiperparámetros (número de neuronas y funciones de activación en este caso).

Los parámetros que se variaron para los hiperparámetros son los siguientes:

Numero de neuronas = [10, 15, 20, 25 y 30].

Funciones de Activación = [Relu, Tanh, Linear y Sigmoid] (más usados en la industria).

Una vez establecido, se entrenó el modelo indicando que se pueden hacer múltiples jobs en paralelo y usar un valor de 15 épocas. No se incluye un numero de tamaño de batch por lo que el sistema tomó por defecto un valor de 32. En el momento de realizar computacionalmente esta simulación, los recursos de Memoria y CPU tomaron valores picos cercanos al 100 %.

Dado que se tienen 5 diferentes números de neuronas, 4 diferentes funciones de activación y un valor de Cross Validation igual a 5 pliegues para mejores resultados, el Grid Search realizó 100 procesos de entrenamiento sobre la CNN con 2217 datos de entrenamiento. Después de unas cuantas horas de simulación, los resultados obtenidos se grafican en un mapa de calor de número de neuronas vs. la función de activación que se observa en (Fig. 29).

Fig. 29. Fig. 29. Mapa de calor Grid Search. Funciones de activación vs número de neuronas por capas Fuente: elaboración propia.

De los resultados obtenidos, la mejor combinación ocurrió cuando las capas convolucionales tienen un numero de 25 neuronas cada una y sus funciones de activación son Tanh, con un Accuracy en promedio de 0.983. En general, los Accuracy para las funciones de activación Relu, Tanh y Linear, sin importar la cantidad de neuronas en capas, se encuentra por encima del 90 %, siendo óptimas para trabajar.

Por el contrario, la función de activación Sigmoid ofrece resultados muy bajos inferiores al 5 % por lo que es descartada en su totalidad.

En el momento de evaluar los datos de prueba con el mejor resultado, el Accuracy obtenido es de 0.988, razón por la cual se construyó el modelo base especifico con estos parámetros.

El modelo obtenido se entrena de manera similar a como se hizo con el Grid Search, solo que sin usar Cross Validation y procesos en paralelo. Al usar 15 épocas y un tamaño de batch de 128 sobre las 2217 imágenes de entrenamiento, el Loss del modelo es 0.2348 y el Accuracy de 0.9693.

La (Fig. 30) muestra cómo evolucionó el Loss en función del número de épocas.

Fig. 30. Fig. 30. Loss del modelo durante el entrenamiento por varias épocas Fuente: elaboración propia.

Igualmente, en (Fig. 31) el Accuracy en función del número de épocas se ve como este aumenta para llegar a valores cercanos al 0.9.

Fig. 31. Fig. 31. Accuracy del modelo durante el entrenamiento por varias épocas Fuente: elaboración propia.

Nuevamente se evaluaron los datos de test (951 imágenes) con un Loss igual al 0.2498 y el Accuracy de 0.9631, valores muy buenos para que el modelo sea usado.

Del modelo obtenido, se agregó una capa Dropout similar a la inicial del modelo de [19] (valor de 0.2).

Al realizar el entrenamiento, el Loss es 0.1396 y el Accuracy 0.9707 sobre las mismas imágenes de entrenamiento. Las curvas de Loss y Accuracy con respecto a las mismas 15 épocas son (Fig. 32 y Fig. 33), respectivamente. Para los mismos datos de test, el Loss es 0.1516 y el Accuracy 0.9642.

Fig. 32. Fig. 32. Loss del modelo con Dropout durante el entrenamiento por varias épocas Fuente: elaboración propia.

Fig. 33. Fig. 33. Accuracy del modelo con Dropout durante el entrenamiento por varias épocas Fuente: elaboración propia.

A continuación, se tomó el modelo base inicial y se le agregaron 2 capas más convolucionales y de MaxPool y se construyeron 2 modelos adicionales con y sin Dropout. Se obtuvo otro modelo adicional, agregando 2 capas más convolucionales (para un total de 6) y de MaxPool con Dropout.

Todos estos modelos son construidos desde ceros y se entrenan nuevamente sus pesos desde ceros. Los resultados alcanzados en Loss son los de la Tabla 1 y los nombres de los modelos usaron acrónimos como CV5 (Cross Validation de 5), DP (Dropout) y LY (Layer) para diferenciarlos. Por su parte el Accuracy obtenido es la Tabla 2.

Tabla 1 Tabla 1 Resumen Modelos Loss agregando capas y Dropout

Nombre del Modelo	Descripción	Loss Train	Loss Test
modeloFinalCV5	Modelo Base	0.2348	0.2498
modeloDPFinalCV5	Base con Dropout 0.2	0.1396	0.1516
modeloDP2LYFinalCV5	Base con Dropout 0.2 y 2 capas más	0.1265	0.1091
modelo2LYFinalCV5	Modelo Base con 2 capas más	0.1180	0.1450
modeloDP3LYFinalCV5	Base con Dropout 0.2 y 4 capas más	0.8524	0.8105

Fuente: elaboración propia.

Tabla 2 Tabla 2 Resumen Modelos Accuracy agregando capas y Dropout

Nombre del Modelo	Descripción	Accuracy Train	Accuracy Test
modeloFinalCV5	Modelo Base	0.9693	0.9631
modeloDPFinalCV5	Base con Dropout 0.2	0.9707	0.9642
modeloDP2LYFinalCV5	Base con Dropout 0.2 y 2 capas más	0.9698	0.9758
modelo2LYFinalCV5	Modelo Base con 2 capas más	0.9711	0.9558
modeloDP3LYFinalCV5	Base con Dropout 0.2 y 4 capas más	0.8169	0.8548

Fuente: elaboración propia.

Como siguiente paso, se usó la técnica de Transfer Learning. Se usó el modelo inicial obtenido con los pesos obtenidos en las capas convolucionales y MaxPool dentro de un nuevo modelo. Esto permitió agregar más capas a su arquitectura para que solo entrenaran las adicionales.

Esta técnica es muy útil ya que permitió ahorrar tiempos en el proceso de entrenamiento. Se revisó el Accuracy generado por las nuevas capas o modificaciones a la arquitectura de la red CNN del modelo base. En este caso, se adicionaron capas de Dropout, Flatten y Softmax para ver su comportamiento.

Al hacer el proceso, se observó que el Accuracy de entrenamiento es de 0.9869 y el de Test es 0.9831, valores superiores al del modelo inicial. Por su parte el Loss de entrenamiento es 0.1019 y la de Test es 0.1316, menores al del modelo base. Las gráficas de Accuracy y Loss en los datos de entrenamiento son las (Fig. 34 y Fig. 35).

Fig. 34. Fig. 34. Loss del modelo con Dropout durante el entrenamiento por varias épocas usando Transfer Learning Fuente: elaboración propia.

Fig. 35. Fig. 35. Accuracy del modelo con Dropout durante el entrenamiento por varias épocas usando Fuente: elaboración propia.

Se construyen modelos similares a los anteriores con la misma estructura, usando los pesos del modelo base sin modifican durante el entrenamiento. Para el caso de Transfer Learning, los modelos obtenidos tienen en su nombre el acrónimo TL (Transfer Learning) para indicar que se usó esta técnica. El Loss y Accuracy de estos modelos se ven en las Tablas 3 y 4 respectivamente

Tabla 3 Tabla 3 Resumen Modelos Loss con Transfer Learning

Nombre del Modelo	Descripción	Loss Train	Loss Test
modeloFinalCV5	Modelo Base	0.2348	0.2498
modeloDPFinalCV5TL	Base con Dropout 0.2	0.1019	0.1316
modeloDPFinalCV52LTL	Base con Dropout 0.2 y 2 capas más	0.2866	0.2917
modeloFinalCV52LTL	Modelo Base con 2 capas más	0.1909	0.2137
modeloDPFinalCV54LTL	Base con Dropout 0.2 y 4 capas más	0.9976	0.9705

Fuente: elaboración propia.

Tabla 4 Tabla 4 Resumen Modelos Accuracy con Transfer Learning

Nombre del Modelo	Descripción	Accuracy Train	Accuracy Test
modeloFinalCV5	Modelo Base	0.9693	0.9631
modeloDPFinalCV5TL	Base con Dropout 0.2	0.9869	0.9831
modeloDPFinalCV52LTL	Base con Dropout 0.2 y 2 capas más	0.9310	0.9190
modeloFinalCV52LTL	Modelo Base con 2 capas más	0.9666	0.9568
modeloDPFinalCV54LTL	Base con Dropout 0.2 y 4 capas más	0.7740	0.7991

Fuente: elaboración propia.

Finalmente, se aplicó Fine Tuning tomando como referencia el procedimiento realizado con Transfer Learning. En este proceso, se tomaron los pesos de las capas convolucionales del modelo base y se construyeron modelos similares al procedimiento anterior. La diferencia radicó en que en las capas adicionales se comenzó con un valor de Learning Rate de 0.001 y entrenando cada modelo durante 5 épocas para hacer un calentamiento. Luego se disminuyó el Learning Rate a 0.00001 y se entrenó con 15 épocas. En (Fig. 36) se observa el comportamiento del Loss al final de las 15 épocas y en (Fig. 37) el Accuracy del modelo base con Dropout.

Fig. 36. Fig. 36. Loss del modelo con Dropout durante el entrenamiento por varias épocas usando Fuente: elaboración propia.

Fig. 37. Fig. 37. Accuracy del modelo con Dropout durante el entrenamiento por varias épocas usando Fine Tuning Fuente: elaboración propia.

En este caso, los nombres de los modelos poseen el acrónimo FT (Fine Tuning) y los resultados de Loss y Accuracy se ven en la Tabla 5 y Tabla 6.

Tabla 5 Tabla 5 Resumen Modelos Loss con Fine Tuning

Nombre del Modelo	Descripción	Loss Train	Loss Test
modeloFinalCV5	Modelo Base	0.2348	0.2498
modeloDPFinalCV5TLFT	Base con Dropout 0.2	0.0613	0.0791
modeloDPFinalCV52LTLFT	Base con Dropout 0.2 y 2 capas más	0.7268	0.8139
modeloFinalCV52LTLFT	Modelo Base con 2 capas más	0.7156	0.8346
modeloDPFinalCV54LTLFT	Base con Dropout 0.2 y 4 capas más	2.2961	2.2951

Fuente: elaboración propia.

Tabla 6 Tabla 6 Resumen Modelos Accuracy con Fine Tuning

Nombre del Modelo	Descripción	Accuracy Train		Accuracy Test
modeloFinalCV5	Modelo Base	0.9693	0.9631
modeloDPFinalCV5TLFT	Base con Dropout 0.2	0.9932	0.9894
modeloDPFinalCV52LTLFT	Base con Dropout 0.2 y 2 capas más	0.8466	0.8128
modeloFinalCV52LTLFT	Modelo Base con 2 capas más	0.8805	0.8286
modeloDPFinalCV54LTLFT	Base con Dropout 0.2 y 4 capas más	0.3717	0.4100

Fuente: elaboración propia.

Como se pudo observar, modificando el modelo base se obtuvieron diferentes modelos modificando su arquitectura, agregando más capas convolucionales o Dropout e, incluso, usando los pesos de las capas iniciales y entrenando las capas adicionales usando Transfer Learning . Fine Tuning. Dado que el Accuracy es la medida que se tomó para medir la eficiencia de los modelos y tomando en cuenta los resultados de las Tablas 2, 4 y 6 se decide tomar cuatro modelos para usar en el prototipo y evaluar con nuevas imágenes similares al del proceso de entrenamiento y test. Estos fueron el modelo base (Accuracy de 0.9631), el modelo base con 2 capas convolucionales más, junto con un Dropout y con pesos iniciales sin entrenar (Accuracy de 0.9758), al usar Transfer Learning el modelo base con los mismos pesos de las capas convolucionales y aplicando Dropout .Accuracy de 0.9831) y finalmente con Fine Tuning el modelo base con Dropout teniendo en cuenta que se modificó el Transfer Learning y se hizo un proceso de calentamiento de 5 épocas (Accuracy de 0.9831).

En la Tabla 7 se resumen los mejores modelos obtenidos de las técnicas empleadas y que se usaron para construir y evaluar el prototipo tomando como referencia el Accuracy.

Tabla 7 Tabla 7 Resumen Modelos Accuracy

Nombre del Modelo	Técnica usada	Descripción	Accuracy Train	Accuracy Test
modeloFinalCV5	Modelo Base Obtenido	Modelo Base	0.9693	0.9631
modeloDP2LYFinalCV5	Modificación del modelo base agregando Capas y Dropout	Base con Dropout 0.2 y 2 capas más	0.9698	0.9758
modeloDPFinalCV5TL	Modificación del modelo base agregando Dropout y usando Transfer Learning	Base con Dropout 0.2	0.9869	0.9831
modeloDPFinalCV5TLFT	Modificación del modelo base agregando Dropout y usando Fine Tuning	Base con Dropout 0.2	0.9932	0.9894

Fuente: elaboración propia.

Por su parte, en la Tabla 8 se muestran los valores de errores de estos mismos modelos usando el parámetro Loss.

Tabla 8 Tabla 8 Resumen Modelos Loss

Nombre del Modelo	Técnica usada	Descripción	Accuracy Train	Accuracy Test
modeloFinalCV5	Modelo Base Obtenido	Modelo Base	0.2348	0.2498
modeloDP2LYFinalCV5	Modificación del modelo base agregando Capas y Dropout	Base con Dropout 0.2 y 2 capas más	0.1265	0.1091
modeloDPFinalCV5TL	Modificación del modelo base agregando Dropout y usando Transfer Learning	Base con Dropout 0.2	0.1019	0.1316
modeloDPFinalCV5TLFT	Modificación del modelo base agregando Dropout y usando Fine Tuning	Base con Dropout 0.2	0.0613	0.0791

Fuente: elaboración propia.

Fuente: elaboración propia.

Como siguiente paso, se construyó un prototipo de software con la ayuda del Framework FLASK que permita hacer uso de los modelos construidos. De esta manera, un usuario final puede interactuar con los mismos de manera sencilla y a través de una Interfaz Gráfica de Usuario (GUI). Es importante resaltar que esta actividad se hizo con el fin de que los modelos fueran más sencillos de evaluar. Primero, se construye pensando en el intérprete como usuario experto de señas y conocedor de las necesidades de la población sorda.

En (Fig. 38) se define como actor al usuario que usará el prototipo de software, en este caso la persona intérprete de lengua de señas. El actor carga una imagen que contenga a una persona haciendo un gesto de las 22 señas establecidas. Luego ejecutara la orden para que el sistema sea capaz de mostrar la imagen cargada junto con una etiqueta que indica explícitamente cuál es de las 22 señas. Al finalizar la tarea, la persona intérprete regresa a la página de inicio para comenzar de nuevo.

Fig. 38. Fig. 38. Caso de uso del sistema Fuente: elaboración propia.

El prototipo de software, al tratarse de una aplicación Web, consta de diferentes objetos que interactúan entre sí de manera dinámica, como se aprecia en (Fig. 39).

Fig. 39. Fig. 39. Diagrama de secuencias del sistema Fuente: elaboración propia.

El primero de ellos es el intérprete que realiza una interacción con la GUI, donde carga la información y ve la respuesta del sistema. A su vez, esta GUI interactúa con el Backend o lógica del sistema que transforma la información recibida, la pasa al modelo obtenido y brinda una respuesta hacia la GUI. Dado que no se almacena esta información en una base de datos por el momento, no se cuenta con un objeto de persistencia de la información.

A continuación, se detalla la lógica del software con una descripción de las actividades secuenciales de su lógica y de forma visual en (Fig.40). El proceso de clasificación de imágenes en una de las señas establecidas es:

-Carga de la imagen de la señal de la página principal

-Carga del modelo de entrenamiento obtenido

-Almacenamiento de la imagen a matriz en escala de grises

-Almacenamiento de la imagen en formato RGB

-Transformación de la matriz de escala de grises a vector de una dimensión

-Ajuste de vector en formato de ingreso para la red neuronal

-Aplicar modelo a vector y guardar resultado en variable numérica de salida

-Convertir variable de salida en etiqueta de clase

-Enviar etiqueta de salida a página de respuesta

-Mostrar imagen almacenada en formato RGB en página de respuesta.

Fig. 40. Fig. 40. Diagrama de actividades del sistema Fuente: elaboración propia.

Para validar la eficiencia del prototipo, más específicamente del modelo construido, se realizó una prueba de concepto con la persona intérprete de LSC, con el fin de que desde el área usuaria se tenga una calificación objetiva del sistema. Para ello, basados en la información de [22] los 4 pasos de la validación del prototipo fueron los siguientes:

-Comprender el problema a resolver: se deseaba tener un software que fuera capaz de reconocer automáticamente un determinado conjunto de señas usado por las personas sordas en su comunicación diaria.

-Definir un target : las personas que harán uso de este software son aquellas que conocen este lenguaje ya que son las expertas y podrán decidir qué tan bueno es el prototipo para reconocer las expresiones o palabras realizadas.

-Mapear el recorrido: se desarrollarán una serie de actividades para que la persona que conoce el lenguaje de señas interactúe con el prototipo y de acuerdo con unas condiciones establecidas de su evaluación del producto.

-Bocetar la solución: este paso se omite, ya que el prototipo de software construido no varía por su arquitectura lógica o física establecida, sino por la calidad de los datos que se usan para construir el modelo. No obstante, de acuerdo con los resultados la retroalimentación obtenida es de gran valor para construir a futuro mejores modelos que soporten el prototipo y con ello un producto final de calidad.

De igual manera, con base en lo establecido en [23], se complementó la validación haciendo que la persona que conocía el lenguaje de señas interactuara con un software de fácil accesibilidad, de acuerdo con sus recomendaciones, manteniéndolo lo más simple posible. Dado que se probaría con nuevos datos y los resultados esperados podían variar, las hipótesis que se tenían fueron que algunas señas serían acertadas en su totalidad y otras no, razón por la cual en la validación se definieron condiciones para determinar mejor el asertividad del sistema.

Finalmente, la persona intérprete realizó las pruebas de manera objetiva, y una vez se obtuvieron los resultados, se le consultó su opinión sobre la viabilidad del uso de este modelo en un sistema de producción.

Con esta finalidad, se elaboró una lista de actividades y condiciones que se debían cumplir para poder realizar la evaluación del modelo. Estas fueron:

-Actividad 1: tomar nuevas imágenes de las personas que ayudaron a construir el repositorio, dentro de un ambiente similar al previamente usado, haciendo de nuevo las señas.

-Actividad 2: incluir a la persona intérprete en estas nuevas imágenes realizando las 22 señas.

-Actividad 3: en un fólder especifico de Test, crear para cada seña un fólder con el nombre de cada seña y guardar en ellas las imágenes de las 6 personas haciendo estos gestos.

-Actividad 4: para simplificar la evaluación, tanto en gestos estáticos como dinámicos, se toma una imagen de cada persona y en secuencia que completen la seña.

-Actividad 5: construir en un archivo Excel una matriz de confusión con la seña a realizar y la seña reconocida por el software.

Adicionalmente, incluir el nombre de la persona que realiza el gesto. Separar por cada uno de los modelos a evaluar.

-Condición 1: para cada seña evaluada, dado que se trabaja con 6 personas, se aceptará que el software es capaz de reconocer una seña si y solo si el 50 % o más de imágenes evaluadas son acertadas; en otras palabras, si 3 o más personas haciendo la seña son reconocidas correctamente, se puede decir que el software es capaz de reconocer correctamente esa seña.

-Condición 2: si una seña es categorizada erróneamente en otra clase que se repite 3 o más veces en las diferentes personas, la clasificación del sistema es errada. Si entra en conflicto con 3 personas categorizadas como correctas se considera una clase errónea.

-Evaluación: se considera el porcentaje de asertividad del modelo como la relación entre el número correcto de clases clasificadas sobre el total de clases existentes.

Con base en estas actividades y criterios, se construyeron los fólderes de (Fig. 41) para que la evaluación fuera más organizada y transversal para todos los modelos, teniendo así el mismo punto de comparación de los modelos obtenidos.

Fig. 41. Fig. 41. Folder con señas de Test clasificado por gestos Fuente: elaboración propia.

Al realizar las pruebas de concepto, se observó que se tienen aciertos y clasificaciones erróneas en las diferentes imágenes. Por ejemplo, al pasar una de las imágenes con la seña de CASA se tiene un acierto correcto de acuerdo con (Fig. 42).

Fig. 42. Fig. 42. Seña de CASA de test clasificada correctamente Fuente: elaboración propia.

Sin embargo, si se evalúa una seña como escuchar, se observa en la (Fig. 43) que se clasificó una imagen específica con otra clase de manera errónea.

Fig. 43. Fig. 43. Seña de ESCUCHA de test clasificada erróneamente Fuente: elaboración propia.

Por su parte, al evaluar una nueva imagen de otra persona se obtuvieron aciertos como en la clase COLOR de la (Fig. 44), mientras que con la clase TENERPOSESION se equivocó al clasificarla como YO en (Fig. 45).

Fig. 44. Fig. 44. Seña de COLOR de persona nueva de test clasificada correctamente Fuente: elaboración propia.

Fig. 45. Fig. 45. Seña de TENERPOSESION de persona nueva de test clasificada erróneamente. Fuente: elaboración propia.

De los resultados obtenidos, el mejor modelo es el que tomó el modelo base y le agrego un Dropout con 2 capas convolucionales más. Al tenerse 15 de 22 clases clasificadas correctamente, la eficiencia del prototipo de software es de un 68 %, lo cual es mejor que un modelo de probabilidad de distribución uniforme donde la eficiencia seria 1 dividido por el número de clases (22 en este caso que es igual a 4,5 %). Aunque este número es muy alto, no llega a un umbral aceptable como lo es igual o superior a 80 %, razón por la cual la persona intérprete no recomienda aún utilizarlo en ambientes productivos hasta que se mejore este número.

A pesar del resultado obtenido, el hecho de que el sistema sea capaz de clasificar nuevas imágenes con un porcentaje mayor al 50 % permite contestar la pregunta planteada para este proyecto. En definitiva, el aprendizaje de maquina sí puede ser usado para construir un software que sea capaz de reconocer señas de la LSC; sin embargo, su calidad dependerá de los datos que se usen para su modelo. Pese a que la cantidad de datos obtenidos con el apoyo de 5 personas dio buenos resultados, se debe contar con más imágenes de muchas más personas, factor muy crítico, ya que la disponibilidad de personas que se presten para este proyecto es compleja.

En comparación con la técnica SVM usada en el trabajo descrito en [11], se observa que el uso de CNN es mejor, ya que no se realiza tanto preprocesamiento de las imágenes, sino que, por el contrario, el sistema es capaz de detectar automáticamente en los patrones de gestos de las manos y otras partes del cuerpo la definición de cada clase o seña. Comparten en común que las calidades de las imágenes son muy importantes para la calidad del trabajo y que a mayor cantidad de clases la tarea se hace más compleja.

Por su parte, comparado con el trabajo desarrollado en [13], la cantidad de clases es menor en un tercio. Se comparte en común el construir un repositorio desde ceros, pero la cantidad de cálculos matemáticos más el uso de tecnología de sensores que se utilizaron generan que la técnica empleada en el trabajo descrito sea más engorrosa. Ambos trabajos ofrecen buenos resultados, por lo que hacer mezclas de las técnicas empleadas más los utensilios adicionales empleados permitirán realizar un mayor reconocimiento de señas de este tipo de lenguaje.

Dados los resultados obtenidos de predicción con personas conocidas, este software podría ser usado por entidades que en sus organigramas cuenten con personal de la población sorda. Incluso permitiría que las mismas entidades ya puedan ser más incluyentes con esta población en el mercado laboral sin que hayauna barrera de comunicación entre estas personas y los sistemas de información con ambientes de trabajo similares a los del INSOR.

Por ahora, la opción de SIEL es la más indicada para trabajar la interacción entre personas oyentes y sordas de público en general.

Dado que el lenguaje de señas por su propia naturaleza posee regionalismos en diferentes partes del país, uno de los mayores retos consistió en obtener un repositorio con señas representativas para el contexto colombiano. Para ello se debía contar con el apoyo de una institución gubernamental, como por ejemplo el INSOR. Lo primero que se debía establecer era a qué nivel de detalle se tomarían las muestras de las regiones colombianas, y si se hiciera por regiones naturales o si se hiciera por departamentos.

Sin importar el nivel de detalle escogido, el procedimiento a realizar era el mismo para la construcción del modelo computacional: primero construir el repositorio de imágenes con sus respetivas etiquetas de las palabras o expresiones autóctonas o específicas de la región. Posteriormente, realizar la construcción del modelo usando los mismos algoritmos de entrenamiento que se utilizaron para el prototipo y validar el mismo. Con base en la necesidad del software a implementar se puede construir un prototipo para cada región o uno central donde en su navegabilidad permita seleccionar la región donde se usará. Sin embargo, si una persona de otra región lo usara y ejecuta una seña propia de su región que no se encuentra registrada el sistema, no sería capaz de reconocerlo.

Dado lo anterior, el mejor método a usar es primero designar las regiones de interés y con base en ello seleccionar personal en cada una de ellas encargado de tomar los diferentes datos con los mismos estándares (tamaño de imágenes, luz, resolución de cámara, etc.) y posteriormente, de manera centralizada, construir un solo modelo que aplique para todo el país. Este mismo procedimiento podrá repetirse en otros países hacia futuro.