Evaluación de técnicas para mejorar la inicialización de parámetros en redes neuronales convolucionales.

Abstract

Este documento corresponde al reporte de resultados del trabajo realizado como pasantía de investigación en la Universidad de Texas el Paso (UTEP) en el marco del proyecto: “Aplicaciones de visión por computador: programa conjunto de formación en investigación itm – utep”. El objeto del trabajo fue evaluar el desempeño de un esquema de inicialización de parámetros, propuesto por los investigadores de UTEP Diego Aguirre y Olac Fuentes, y compararlo con esquemas clásicos. En el primer conjunto de experimentos se evalúa el esquema variando sus hiperparámetros para hallar valores óptimos y en el segundo conjunto de experimentos se compara su desempeño con esquemas de inicialización clásicos. Los dos conjuntos de experimentos se realizan en dos redes convolucionales preentrenadas y en una red neuronal convolucional. Además, se evalúa la red neuronal, con el nuevo esquema, preinicializando sus capas convolucionales con filtros de Gabor y con matrices ortogonales para comparar su desempeño. En todos los experimentos realizados el esquema de inicialización propuesto por los investigadores de la UTEP converge más rápido y generaliza mejor que los esquemas clásicos.