A Mixed Methods Framework for Usability Profiling in Learning Environments: Integrating Adapted Heuristics and Machine Learning
Portada
Cargando...
Citas bibliográficas
Gestores Bibliográficos
Indexadores
Código QR
Autor corporativo
Recolector de datos
Otros/Desconocido
Director audiovisual
Editor
Instituto Tecnológico Metropolitano (ITM)
Fecha
Citación
Título de serie/ reporte/ volumen/ colección
Es Parte de
Descripción
Traditional usability evaluations of Learning Management Systems are often based on aggregate metrics that mask the heterogeneous experiences of diverse user populations, thus yielding limited actionable insights for personalized improvements. To address this significant gap, this research proposed a systematic six-phase methodological framework that integrates user-centered design principles, contextually adapted educational heuristics, and advanced machine learning techniques to deconstruct usability data and generate distinct data-driven user profiles. The methodology consisted of an empirical single-case study using a mixed-method approach to evaluate the implementation of a virtual Moodle environment for adult education in Comfacauca in Colombia. Data were collected from a heterogeneous sample of 50 students using the System Usability Scale questionnaire and the qualitative think-aloud protocol. These datasets were analyzed by combining descriptive statistics with Principal Component Analysis and K-means clustering. Although the platform achieved a strong aggregate SUS score of 73.9, analytical results enabled the successful identification of four distinct user profiles with unique technical needs, behavioral patterns, and cognitive challenges, which would have remained hidden with conventional single-score methods. For example, the framework revealed that perceptions of usability were more strongly correlated with the students' academic cycle than with their chronological age, directly challenging common demographic stereotypes. Finally, it is concluded that this comprehensive framework provides a reproducible methodological protocol for educational institutions to gain deeper, user-centered insights. This approach enables the transition from generic adjustments to the development of highly specific and differentiated support strategies, demonstrating the profound value of combining traditional usability methods with unsupervised clustering algorithms to transform general user feedback into actionable pedagogical intelligence.
Las evaluaciones de usabilidad tradicionales de los Sistemas de Gestión del Aprendizaje suelen basarse en métricas globales que enmascaran las experiencias heterogéneas de las diversas poblaciones de usuarios, proporcionando información útil limitada para realizar mejoras personalizadas. Para abordar esta brecha, esta investigación propuso un marco metodológico de seis fases que integró principios de diseño centrado en el usuario, heurísticas educativas adaptadas contextualmente y técnicas de aprendizaje automático para deconstruir datos de usabilidad y generar perfiles de usuario basados en datos. La metodología consistió en un estudio empírico de caso único que utilizó un enfoque de métodos mixtos para evaluar la implementación de un entorno virtual Moodle de educación de adultos en Comfacauca, Colombia. Los datos se recopilaron en una muestra heterogénea de 50 estudiantes utilizando la Escala de Usabilidad del Sistema y el protocolo cualitativo de pensamiento en voz alta. Estos conjuntos de datos se analizaron combinando estadística descriptiva con el Análisis de Componentes Principales y algoritmos de agrupamiento K-means. Aunque la plataforma obtuvo una buena puntuación global SUS de 73.9, los resultados lograron la identificación exitosa de cuatro perfiles de usuario distintos con necesidades técnicas, patrones de comportamiento y retos cognitivos, lo que habría permanecido invisible utilizando métodos convencionales de puntuación única. En esta línea, el marco reveló que la percepción de usabilidad estuvo más fuertemente correlacionada con el ciclo académico de los estudiantes que con su edad cronológica, desafiando estereotipos demográficos comunes. Finalmente, se concluye que este marco proporciona un protocolo metodológico reproducible para que las instituciones educativas obtengan conocimientos más profundos y centrados en el usuario. Este enfoque facilita el desarrollo de estrategias de apoyo específicas y diferenciadas, demostrando el valor de combinar métodos tradicionales de usabilidad con algoritmos de agrupamiento para transformar los comentarios generales en inteligencia pedagógica procesable.
Las evaluaciones de usabilidad tradicionales de los Sistemas de Gestión del Aprendizaje suelen basarse en métricas globales que enmascaran las experiencias heterogéneas de las diversas poblaciones de usuarios, proporcionando información útil limitada para realizar mejoras personalizadas. Para abordar esta brecha, esta investigación propuso un marco metodológico de seis fases que integró principios de diseño centrado en el usuario, heurísticas educativas adaptadas contextualmente y técnicas de aprendizaje automático para deconstruir datos de usabilidad y generar perfiles de usuario basados en datos. La metodología consistió en un estudio empírico de caso único que utilizó un enfoque de métodos mixtos para evaluar la implementación de un entorno virtual Moodle de educación de adultos en Comfacauca, Colombia. Los datos se recopilaron en una muestra heterogénea de 50 estudiantes utilizando la Escala de Usabilidad del Sistema y el protocolo cualitativo de pensamiento en voz alta. Estos conjuntos de datos se analizaron combinando estadística descriptiva con el Análisis de Componentes Principales y algoritmos de agrupamiento K-means. Aunque la plataforma obtuvo una buena puntuación global SUS de 73.9, los resultados lograron la identificación exitosa de cuatro perfiles de usuario distintos con necesidades técnicas, patrones de comportamiento y retos cognitivos, lo que habría permanecido invisible utilizando métodos convencionales de puntuación única. En esta línea, el marco reveló que la percepción de usabilidad estuvo más fuertemente correlacionada con el ciclo académico de los estudiantes que con su edad cronológica, desafiando estereotipos demográficos comunes. Finalmente, se concluye que este marco proporciona un protocolo metodológico reproducible para que las instituciones educativas obtengan conocimientos más profundos y centrados en el usuario. Este enfoque facilita el desarrollo de estrategias de apoyo específicas y diferenciadas, demostrando el valor de combinar métodos tradicionales de usabilidad con algoritmos de agrupamiento para transformar los comentarios generales en inteligencia pedagógica procesable.