https://doi.org/10.37815/rte.v36ne1.1204

Artículos originales

MoTE: Desarrollo de una Herramienta Informática para el Monitoreo del Compromiso Estudiantil

MoTE: Development of a Tool for Monitoring of sTudent Engagement

Jorge
Maldonado-Mahauad1 https://orcid.org/0000-0003-1953-390X, Felipe Mendieta1 https:// orcid.org/, Carlos Muñoz1 https://orcid.org/

1Universidad de Cuenca, Cuenca, Ecuador

[email-masked], [email-masked], [email-masked]

.

Esta obra
está bajo una licencia internacional Creative
Commons Atribución-NoComercial 4.0

Enviado: 2024/07/11 Aceptado: 2024/10/03
Publicado: 2024/10/15

Resumen

El compromiso estudiantil (engagement, en inglés) en
el aprendizaje es crucial para el rendimiento académico, la
motivación y la participación activa. Sin embargo, medir y dar
cuenta del engagement estudiantil, tanto en sesiones presenciales como en
línea, sigue siendo un desafío para los educadores. Los métodos existentes, como los autoinformes, las entrevistas e
incluso las herramientas de seguimiento ocular en tiempo real, carecen de un
enfoque de participación multidimensional (es decir, cognitivo, afectivo
y conductual). En respuesta, este artículo presenta el desarrollo y
evaluación de MoTE, una herramienta en tiempo real para monitorear el
engagement de los estudiantes. Siguiendo una metodología de
Investigación Basada en el Diseño, detallamos las fases de
identificación de indicadores y visualizaciones para satisfacer las necesidades de profesores y estudiantes, culminando con la propuesta de un prototipo inicial.
Se finaliza con la evaluación con 146 estudiantes en contextos presenciales y en línea, proporcionando información valiosa sobre
los indicadores, paneles
y funcionalidades para
diseñar una herramienta efectiva de seguimiento del engagement de los
estudiantes. Este trabajo no solo propone un enfoque innovador para evaluar el
engagement, sino que también abre vías para futuras investigaciones
y aplicaciones prácticas en educación.

Palabras clave: analíticas de aprendizaje, compromiso estudiantil, herramientas
pedagógicas, interacción en el aula.

Abstract

Student engagement in learning is crucial for academic
achievement, motivation, and active participation. However, measuring and accounting for student engagement, both in face-to-face and online sessions, remains
a challenge for educators. Existing
methods, such as self-reports,
interviews, and even real-time eye tracking tools, lack a multidimensional engagement approach
(i.e., cognitive, affective, and behavioral). In response, this article presents
the development of MoTE, a real-time tool for monitoring student engagement. Following a Design-Based Research
methodology, we detail the phases of identification of indicators and
visualizations to meet the needs of teachers and students, culminating with the
proposal of the architecture, and the implementation of an initial prototype.
It ends with the evaluation with 146 students in face- to-face and online contexts,
providing valuable information on the indicators, dashboards, and
functionalities to design an effective tool for monitoring student engagement.
This work not only proposes an innovative approach to assessing engagement but also opens avenues for future
research and practical applications in education.

Keywords: pedagogical tools, learning
analytics, student engagement, classroom interaction.

Introducción

La incorporación de la tecnología digital en el ámbito de la educación universitaria ha transformado profundamente la experiencia del
estudiante, modificando las estructuras tradicionales de enseñanza y aprendizaje. Este cambio apunta a la necesidad de adoptar nuevas estrategias pedagógicas que complementen la tecnología con métodos de enseñanza para mejorar
el proceso educativo (Pérez-Sanagustín, et al., 2022). Sin
embargo, la mera presencia de la tecnología en el aula no garantiza por
sí sola un avance educativo significativo (Sosa, 2017). Por lo tanto, es
necesario que su integración facilite el acercamiento de los profesores
a los estudiantes de una manera más significativa, fomentando un entorno
educativo que incentive tanto la participación emocional como
intelectual de los estudiantes con su proceso educativo (Bond, et al., 2020).
En este contexto, surge una preocupación central entre los docentes, y
es la disminución del compromiso (engagement, en inglés) de los
estudiantes en el aula, ya sea presencial (es decir, cara a cara) o a distancia
(es decir, en línea) (Imlawi,
2021). El engagement de los estudiantes juega un
papel crucial en el proceso de enseñanza y aprendizaje de los
estudiantes. Según una investigación reciente (Anand, 2023), el
nivel de engagement es un indicador clave del rendimiento académico, el
desarrollo cognitivo e incluso es un predictor de la deserción
estudiantil. Un alto grado de compromiso significa que los estudiantes
están involucrados emocional y cognitivamente en su aprendizaje (Anand, 2023). Esto se traduce
en una mayor motivación, participación en el aula y un
mejor rendimiento académico.

El papel del docente es fundamental para
promover este compromiso (Anand, 2023), donde la integración efectiva de
las tecnologías digitales en el aula puede servir como una herramienta
valiosa para capturar datos sobre el compromiso (engagement, en inglés)
de los estudiantes, ofreciendo a los profesores la oportunidad de
diseñar o rediseñar sus prácticas pedagógicas a partir de la evidencia de datos (Sosa,
2017). De esta manera, se pueden promover estrategias más efectivas
y adaptadas a las necesidades de los estudiantes. Para contribuir al campo de estudio, este artículo presenta
MoTE (Monitoring sTudent Engagement), diseñada para supervisar
la implicación/compromiso de los estudiantes y diseñada para superar las limitaciones
de las herramientas existentes y proporcionar una herramienta que
abarque las necesidades tanto de los profesores como de los estudiantes. MoTE
aborda la necesidad de monitorear y fomentar la participación de los estudiantes, destacando su importancia para el éxito académico.
Para lograrlo, este artículo explora
diversas definiciones y modelos de participación estudiantil

que ponen de manifiesto su complejidad y la variedad de
factores que influyen en ella, desde la participación en el aprendizaje hasta el bienestar
emocional y la participación conductual en el entorno educativo. Además,
este artículo examina las técnicas y herramientas
informáticas existentes diseñadas para evaluar y monitorear la
participación de los estudiantes, que han servido como innovaciones tecnológicas que han dado forma a la forma
en que los educadores e investigadores abordan la participación de los estudiantes. También se presenta
el proceso de diseño e implementación
seguido que puede servir de guía para el desarrollo de innovaciones
educativas y que se logre su adopción en los contextos educativos.

Este documento está organizado de
la siguiente manera. En la sección 2 se presenta el trabajo relacionado y las preguntas de investigación; en la sección 3 se describe
la metodología
utilizada y cómo se diseñó, implementó y evaluó (por estudiantes) la herramienta. En la sección 4 se presenta un resumen
de las principales conclusiones y las líneas de trabajo futuras.

Trabajo Relacionado

Definición de Compromiso Estudiantil

Varios investigadores han ofrecido
varias definiciones de la participación de los estudiantes. Por ejemplo,
autores como Fredricks, et al. (2004) mencionan que el engagement suele
entenderse como el grado de implicación y esfuerzo que los estudiantes
invierten en su aprendizaje. Según Zapata (2018), el compromiso
estudiantil se define como la participación activa de los estudiantes en las actividades académicas. Por su parte, Barkley
(2010) describe el compromiso en un contexto universitario
como un resultado dinámico, que se experimenta de manera continua
y emerge de la interacción entre la motivación y el aprendizaje activo. Para los propósitos de este trabajo,
la participación de los estudiantes se conceptualiza como el nivel de
energía y esfuerzo que estos dedican a su entorno de aprendizaje (Bond, 2020). Esta definición de participación estudiantil es amplia, abarcando aspectos cognitivos, emocionales y conductuales,
con un enfoque en la atención, la participación y la motivación de los estudiantes. La dimensión
cognitiva del compromiso se refiere a los procesos mentales y actividades
asociadas con el aprendizaje y la comprensión, lo que implica que los estudiantes participen en la construcción de
significados, el razonamiento crítico y la resolución de problemas. Un estudiante comprometido
cognitivamente muestra altos niveles de atención y
concentración en las tareas académicas, además de un deseo de adquirir
nuevos conocimientos y habilidades (Bond, 2020). La dimensión
emocional del compromiso se centra en las respuestas afectivas de los
estudiantes hacia su entorno educativo, incluyendo profesores,
compañeros, estudios y la institución educativa en general. Esto
abarca sentimientos de conexión emocional, satisfacción y
bienestar en relación con el aprendizaje y la experiencia
académica. Los estudiantes comprometidos afectivamente muestran
entusiasmo, interés y una actitud positiva hacia el proceso de aprendizaje. Finalmente,
la dimensión conductual del compromiso se refiere a las acciones y comportamientos observables
de los estudiantes en el entorno educativo, como la participación en actividades de aprendizaje,
la interacción con compañeros y profesores, y la asistencia
regular a clases. Los estudiantes comprometidos conductualmente demuestran un alto nivel
de participación y dedicación en su
proceso educativo.

Modelos para Estudiar
el Engagement Estudiantil

El engagement de los estudiantes se desarrolla con la intención de optimizar su aprendizaje y analizar su relación con la
deserción y la culminación exitosa de sus estudios (Reschly, et
al., 2012). Actualmente, el
engagement se entiende como un concepto multidimensional que incorpora diferentes perspectivas, como la emocional, la conductual y la cognitiva, entre otras. Los
modelos que se presentan a continuación ofrecen distintos marcos para
entender cómo y por qué los estudiantes se involucran en su proceso
de enseñanza y aprendizaje. El modelo de

participación basado en Wong, et al. (2022)
presenta una definición formal de la participación
y desvinculación de los estudiantes, destacando que la
participación de los estudiantes ocurre cuando participan activamente en
las actividades propuestas por el programa escolar. Esta visión presenta
el compromiso y la desvinculación como conceptos opuestos y
señala que la ausencia de compromiso se manifiesta a través del
ausentismo, la apatía y la desmotivación entre los estudiantes. El modelo de participación e identificación introducido por Finn (2012), según (Beekhoven, 2005),
distingue entre los componentes conductuales (participación) y emocionales (identificación) del compromiso
del estudiante. La participación se describe como el involucramiento activo del estudiante en actividades académicas y no académicas, considerando
el absentismo como una manifestación negativa de dicha
participación. La identificación se refiere al sentido de
pertenencia de los estudiantes a su escuela, donde se sienten aceptados,
apoyados y valoran la educación.

La Teoría del Flujo, propuesta por Nakamura (2009), se centra en la experiencia humana óptima conocida como
"flujo", un estado mental de inmersión total y
concentración en una actividad. Esta teoría sugiere que el flujo
se alcanza cuando hay un equilibrio entre el nivel de habilidad de la persona y el desafío que presenta la
tarea. El aprendizaje es más efectivo cuando los estudiantes se
encuentran en un estado de flujo, ya que esto favorece la retención de
información, la solución de problemas complejos y el disfrute del
proceso de aprendizaje, gracias a objetivos claros y retroalimentación
inmediata.

El modelo multidimensional propuesto por
Fredricks (2004) define el compromiso de los estudiantes como un metaconstructo
que incluye tres componentes principales: cognitivo, afectivo y conductual.
Este modelo trasciende la idea de participación simple, enfatizando no
solo la importancia de la participación o conducta de los estudiantes, sino también la relevancia
de los aspectos emocionales y cognitivos del compromiso. Para este trabajo se
ha tomado como referencia este modelo, ya que su enfoque multidimensional
permite una comprensión más completa del compromiso, facilitando
la identificación de estrategias pedagógicas y de
intervención más efectivas para promover todos los aspectos del
compromiso del estudiante. Además, proporciona un marco sólido
para investigar cómo los diferentes componentes interactúan entre sí y contribuyen al éxito académico al considerar el compromiso de estas tres dimensiones interrelacionadas.

Herramientas para el Monitoreo del Engagement Estudiantil

El seguimiento de la
participación de los estudiantes es un reto debido a la diversidad de sus componentes, pero se han desarrollado varias
herramientas y técnicas para dar cuenta
de la participación. Entre las técnicas más comunes se encuentran: (1) Autoinformes, que recogen
datos directamente de los estudiantes sobre su propia
experiencia de aprendizaje, aunque varían
en contenido, lo que dificulta la comparación entre estudios (Darr,
2012); (2) Entrevistas, que proporcionan una comprensión profunda de las razones de la variabilidad en la participación de los estudiantes, ofreciendo detalles sobre sus experiencias y factores influyentes (Hofkens, 2019);

(3) Observaciones, útiles para identificar
comportamientos relacionados con el compromiso individual o grupal, tanto positivos
como negativos, mediante la evaluación del comportamiento
académico (Rimm-Kaufman, 2009); y (4) medidas en tiempo real,
como archivos de registro y seguimiento ocular, que proporcionan datos sobre
las fluctuaciones en la participación de los estudiantes en actividades
en línea, aunque presentan desafíos en la interpretación
de los datos para la aplicación pedagógica. Estas técnicas
demuestran la complejidad de medir la participación de los estudiantes y la importancia de seleccionar métodos apropiados para mejorar
la educación (Rimm-Kaufman, 2009).

En relación con las herramientas
utilizadas para analizar el compromiso de los estudiantes, han sufrido una revolución gracias
al desarrollo de herramientas informáticas que permiten una evaluación
precisa y en tiempo real. Entre estas herramientas informáticas se
encuentran: Classmoto, una aplicación web diseñada para entornos universitarios, que destaca por su
capacidad para medir las dimensiones sociales, afectivas y cognitivas del
engagement. A través de breves cuestionarios administrados durante la clase, los profesores pueden obtener
comentarios instantáneos, visualizables en un panel de control que
refleja el nivel general e individual de participación de los estudiantes, según lo documentado por Bonner, et al (2022). SEAT, introduce una metodología multimodal para evaluar la participación, recopilando datos a través de cámaras, audio y navegación web. Esta aplicación procesa la información recopilada para ofrecer a los profesores un cuadro de mando que facilite la intervención personalizada en momentos críticos de desvinculación del
alumnado, tal y como destacan Aslan,
et al (2019). Otra herramienta es Sens, que surge como una solución para analizar el compromiso conductual y afectivo en tiempo real, utilizando cámaras y sensores
ambientales para capturar
el grado de atención y las respuestas
emocionales de los estudiantes. Los datos obtenidos permiten a los educadores
optimizar las estrategias didácticas y mejorar la experiencia educativa,
tal y como se detalla en ViewSonic (2023).

Por último, Real Time Camera propone un enfoque novedoso basado en el reconocimiento facial y de poses para monitorizar la atención de los estudiantes en el aula,
utilizando algoritmos de
aprendizaje automático para evaluar el compromiso (Uçar, 2022).
Estas herramientas han mejorado significativamente la comprensión y el seguimiento de la participación, contribuyendo
a la evolución de los métodos pedagógicos en los
entornos educativos digitales. En la Tabla
1 se presenta un resumen de las herramientas anteriores presentadas.

Tabla 1

Resumen de Herramientas para medir el
Engagement

HERRAMIENTA

METODOLOGÍA

TECNOLOGÍAS UTILIZADAS

PRINCIPALES RESULTADOS

Classmoto

Aplicación web para medir la participación de los estudiantes en el ámbito de la educación superior.

Encuesta en clase,
compromiso social, emocional
y cognitivo.

Eficiencia en la captura de datos en tiempo real, acceso inmediato para los docentes, y reconocimiento de limitaciones con sugerencias para futuras
mejoras.

SEAT

Tecnología multimodal Análisis de la participación de los
estudiantes en tiempo real.

Registros integrados de cámara, datos de plataforma, vídeo y
audio.

Influencia notable en las prácticas e duc a t i va s, re duc c i ón de l aburrimiento
entre los estudiantes, y apoyo
personalizado en tiempo real.

Sens

Herramienta para la recolección de datos comportamentales y emocionales
en tiempo real.

Sensores ambientales, cámara para medir la atención, panel de
control.

Captura de datos en tiempo real, apoyo a decisiones estratégicas
para los docentes, y
optimización de la experiencia
de aprendizaje.

Real Time Camera

Vigilancia mediante
cámaras para el
reconocimiento facial y detección de posturas de la cabeza
en tiempo real.

Identificación facial,
posturas de la

cabeza,
evaluación de distracciones.

Éxito en la identificación facial y la detección de posturas de la
cabeza, vinculando la
distracción con la atención
del estudiante.

Cada una de las herramientas presentadas
en la Tabla 1 para medir la participación de los estudiantes en los
entornos educativos tiene sus propias limitaciones. Classmoto, aunque es eficaz
en la recopilación de datos en tiempo real y proporciona visibilidad
inmediata a los profesores, se enfrenta a restricciones que se han identificado y requieren recomendaciones para su desarrollo futuro. SEAT, que utiliza tecnología multimodal para el análisis de la participación
de los estudiantes en tiempo real, tiene un impacto significativo en las
prácticas docentes y reduce el aburrimiento de los estudiantes, pero su
dependencia de múltiples fuentes de datos

(cámara, plataforma, URL, video y registros de audio) puede complicar su implementación y uso continuo. SENS, que recopila datos
conductuales y afectivos en tiempo real a través de sensores
ambientales y cámaras para métricas de atención, ofrece
recopilación de datos en tiempo real y toma de decisiones
estratégicas para los maestros, pero su enfoque en sensores y
cámaras puede presentar desafíos en términos de privacidad
y aceptación por parte de los estudiantes. La herramienta Real Time Camera, especializada en el
seguimiento del reconocimiento facial y las poses de la cabeza en tiempo real,
ha tenido éxito en estas áreas específicas y en asociar la
distracción con la atención de los estudiantes; sin embargo, su
aplicación puede limitarse a contextos en los que se priorizan estas
métricas.

Finalmente, si bien estas herramientas han demostrado ser efectivas y útiles para medir la participación de los estudiantes, la amplia variedad
de cuestionarios, análisis visuales, auditivos
y táctiles, junto con el uso de cámaras y sensores, pueden
presentar desafíos en la integración y gestión de estos diversos datos en diferentes contextos educativos. Además, muchos de estos métodos son invasivos para
los estudiantes, lo que requiere una herramienta menos intrusiva con la que los
estudiantes estén más familiarizados y se sientan más
cómodos usando. Otro factor importante desde la perspectiva de las
instituciones educativas es que la mayoría de las herramientas presentadas en la Tabla 1 para medir el compromiso son costosas de implementar
y no son de libre acceso. Por estas razones,
MoTE ha sido diseñado como una herramienta móvil
abierta (https://mote.ucuenca.edu.ec/).

Contribución y Preguntas de Investigación

En este artículo se presenta el
proceso de diseño seguido para el desarrollo de MoTE (Monitoring sTudent
Engagement), una herramienta en tiempo real para el seguimiento de la
participación de los estudiantes. Los objetivos de la herramienta MoTE
son: (1) monitorear la participación
de los estudiantes; (2) proporcionar un tablero con visualización de datos para el
profesor; (3) facilitar la interacción entre estudiantes y profesores; y (4) garantizar la usabilidad y accesibilidad. Para ello, MoTE recopila datos
sobre la participación de los estudiantes en el contexto educativo (presencial / en línea). Dos
preguntas de investigación guiaron todo el proceso de diseño de
MoTE que se describen a continuación:

•
(P.I.1) ¿Cuáles son
los indicadores y visualizaciones que deben incluirse en una herra-mienta para monitorear la
participación de los estudiantes?

•
(P.I.2) ¿Cómo perciben los usuarios finales
un prototipo de herramienta que incluye
los indicadores identificados en términos de usabilidad y experiencia de
usuario?

Metodología

Para el diseño de MoTE se siguió el enfoque metodológico de la Investigación Basada en el Diseño DBR - Reinmann
(2011). Este enfoque mezcla la investigación empírica sobre
educación con teorías orientadas al diseño de ambientes de
aprendizaje, desde el análisis y diseño hasta la
implementación y evaluación. Para aplicar el enfoque
metodológico DBR, se utilizó el marco de trabajo
del Diseño Interactivo de Aprendizaje (ILD, Bannan-Ritland, 2003). El
marco de ILD organiza el proceso de investigación en tres fases:
(1) Exploración informada, en la que estudiamos las necesidades, las teorías disponibles y la audiencia
de la herramienta;

(2) Promulgación, fase en la que se propone e
implementa el diseño de una herramienta; (3) Evaluación del impacto local,
que tiene como objetivo evaluar
el impacto de la intervención a nivel local, centrándose en preguntas de investigación particulares para ese contexto (ver Figura
1). A continuación, se describe cada una de las fases.

Figura 1

Fases del Marco
ILD

Fase de Exploración Informada

El objetivo principal
de la fase de Exploración Informada fue identificar los indicadores de
participación a incluir en la herramienta MoTE considerando tanto a los
docentes como a los estudiantes (relacionados con la P.I.1).
En concreto, se realizó un análisis de los indicadores existentes en las
herramientas existentes para identificar los indicadores que se
utilizarán en la herramienta MoTE. Este proceso
se estructuró en dos etapas:
(1) análisis de los indicadores existentes; y (2)
selección de indicadores.

Paso 1.
Análisis de los indicadores existentes. Se realizó un
análisis de los indicadores desde una perspectiva multidimensional de la
participación de los estudiantes. Dentro de la literatura, es posible evidenciar diferentes indicadores que han sido utilizados (Reschly, 2012), y varían en el número de ítems de
cada componente y de acuerdo con las fuentes consultadas. Por último, sobre la base de una reciente revisión sistemática de (Bond,
2020) se presenta
una clasificación de los cinco indicadores más utilizados
(véase la Tabla 2).

Tabla 2

Indicadores de Engagement más utilizados

N.

CONDUCTUAL

AFECTIVO

COGNITIVO

1

Involucramiento / Participación

/ Interacción.

Relaciones positivas con compañeros y docentes.

Aprendizaje Colaborativo.

2

Logros.

Placer.

Autogestión.

3

Seguridad en uno mismo.

Interés.

Comprensión profunda.

4

Asumir responsabilidades.

Entusiasmo.

Pensamiento crítico.

5

Hábitos de estudio.

Sentimiento de conexión / satisfacción emocional.

Concentración en la tarea.

Los indicadores de participación
estudiantil más utilizados abarcan las dimensiones conductual, afectiva
y cognitiva. Los indicadores de comportamiento, como la participación,
los logros, la confianza, la responsabilidad y los hábitos de estudio,
reflejan la participación y el compromiso de los estudiantes. Los indicadores afectivos, como las interacciones positivas, el disfrute, el interés, el entusiasmo y los
sentimientos de conexión, destacan los aspectos emocionales del compromiso. Los indicadores cognitivos como el aprendizaje de los compañeros,
la autorregulación, el aprendizaje profundo, el pensamiento
crítico y el enfoque en las tareas demuestran el compromiso intelectual
de los estudiantes. Estos indicadores proporcionan una comprensión
integral de cómo los estudiantes interactúan, sienten y procesan
cognitivamente sus experiencias educativas.

Paso 2. Selección de indicadores.
Con base en la lista de indicadores de la Tabla 2 y considerando los cuatro objetivos
del MoTE (sección D), se seleccionaron varios indicadores para
monitorear y reflejar las múltiples dimensiones de la
participación de los estudiantes (conductual,

cognitiva y afectiva.
Ver Tabla 3). MoTE puede complementar las otras herramientas revisadas al proporcionar un enfoque más integrado y menos
intrusivo para medir
la participación de los
estudiantes. Si bien herramientas como Classmoto, SEAT, Sens y Real Time Camera ofrecen información
valiosa a través de varios métodos de recopilación de
datos, MoTE tiene como objetivo optimizar esta información en una
plataforma móvil que sea accesible y fácil de usar tanto para estudiantes como para educadores. La decisión de incluir indicadores específicos en
MoTE se basó en su eficacia comprobada para capturar aspectos
críticos de la participación. Los indicadores conductuales, como la participación en clase, reflejan
la implicación activa,
los indicadores cognitivos, como la autorregulación hacia los
objetivos, abarcan los procesos de aprendizaje profundo, y los indicadores
afectivos, como la pertenencia y el estado emocional, captan la conexión
y los sentimientos de los estudiantes hacia su experiencia educativa. Al integrar
estos indicadores seleccionados, MoTE proporciona un método integral pero simplificado
para rastrear y mejorar la participación de los estudiantes en
diversos entornos educativos.

Tabla 3

Indicadores de Engagement seleccionados

COMPONENTE

INDICADOR

VARIABLE

Conductual.

Involucramiento
en la clase.

Observaciones y preguntas durante la clase.

Afectivo.

Autogestión de metas, metacognición, comprensión profunda.

Responder encuestas, comprender o no comprender un tema

Cognitivo.

Sentido de pertenencia, conexión percibida con profesores y compañeros en la universidad, interés, disfrute.

El estado emocional del estudiante durante la clase.

Las métricas y variables presentadas en la Tabla
3 proporcionan un marco estructurado para el diseño de MoTE, centrándose en las dimensiones conductuales, cognitivas y afectivas de la participación de los estudiantes. Para el componente conductual, el indicador de participación
en clase, medido a través de comentarios y dudas en clase, se
puede incorporar a MoTE incluyendo botones de acción para que los estudiantes envíen preguntas y comentarios en tiempo real.
Esto permitirá un seguimiento activo y fomentará la
participación de los estudiantes.

En la dimensión cognitiva,
indicadores como la autorregulación hacia metas, la metacognición y el aprendizaje profundo se pueden
evaluar a través de opciones para que
los estudiantes respondan encuestas, proporcionen retroalimentación
sobre su comprensión o indiquen si no entienden un tema. Los botones de acción para estas respuestas pueden facilitar
ajustes en tiempo real en los métodos y materiales de enseñanza
para adaptarse mejor a las necesidades de los estudiantes. Para el componente afectivo, indicadores como la pertenencia, la conexión percibida
con la clase, el interés y el placer por aprender se pueden rastrear
monitoreando el estado emocional del estudiante durante toda la clase. MoTE
puede incluir funciones como rastreadores de estado de ánimo o indicaciones para que los estudiantes expresen
sus sentimientos sobre
la clase. Estos
podrían implementarse como simples botones
de acción o controles deslizantes que permiten
a los estudiantes expresar su estado emocional
en diferentes momentos de la
lección. Al integrar estos indicadores y variables, MoTE puede ofrecer
una herramienta integral y dinámica para que los educadores midan y mejoren la participación de los
estudiantes. El uso de botones accionables y funciones interactivas garantiza que la recopilación
de datos sea fluida y que los comentarios de los estudiantes se
incorporen continuamente al proceso de aprendizaje.

Diseño e Implementación

Esta
sección se dedica
a detallar el proceso de diseño e implementación de MoTE, desde la
idea inicial hasta la versión final. Se expone cómo se conceptualizó la herramienta y cómo se identificaron los requisitos funcionales y no funcionales, asegurando su adecuación tanto a los usuarios como al objetivo educativo.
El diseño y la implementación de MoTE se inspiran en la
metodología Lean Startup de (Ries, 2011), que promueve el desarrollo
ágil y adaptativo de productos, así como en los principios de
usabilidad y diseño centrado en el usuario, tal como lo describe
(Nielsen, 1993). MoTE no solo pretende ser una herramienta para recopilar datos
sobre la participación de los estudiantes, sino también un
recurso para mejorar la dinámica educativa mediante la comunicación efectiva y la retroalimentación en tiempo real. Este enfoque
iterativo y basado
en la evidencia es crucial
en el ámbito del desarrollo de tecnología educativa, ya que facilita la
creación de soluciones que no solo son técnicamente
sólidas, sino también pedagógicamente significativas. La estructura de MoTE se organiza en dos módulos principales:
la interfaz para el estudiante y la interfaz para el profesor.

Interfaz del Estudiante

Los prototipos iniciales de las
pantallas se desarrollaron utilizando el método de Diseño por Analogía (Design
by Analogy en inglés) (Jia, et al., 2018). Este enfoque consiste
en incorporar características de diseño exitosas
de aplicaciones ya consolidadas. Basándose en los principios teóricos, se propusieron funcionalidades preliminares como encuestas y comentarios en
tiempo real. Al aplicar DbA, se
adoptaron las funciones de inicio de sesión de Kahoot para los profesores y las encuestas de Socrative para los estudiantes. El primer prototipo
se presenta en la Figura 2.

Figura 2

Primera Iteración de MoTE

Una vez que se completó el primer
prototipo interactivo de MoTE (ver Figura 2) (basado en la revisión de
la literatura y la Tabla 3), se
recibió una retroalimentación temprana de los 3 investigadores
que eran expertos en el campo de las tecnologías educativas a
través

de entrevistas. A través de estas, fue posible
validar inicialmente las opciones iconográficas utilizadas para reflejar
la multidimensionalidad de la participación de los estudiantes en la
herramienta MoTE. Además,
también se entrevistó a 15 estudiantes y 10 profesores sobre su
percepción de las primeras pantallas. A partir de los resultados obtenidos en las entrevistas, se incorporaron nuevas funciones y se reorganizaron algunas pantallas, en consonancia con DBR.
Además, para optimizar la estética y la accesibilidad de la
interfaz, se aplicaron los principios
de diseño universal de (Lidwell, 2003).
La Figura 3 presenta el resultado de la segunda
iteración de MoTE. Se agregaron nuevas funciones y se
reestructuraron algunas pantallas.

Figura 3

Segunda Iteración de MoTE

Interfaz del Profesor

Iniciamos con un prototipo básico, explorando ideas y posibles funcionalidades, aplicando la misma metodología que los
estudiantes. Este proceso permitió identificar funcionalidades clave, rediseñar la apariencia y ajustar las características. En el menú, se empleó el diseño por analogía, tomando como
referencia a Socrative for Teachers. La inspiración en Socrative se
utilizó para diseñar una herramienta que proporcione
información en tiempo real y facilite la participación interactiva.

De manera similar a cómo
Socrative permite a los maestros crear cuestionarios, monitorear las respuestas
de los estudiantes al instante y ajustar las estrategias de enseñanza en
función de la retroalimentación inmediata, el tablero puede
incluir funciones que rastrean la participación, la comprensión y
el compromiso emocional de los estudiantes durante las lecciones. Al
proporcionar estas funciones interactivas y en tiempo real, el tablero puede
empoderar a los maestros para tomar decisiones informadas, mejorar la
participación de los estudiantes y mejorar
la experiencia de aprendizaje en general. Después de varias interacciones y en función de los comentarios de 3 expertos
en educación, el tablero del profesor se presenta
en la Figura 4.

Figura 4

Prototipo del Dashboard del Profesor de MoTE

(a)    Pantalla principal
del profesor

(b)    Pantalla principal
de resultados de la sesión del profesor

Descripción de la
herramienta

El proceso de diseño interactivo pone de manifiesto la creciente popularidad de los emojis como medio de comunicación en entornos digitales. Ha sido reconocido por su capacidad para aclarar intenciones comunicativas, desempeñar roles verbales
y no verbales en la comunicación
y revelar aspectos de la personalidad del usuario (Kaye, et al., 2017). En este
contexto, se utilizaron emojis para diseñar interacciones,
capturándolas a través de toques que luego serán visibles
para los profesores a través de un tablero.

Engagement Conductual: Un enfoque
que los docentes
pueden emplear para involucrar
más a los estudiantes es mediante discusiones en clase o actividades que
utilicen respuestas anónimas. El método tradicional de levantar
la mano puede causar que algunos estudiantes sean reacios a responder preguntas planteadas en clase, limitando su participación a momentos
en que otros compañeros ya han intervenido (Reeve, et al., 2020). Teniendo
esto en cuenta,
se crearon dos opciones para monitorear este indicador, enviando
comentarios y enviando dudas al profesor. Las opciones están representadas por dos botones (comentario de clase y signo de interrogación, Figura 5a).

Engagement Cognitivo: Recopilar información sobre el componente cognitivo del compromiso estudiantil es un desafío, ya
que no es tan fácilmente observable como el comportamiento. No obstante,
una manera de enfrentar este reto es utilizar dispositivos electrónicos
para proporcionar retroalimentación, junto con preguntas
diseñadas para evaluar los niveles de compromiso cognitivo, conductual y emocional de los estudiantes. Estas opciones
se presentan mediante dos botones (encuesta, No entiendo, Figura 5b).

Engagement Afectivo: Para supervisar este indicador, se desarrollarán tres opciones que permitirán hacer un
seguimiento de los siguientes indicadores (Excelente clase, Tengo sueño, solicito un descanso,
expreso mis emociones, Figura 5c).

Figura 5

Prototipo del Dashboard del Profesor de MoTE

Arquitectura de la herramienta: La arquitectura de la herramienta se diseñó utilizando el modelo C4, desarrollado por Simon Brown (2016). Este enfoque sugiere describir la arquitectura
en cuatro niveles: Contexto,
Contenedores, Componentes y Código. A continuación,
se describen el front, backend y la base de datos. El frontend de MoTE, desarrollado con Angular, actúa como la interfaz
de usuario a través de la cual estudiantes y profesores interactúan con la aplicación; los estudiantes
envían datos sobre su engagement, mientras que los profesores acceden y
visualizan esta información. En el backend, implementado con Node.js y
Express, se gestiona la lógica central del negocio, procesando las
llamadas de la API provenientes del
frontend y asegurando una transferencia eficiente y en tiempo real de los datos
de engagement mediante JSON/HTTPS y Objects/Sockets. Finalmente, la base de datos, alojada en MongoDB, almacena
toda la información relevante de la aplicación, incluyendo detalles de las salas, datos de usuarios,
encuestas y otros elementos
interactivos, beneficiándose de la flexibilidad y capacidad de manejo
de grandes volúmenes de datos no estructurados que ofrece
MongoDB.

Figura 6

Diagrama de Contexto de la aplicación MoTE

Evaluación Local

Se realizó una evaluación local
con el objetivo de comprender cómo los usuarios finales perciben un prototipo de
herramienta que incorpora los indicadores identificados, centrándose en su usabilidad y experiencia de usuario (en relación con P.I.2). Para esta evaluación,
se seleccionaron 2 aulas presenciales y 1 aula en línea para las
pruebas, con un total de 146 estudiantes participando activamente (G1 presencial n= 23, G2 presencial n= 25, G3 online n= 98). La elección de estos grupos se hizo con el fin de cubrir diversos contextos de aprendizaje. Se invitó a los participantes a unirse de manera voluntaria. Las pruebas de usabilidad y experiencia
de usuario se llevaron a cabo entre el 3 de noviembre de 2023 y el 9 de enero
de 2024. Para evaluar de manera integral la usabilidad y la experiencia de
usuario de la aplicación MoTE, se emplearon dos técnicas reconocidas en el ámbito de la interacción persona-computadora: el
cuestionario de la Escala de Usabilidad del Sistema (SUS) y el Cuestionario de
Experiencia de Usuario (UEQ).
Además de los cuestionarios SUS y UEQ, se recopiló
retroalimentación cualitativa de los estudiantes mediante encuestas abiertas y sesiones de retroalimentación grupal.

Resultados de la evaluación local: En cuanto al UEQ, los valores superiores a 0,8 indican una evaluación positiva, mientras que los valores inferiores a -0,8 reflejan una evaluación negativa
(Schrepp, 2023). La Tabla 4 resume los resultados
obtenidos. Los datos del UEQ muestran variaciones en las percepciones de la experiencia de usuario entre
los diferentes grupos,
con el grupo G3 en
línea registrando puntuaciones más altas en casi todas las
categorías evaluadas. Esto sugiere que MoTE podría ser percibido como más útil y eficaz en entornos de aprendizaje
virtuales, posiblemente debido a una mayor dependencia de las herramientas
digitales para la interacción y participación en estos contextos.
Estas diferencias también podrían reflejar la naturaleza de las interacciones en entornos presenciales y virtuales, donde la comunicación no verbal y las dinámicas de grupo en aulas físicas pueden influir en cómo se percibe la necesidad
y utilidad de la herramienta.

Tabla 4

Resumen de Resultados UEQ

COMPONENTES

MEDIA G1 (sd) n=23

MEDIA G2 (sd) n=25

MEDIA G3 (sd) n=98

Atracción

1.4 (1.4)

1.6 (1.1)

1.5 (0.9)

Transparencia

0.9 (1.5)

1.5 (1.2)

1.6 (0.7)

Eficacia

1.2 (1.1)

1.4 (1.3)

1.8 (0.8)

Controlabilidad

0.8 (1.4)

1.0 (0.8)

1.8 (1.0)

Estimulación

1.0 (1.5)

1.0 (1.6)

2.0 (1.3)

Novedad

1.2 (0.8)

1.0 (1.2)

2.5 (0.7)

En cuanto al SUS, este produce un valor único que representa una medida general
de la usabilidad del sistema. Cada ítem del cuestionario contribuye con cinco opciones
que van de 0 a 4 (desde “Totalmente de acuerdo” hasta “Totalmente en desacuerdo”). Las puntuaciones del SUS
varían entre 0 y 100. La Tabla
5 resume los resultados obtenidos. Los resultados del SUS
revelan una variabilidad en la percepción de la usabilidad de la herramienta entre los estudiantes
de los diferentes grupos. Aunque algunos estudiantes valoraron
positivamente la usabilidad de la
aplicación, otros señalaron dificultades, lo que sugiere
áreas de mejora en la interfaz y la
experiencia del usuario. Esta variabilidad en las puntuaciones destaca la
importancia de considerar una amplia
gama de experiencias de usuario durante
el diseño de herramientas y en
el proceso de mejora continua.

Tabla 5

Resumen de Resultados SUS

COMPONENTES

MEDIA POR GRUPO

SUS PUNTAJE

Grupo 1 – Presencial

74.8

Bien

Grupo 2 – Presencial

69.75

Bien

Grupo 3 – En línea

84.25

Excelente

Resultados de las interacciones con
MoTE: Para comprender cómo los estudiantes perciben el prototipo MoTE en términos de interacciones con la herramienta (P.I.2), se realizó un análisis
descriptivo de los datos para determinar la frecuencia de cada tipo de
interacción. La Tabla 6 proporciona una descripción detallada de cómo los estudiantes utilizan
las diferentes
funcionalidades de MoTE en tres clases distintas, reflejando la frecuencia de uso y el porcentaje correspondiente a cada
característica. A partir de estos datos, es posible inferir preferencias de uso y detectar áreas de mejora
potencial para la interfaz de la herramienta que se explica a
continuación: (1) Expresar mis
emociones: Esta función es la más utilizada, lo que indica un
alto valor por parte de los estudiantes para comunicar su estado emocional de forma anónima. Su alta frecuencia de uso
sugiere que la herramienta satisface una importante necesidad de
autoexpresión en el aula; (2) Clase
excelente: La segunda característica más popular permite a los estudiantes expresar su
satisfacción con la clase, lo cual es un indicador positivo de
compromiso. La variación en su uso entre clases sugiere que puede estar
influenciado por el contenido o la dinámica de la clase específica;
(3) Tengo sueño, No entiendo,
Comentarios sobre la clase,
Solicitar un descanso: Estas características se utilizan con menos frecuencia, lo que podría indicar
una serie de cosas, como una menor
necesidad percibida de estas opciones, posibles barreras psicológicas para expresar vulnerabilidad o fatiga, falta de visibilidad en la interfaz de la herramienta o tal vez miedo al profesor. Este hallazgo subraya
la necesidad

de realizar más investigaciones sobre cómo se
pueden optimizar la interfaz y la experiencia del usuario para fomentar una
comunicación más abierta y honesta sobre las necesidades y
dificultades de los estudiantes durante la clase.

Tabla 6

Resumen de Interacciones con MoTE

FUNCIÓN DE LA APLICA-CIÓN

FRECUENCIA G1

FRECUENCIA G2

FRECUENCIA G3

TOTAL FRECUENCIA

% DE USO

Expresando mis emociones.

22

43

17

82

40.20

Clase excelente.

2

24

21

47

23.04

Tengo
sueño.

15

13

2

30

14.71

No entiendo.

3

14

1

18

8.82

Comentarios sobre
la clase.

3

6

5

14

6.86

Solicita un descanso.

4

7

2

13

6.37

Interacciones
totales.

49

107

48

204

Retroalimentación cualitativa: El
análisis cualitativo de la retroalimentación de los estudiantes destacó varios aspectos clave para mejorar tanto la interfaz como las funcionalidades
de la herramienta. Entre las sugerencias más relevantes se
encuentran: (1) agregar nuevas emociones para capturar estados más
específicos como "cansado" o "aburrido", (2) mejorar la organización de la interfaz
y añadir funcionalidades como un temporizador para la clase,

(3) hacer la herramienta más atractiva visualmente,
(4) asegurar que el progreso de la barra de
herramientas no se pierda al recargar la página, y (5) implementar la
detección automática de una respuesta del estudiante cada 35 a 40
minutos. Esto indica que los estudiantes desean comunicar sus necesidades al
profesor durante cada sesión de clase.

Conclusiones y trabajo futuro

En este artículo, se
siguió el proceso de investigación basado en el diseño
para crear MoTE, una herramienta en tiempo real para monitorear la
participación de los estudiantes. A
partir de todo el proceso,
abordamos dos preguntas de investigación, cuyos resultados podrían servir de inspiración para aquellos investigadores dispuestos a proponer
soluciones para medir el compromiso dentro del aula (ya
sea presencial o en línea). Con respecto a la PI1 sobre el tipo de indicadores y visualizaciones a utilizar, identificamos a través de diferentes talleres
con expertos y docentes: (1) los tipos de indicadores necesarios para medir el compromiso cognitivo,
afectivo y conductual; y (2) un conjunto de visualizaciones para
representarlos. A partir de estos indicadores y visualizaciones, implementamos un primer prototipo
de herramienta MoTE para
ser evaluado en contextos reales.
Respecto a la RQ2 sobre
la usabilidad y experiencia
de usuario de los usuarios finales sobre la herramienta. Realizamos una
evaluación local con 146 estudiantes y una evaluación amplia con
58 estudiantes. Los resultados indican que los estudiantes valoraron
positivamente la información proporcionada con la herramienta como buena y clara para monitorear el compromiso de los estudiantes con la sesión. Sin embargo, se deben
realizar algunas mejoras
para mejorar la herramienta desde la perspectiva del estudiante. La
variabilidad en las puntuaciones del SUS y los comentarios de los estudiantes
ponen de relieve áreas específicas de mejora, como la necesidad de una interfaz más intuitiva y la inclusión
de funcionalidades adicionales que reflejen con mayor precisión
las necesidades y emociones de los estudiantes.

El análisis de cómo los
estudiantes interactúan con MoTE proporciona información valiosa
sobre el uso de sus funcionalidades en entornos educativos reales. Al optimizar la interfaz
y reajustar o resaltar ciertas funcionalidades, se podría
promover un uso más equilibrado y efectivo de la herramienta. Basado en los resultados de este estudio,
se proponen las siguientes
recomendaciones para futuras versiones de MoTE:

1.      Mejora
continua de la interfaz y las funcionalidades: Se sugiere seguir mejorando la interfaz
de usuario de MoTE para que sea más intuitiva y accesible.
También es esencial integrar nuevas emociones y funcionalidades de
prueba, como un temporizador para las sesiones de clase, basándose en la
retroalimentación de los estudiantes.

2.       Evaluación continua: Es crucial
mantener un proceso constante de evaluación de la usabilidad y la
experiencia del usuario, empleando métodos tanto cuantitativos (como SUS y UEQ) como cualitativos (retroalimentación abierta de los estudiantes) para orientar las mejoras de
la aplicación.

3.
Investigaciones futuras:
Es necesario investigar el impacto a largo plazo del uso de
MoTE
en la participación y el rendimiento de los estudiantes, así como su efectividad
en distintos entornos educativos (como los híbridos) y en
diversas disciplinas académicas.

4.
Mejorar la visibilidad de las
funciones menos utilizadas: Dado que las funciones menos utilizadas pueden ser esenciales para el bienestar
y el aprendizaje efectivo de los estudiantes, es recomendable
hacerlas más visibles en la interfaz. Por ejemplo, posicionar
opciones como "Tengo sueño" y "No entiendo" en lugares más destacados
podría incentivar su uso.

5.      Personalización de la interfaz: Permitir que los estudiantes personalicen la interfaz para
destacar las funcionalidades que consideran más importantes
podría mejorar su experiencia de usuario y promover el uso completo
de las funciones disponibles.

6.      Educación y fomento del uso: Mediante sesiones de orientación o materiales de ayuda integrados en la herramienta, se puede instruir
a los estudiantes sobre la importancia
y el propósito de cada funcionalidad, especialmente aquellas que se usan menos, con el
fin de promover un uso más equilibrado.

Este
estudio también tiene
algunas limitaciones que serán abordadas en trabajos futuros. Por un lado, en las Fases de
Diseño de la metodología, se ha trabajado principalmente con estudiantes que solo fueron incluidos para la evaluación amplia. El trabajo futuro incluirá grupos
focales y sesiones
para diseñar mejor el lado del maestro. Por otro lado, realizamos la evaluación
exhaustiva con solo dos cursos presenciales y un curso en línea
para analizar la experiencia de
usuario y los problemas de usabilidad de la herramienta. Para complementar este
estudio, planeamos realizar estudios a gran escala y a largo plazo para
analizar cómo los estudiantes y profesores utilizan la herramienta en el
contexto del mundo real del aprendizaje y su impacto en sus estrategias.

Creemos que los resultados obtenidos en
este trabajo podrían beneficiar a otros investigadores de la comunidad.
En primer lugar, esperamos que los indicadores y visualizaciones
extraídos de nuestro estudio empírico puedan servir de
inspiración para el diseño de nuevas herramientas con fines similares. En segundo lugar, pensamos que los instrumentos y métodos
utilizados también podrían ser utilizados por otros
investigadores para validar sus propias soluciones y realizar estudios
comparativos. Finalmente, esperamos que el proceso descrito pueda servir como
ejemplo de cómo aplicar el enfoque DBR para adaptar una herramienta
existente a otro contexto.

Agradecimientos

Este artículo recibió el apoyo de la Vicerrectoría Académica de la Universidad de Cuenca y la Dirección de Innovación
Educativa.

Referencias

Anand, R., & Gupta, N. (2023). Impact of online
learning on student engagement and academic performance. Praxis International Journal of Social Science and Literature,
6(7), 29–40. https://doi.org/10.51879/ PIJSSL/060703

Aslan, S., et al. (2019). Investigating the impact of a real-time, multimodal student engagement analytics technology in authentic classrooms. In Proceedings of the 2019 CHI Conference on Human Factors in
Computing Systems (pp. 1–12). ACM. https://doi.org/10.1145/3290605.3300534

Bannan-Ritland, B. (2003). The role of design in research: The integrative learning design framework. Educational Researcher, 32(1), 21–24. https://doi.org/10.3102/0013189X032001021

Barkley, E.
F. (2010). Student engagement techniques: A handbook
for college faculty.
Jossey-Bass.

Beekhoven, S., &
Dekkers, H. (2005).
The influence of participation, identification, and parental resources
on the early school leaving
of boys in the lower educational track. European
Educational Research Journal, 4(3), 195–207. https://doi.org/10.2304/eerj.2005.4.3.4

Bond, M., et al. (2020).
Mapping research in student engagement and educational technology in higher education: A systematic
evidence map. International Journal of Educational Technology in Higher Education, 17(1),

2. https://doi.org/10.1186/s41239-019-0176-8

Bonner, E., et al. (2022). Measuring real-time
learner engagement in the Japanese EFL classroom.
Innovation in

Language Learning
and Teaching, 1–11. https://doi.org/10.1080/17501229.2021.2025379

Darr, C. W. (2012). Measuring student engagement: The
development of a scale for formative use. In S. L. Christenson, et al. (Eds.), Handbook of Research on Student Engagement (pp.
707–723). Springer US. https://doi.org/10.1007/978-1-4614-2018-7_34

Finn, J. D., & Zimmer, K. S. (2012). Student
engagement: What is it? Why does it matter? In S. L. Christenson, et al.
(Eds.), Handbook of Research on Student
Engagement (pp. 97–131). Springer US. https://doi. org/10.1007/978-1-4614-2018-7_5

Fredricks, J. A., et al. (2004). School engagement:
Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59–109. https://doi.org/10.3102/00346543074001059

Hofkens, T. L., & Ruzek,
E. (2019). Measuring student engagement to inform effective
interventions in schools.
In Handbook of Student Engagement
Interventions (pp. 309–324). Elsevier. https://doi.org/10.1016/B978- 0-12-813413-9.00021-8

Imlawi, J. (2021). Students’ engagement in
e-learning applications: The impact of sound’s elements. Education and Information Technologies,
26(5), 6227–6239. https://doi.org/10.1007/s10639-021-10605-0

Jia, L.-Z., et al. (2018). Design by analogy:
Achieving more patentable ideas from one creative design. Chinese Journal of Mechanical Engineering, 31(1), 37. https://doi.org/10.1186/s10033-018-0234-5

Kaye, L. K., et al. (2017). Emojis:
Insights, affordances, and possibilities for psychological science.
Trends in

Cognitive Sciences, 21(2),
66–68. https://doi.org/10.1016/j.tics.2016.10.007
Lidwell, W., et al. (2003). Universal
principles of design. Rockport.

McKenney, S. E., & Reeves,
T. C. (2019). Conducting
educational design research. Routledge/Taylor & Francis Group.

Nakamura, J., & Csikszentmihalyi, M. (2009). Flow theory and research. In S. J. Lopez & C. R. Snyder (Eds.),
The Oxford Handbook
of Positive Psychology (pp. 194–206). Oxford University Press. https://doi.org/10.1093/ oxfordhb/9780195187243.013.0018

Nielsen, J.
(1993). Usability engineering.
Academic Press.

Pérez-Sanagustín, M., et al. (2022).
Designing a Moodle plugin for promoting learners’ self-regulated learning in blended learning. In I. Hilliger, et
al. (Eds.), Educating for a New Future:
Making Sense of Technology-Enhanced Learning
Adoption (pp. 324–339). Springer International Publishing. https://doi. org/10.1007/978-3-031-16290-9_24

Reeve, J., et al. (2020). How and why students make academic progress: Reconceptualizing the student engagement construct to increase its explanatory power.
Contemporary Educational Psychology, 62, 101899.
https:// doi.org/10.1016/j.cedpsych.2020.101899

Reimann, P. (2011).
Design-based research. In L. Markauskaite, et al. (Eds.),
Methodological Choice and Design

(pp. 37–50). Springer Netherlands. https://doi.org/10.1007/978-90-481-8933-5_3

Reschly, A. L., & Christenson, S. L. (2012). Jingle, jangle, and conceptual haziness: Evolution and future directions of the engagement construct. In S.
L. Christenson, et al. (Eds.), Handbook
of Research on Student Engagement (pp. 3–19). Springer US. https://doi.org/10.1007/978-1-4614-2018-7_1

Ries, E. (2011). The
lean startup: How today’s entrepreneurs use continuous innovation to
create radically successful businesses. Crown Business.

Rimm-Kaufman, S. E., et al. (2009). The contribution
of children’s self-regulation and classroom quality to children’s adaptive behaviors in the
kindergarten classroom. Developmental
Psychology, 45(4), 958–972. https://doi.org/10.1037/a0015861

Schrepp, M. (2023). Enhancing the UEQ heuristic for data cleansing by a threshold for the
number of identical responses. https://rgdoi.net/10.13140/RG.2.2.35853.00480

Sosa Neira, E. A., et al. (2017). Emerging
technologies (ETs) in education: A systematic review of the literature
published between 2006 and 2016. International Journal of Emerging
Technologies in Learning
(iJET), 12(5), 128. https://doi.org/10.3991/ijet.v12i05.6939

Uçar, M. U., & Özdemir, E. (2022). Recognizing students and detecting student engagement with real-time image processing. Electronics, 11(9), 1500. https://doi.org/10.3390/electronics11091500

ViewSonic.
(2023). Sens. https://myviewboard.com/products/sens/

Wong, Z. Y., & Liem, G. A. D. (2022).
Student engagement: Current
state of the construct, conceptual refinement, and future research
directions. Educational
Psychology Review, 34(1),
107–138. https://doi.org/10.1007/ s10648-021-09628-3

Zapata, G., et al. (2018). Compromiso estudiantil en educación superior: Adaptación y validación de un cuestionario de evaluación en
universidades chilenas. Calidad en la
Educación, 48, 204. https://doi.org/10.31619/ caledu.n48.482