https://doi.org/10.37815/rte.v34n3.957

Artículos originales

Desarrollo de un XBlock en Open edX para apoyar el
monitoreo y seguimiento en un SPOC

Development of a XBlock in Open edX to support monitoring and follow-up in a
SPOC

Jonnathan Campoberde1 https://orcid.org/0000-0002-4998-3875,

Miguel Á. Macías1  https://orcid.org/0000-0002-8007-7301, Jorge Maldonado-Mahauad1 https://orcid.org/0000-0003-1953-390X

1Universidad de Cuenca, Cuenca, Ecuador

[email-masked], [email-masked], [email-masked]

Enviado:         2022/07/03

Aceptado:       2022/09/19

Publicado:
2022/11/30

Resumen

Sumario: Introducción, Metodología, Discusión de los Resultados y
Conclusiones.

Como citar: Campoberde, J., Macías, M. & Maldonado-Mahauad, J. (2022).

Desarrollo de un
XBlock en Open edX
para apoyar el monitoreo y seguimiento en un SPOC. Revista Tecnológica
- Espol, 34(3), 139-156. http://www.rte.espol.edu.ec/index.php/tecnologica/article/view/957

Los Cursos Masivos Abiertos y en Línea
(MOOC) se han convertido en una tecnología disruptiva que ha buscado
democratizar el acceso a la educación. Estos son cursos que se ofertan de forma
abierta generalmente en alguna plataforma para MOOC como es Open edX.  Estos cursos
son tomados por cientos de miles de estudiantes, quienes lo siguen de forma
autónoma, esto es, sin la presencia o guía de un docente. Cuando un MOOC se
cierra para un número menor de estudiantes y se utiliza de forma privada
integrándolo al currículo académico, se los conoce como Cursos Pequeños
Privados en Línea (SPOC). Los SPOC, a diferencia de los MOOC, requieren la
presencia y guía de un docente mientras los estudiantes toman el curso. Sin
embargo, la plataforma Open edX carece de
visualizaciones que asistan a estudiantes y docentes en la toma de decisiones
durante el transcurso del curso. Es decir que el seguimiento y el monitoreo es
escaso y limitado. Por este
motivo, el presente trabajo propone desarrollar un componente denominado XBlock que implemente, por un lado, visualizaciones
para estudiantes a fin de dar cuenta de su proceso de aprendizaje; y, por otro
lado, visualizaciones para docentes a fin de que puedan monitorear, hacer
seguimiento y retroalimentar a los estudiantes en un SPOC. Para lograrlo se
empleó la metodología adaptada de LATUX para la planificación, diseño e
implementación de un XBlock y evaluación de
las visualizaciones del dashboard. Como resultado de
la evaluación, se evidenció que cerca del 80% de los estudiantes perciben al XBlock desarrollado como un estímulo positivo para
redirigir el comportamiento de los estudiantes. Además, contribuye como un
apoyo para los docentes al momento de diseñar estrategias de enseñanza que
permitan hacer el monitoreo y retroalimentar de mejor manera a los estudiantes
para que puedan terminar con éxito el curso.

Palabras
clave: MOOC,
indicadores, dashboard, SPOC, patrones de aprendizaje.

Abstract

Massive Open Online Courses (MOOCs) have become a
disruptive technology that has aimed to democratize access to education. These
are courses that are offered openly, generally on a MOOC platform such as Open
edX. These are courses that are offered openly, generally on a MOOC platform
such as Open edX, and are taken by hundreds of thousands of students
autonomously (without the presence or guidance of a teacher). When a MOOC is
closed to a smaller number of students and is used privately and integrated
into the academic curriculum, it is known as a Small Private Online Course
(SPOC). SPOCs, unlike MOOCs, require the presence and guidance of a teacher while
students take the course. However, the Open edX platform lacks visualizations
to assist students and teachers in making decisions during the course. In other
words, follow-up and monitoring is scarce and limited. For this reason, the
present work proposes to develop a component called XBlock that implements, on
the one hand, visualizations for students in order to account for their
learning process; and, on the other hand, visualizations for teachers so that
they can monitor, follow up and give feedback to students in a SPOC. To achieve
this, the methodology adapted from LATUX was used for the planning, design and
implementation of an XBlock and also for the evaluation of the visualization of
the dashboard. As a result of the evaluation, it was found that about 80% of
the students perceive the developed XBlock as a positive stimulus to redirect
student behavior. In addition, it contributes as a support for teachers when
designing teaching strategies that allow them to monitor and provide better
feedback to students so that they can successfully complete the course.

Keywords: MOOC, indicators,
dashboard, SPOC, learning patterns.

Introducción

En la actualidad los
usuarios al interactuar con los sistemas de información generan una gran
cantidad de datos, dejando como resultado una huella digital (Ben Kei, 2016). En el sector educativo, en los últimos años,
los Sistemas de Gestión de Aprendizaje (SGA) se han convertido en una fuente
rica de datos, producto de las interacciones de los estudiantes con los
recursos de un curso. Un ejemplo de esto, son los Cursos Masivos Abiertos y en
Línea, conocidos en inglés como MOOC. Estos cursos atraen a una gran cantidad
de estudiantes de todo el mundo (Shah, 2020). Sus altos niveles de aceptación en el ámbito
mundial (antes y durante la pandemia) se ve reflejado en los más de 110
millones de estudiantes que se han registrado en alguno de los 13.5 mil MOOC
según los datos del observatorio Class Central (Dhawal Shah, 2020). Este observatorio destaca a las plataformas
comerciales Coursera y edX como las plataformas más
populares y con la mayor cantidad de estudiantes.

Con el propósito de
democratizar el acceso a los MOOC, la plataforma comercial edX
liberó el código fuente de su plataforma abierta denominado Open edX, que cuenta con funcionalidad similar a la de la
plataforma comercial edX para alojar y desplegar los
MOOC. Esto ha permitido que distintas universidades empiecen a utilizar los
MOOC de forma abierta como un servicio, como reemplazo de un curso regular, o
de forma cerrada integrado al currículo académico bajo la figura de SPOC (Small
Private Online Course en
inglés). Los SPOC son cursos MOOC privados y se ofertan de manera exclusiva
a estudiantes de una misma institución, logrando acceder a estos únicamente
bajo invitación, pero a diferencia de un MOOC, en un SPOC se espera la
presencia, la guía y retroalimentación de un profesor. La versión abierta Open edX es utilizada para desplegar cursos MOOC y SPOC, no
obstante, Open edX no cuenta con el módulo de
analítica denominado “Insights”, que sí
viene integrada en la versión comercial edX.

Este módulo como
novedad, permite visualizar a los docentes datos de los estudiantes como los
demográficos, edad, sexo, nivel de formación entre otra información personal.
Este tipo de datos que se presentan a manera de visualizaciones, resultan
insuficientes para el caso de un SPOC. Los datos que provee Insights
no son útiles para poder dar seguimiento a las actividades formativas o
sumativas de los estudiantes por parte de los docentes (Torre et al., 2020). De hecho, las visualizaciones que se han
implementado en Insights han sido catalogadas
como muy básicas haciendo que surjan proyectos que traten de cubrir estas
necesidades (Torre et al., 2020). Un ejemplo de lo anterior es el proyecto
ANALISE (Antonaci et al.,
2018). Este proyecto, incorpora visualizaciones con
el objetivo de conocer las interacciones de cada estudiante dentro de la
plataforma. Otro ejemplo es OXALIC, este proyecto provee de visualizaciones que
se presentan solo a los docentes, pero únicamente sobre información general de los
estudiantes y su progreso en el curso (Khalil & Belokrys, 2020).

Los proyectos antes
mencionados aportan visualizaciones de manera general a los docentes sin que
los estudiantes conozcan sobre su proceso de aprendizaje. Esto demuestra que
existe aún la necesidad de poder contar con visualizaciones en Open edX, tanto para docentes como para los estudiantes en un
SPOC, que den cuenta del proceso de enseñanza-aprendizaje de estos y que
permitan a los docentes superar las limitaciones al momento de hacer un
seguimiento y monitoreo de las actividades de los estudiantes. Como resultado
de esta carencia, la retroalimentación en cursos SPOC es escaza y el apoyo a
los estudiantes es casi nulo (Antonaci et al.,
2018),
limitando las posibilidades de los SPOC a un e-learning tradicional.

Por lo anterior, en
este trabajo se propone desarrollar un componente denominado XBlock que implemente, por un lado, visualizaciones
para estudiantes a fin de dar cuenta de su proceso de aprendizaje; y, por otro
lado, visualizaciones para docentes a fin de que puedan monitorear, hacer
seguimiento y retroalimentar a los estudiantes en un SPOC. Para esto: (1) se
parte del desarrollo de un análisis exploratorio sobre el comportamiento de
los estudiantes en un SPOC para (2) determinar variables y secuencias de
aprendizaje comunes; (3) se propone un diseño de un dashboard
de visualizaciones para profesores y estudiantes a partir de las variables y
secuencias detectadas; (4) se implementa el dashboard
bajo la forma de un XBlock para la plataforma
abierta Open edX que permita visualizar el
comportamiento de los estudiantes; y (5) finalmente, se hace una evaluación local para analizar la
usabilidad de las visualizaciones desarrolladas en el XBlock.
Como resultado se evidenció un alto grado de aceptación y conformidad en el uso
de las visualizaciones para la toma de decisiones por parte de estudiantes y
docentes al utilizar el XBlock, así como
también el interés por hacer seguimiento de su comportamiento a lo largo de las
semanas mediante las visualizaciones del dashboard.

El artículo se
encuentra estructurado de la siguiente manera: en la sección 2 se describe la
metodología utilizada para el diseño, desarrollo y evaluación del dashboard desarrollado en el XBlock.
La sección 3 presenta la discusión de los resultados de evaluación. Finalmente,
la sección 4 presenta las principales conclusiones.

Metodología

Para el desarrollo del
XBlock para la plataforma Open edX se ha empleado la metodología adaptada de LATUX
(Learning Awareness Tool – User eXperience)
(Martinez-Maldonado
et al., 2016). Esta metodología ha sido seleccionada debido
a que es útil en los contextos donde se diseñe e implemente herramientas que
mejoren la entrega de información en entornos de aprendizaje virtual. Las cinco
etapas con las que cuenta la metodología se agrupan bajo 2 enfoques: el primer
enfoque se centra en la identificación del problema y sus indicadores; y el
segundo enfoque aborda las etapas de planificación, diseño, implementación y
evaluación. La Figura
1 presenta los pasos de la metodología adaptada
de LATUX.

Figura 1

Pasos de la Metodología Adaptada
LATUX Empleada en el Desarrollo del XBlock

Etapa 1: Análisis exploratorio de las
interacciones de los estudiantes

La exploración de los
datos juega un papel importante al momento de analizar las interacciones de los
estudiantes con los recursos de un SPOC (Purwoningsih et
al., 2019). Este paso también es conocido como EDA
(Exploratory Data Analysis
- por sus siglas en inglés) y su objetivo es develar comportamientos y patrones
de aprendizaje de los estudiantes, que luego pueden transformarse en
recomendaciones que apoyen a los estudiantes a tener éxito en el curso. En esta
primera etapa de la metodología, se extraen variables e indicadores que estén
relacionados con la terminación del SPOC por parte de los estudiantes.

Como punto de partida,
se utilizaron los datos de un curso SPOC utilizado en una universidad durante
un semestre. A partir de los datos de este curso, se realizó un análisis de
necesidades de los involucrados en el curso. Para esto se toma como referencia
el trabajo de (Maldonado et
al., 2016), quienes recomiendan utilizar entrevistas,
grupos focales o encuestas para recabar información y entender el contexto de
los involucrados. Para esto es posible utilizar como guía las siguientes preguntas:

·
¿Quiénes
son los interesados?

·
¿Cuáles
son las necesidades de los interesados?

·
¿Qué
fuentes de datos se dispone?

·
¿Cuál es
el contexto de aprendizaje?

·
¿Qué
herramientas de Analítica de Aprendizaje se dispone?

·
¿Cómo
están los datos siendo obtenidos, usados, compartidos y almacenados?

Como resultado de este
análisis, se identificaron características a ser implementadas a través de
visualizaciones que apoyen a los estudiantes y a los docentes en un SPOC, y que
están relacionadas con (i) conocer cuál es su situación actual dentro del
curso, ya que esto le permite poder tomar decisiones para corregir o reforzar
su proceso de aprendizaje; (ii) la necesidad de
contrastar su rendimiento con otros compañeros dentro del mismo curso, esto
como una motivación a mejorar o mantenerse dentro de aquel porcentaje de
estudiantes que están teniendo éxito; (iii) el nivel
de compromiso que pueden adquirir los estudiantes al interactuar con los
recursos dentro de un curso.

Este nivel de
compromiso ha sido estudiado y organizado en tres dimensiones, tales como,
medidas de comportamiento, medidas cognitiva y medidas emocionales (Perez-Alvarez
et al., 2020). Es así, que se evidencia el interés de
estudiantes y docentes por (iv) conocer acerca de la
frecuencia con la que son accedidas las lecturas, videos y problemas dentro de
un curso. Además, de analizar la (v) interacción de los estudiantes entre sí
dentro de los foros del curso. Otro punto importante es el (vi) tiempo
invertido en las actividades, así como también el rendimiento, el cual es
evidenciado a través de la (vii) cantidad de recursos
que completan dentro de la plataforma.

Como siguiente paso,
para llegar a comprender el comportamiento de los estudiantes dentro de los
SPOC, es importante conocer acerca de sus secuencias de interacción durante el
proceso de aprendizaje. Vermunt en su estudio (Vermunt &
Donche, 2017), explica que, una secuencia de aprendizaje se
conceptualiza como un conjunto coherente de actividades (secuencias o conjunto
de interacciones) que suelen emplear los estudiantes. Estas secuencias pueden
ser capturadas a través del análisis de logs de datos que contengan las
interacciones de los estudiantes con los recursos digitales del curso. Para
esto, el uso de técnicas de minería de procesos sobre los datos educativos
permiten construir de manera visual los caminos o trayectorias utilizadas por
los estudiantes mientras siguen el curso (Boroujeni &
Dillenbourg, 2018). Para lograrlo, se utilizó los datos que se
almacenan en Open edX de un SPOC y se extrajo un log
de eventos que fue procesado empleando el software Disco (ver Tabla
1). Como resultado se obtuvo un modelo de
procesos (Figura 2) que representa las principales trayectorias
seguidas por los estudiantes en un SPOC.

Tabla 1

Columnas del log de eventos ingresados en
Disco

COLUMNA

DESCRIPCIÓN

user_id

Hace referencia al id del estudiante que está generando el evento.

course_id

Id del curso en el que está el estudiante.

block_id

Correspondiente al id del bloque que está analizando en ese momento.

event_type

variable creada para poder identificar el tipo de evento que se está
analizando.

time

La fecha y hora que se desencadeno el evento.

Figura 2

Modelo de procesos de los estudiantes en
un SPOC

Por medio del análisis
del modelo de procesos generado se identificaron las secuencias de aprendizaje
principales de todos los estudiantes (ver Figura 2). Como resultado se pudo
observar que los estudiantes: (1) inician con las video-lecturas del curso, las
completan, luego se mantienen en un bucle de interacciones entre completar los
problemas propuestos y regresar a visualizar problemas antes desarrollados,
para luego finalizar su sesión de trabajo; (2) en la segunda secuencia que se
puede identificar que los estudiantes inician completando las video-lecturas y luego
regresan a consultarlas antes de avanzar a completar los problemas propuestos.

Estas secuencias de aprendizaje son las más
comunes que realizan los estudiantes y se puede observar también que los
estudiantes no revisan todas las video-lecturas y tampoco desarrollan las
evaluaciones propuestas (lo cual es un comportamiento no esperado, pues las
evaluaciones se deben de realizar una vez que terminen las video-lecturas)
debido a esto es que se pudo observar que los estudiantes repiten los problemas
de las evaluaciones.

Una vez identificadas
estas secuencias de interacciones de los estudiantes, sobre los modelos de
procesos obtenidos se empleó la técnica de clustering
o agrupamiento para clasificar a los estudiantes en grupos dependiendo sus
secuencias o trayectorias de aprendizaje. Como resultado se observaron tres
grupos que caracterizan el comportamiento de los estudiantes en un SPOC. En el
primer grupo, están los estudiantes que trabajaron solo
con las evaluaciones propuestas y no tuvieron interacciones con las
video-lecturas del curso u otro tipo de actividades. Este patrón concuerda con
el identificado en el trabajo de (Maldonado-Mahauad et al., 2018),
donde denomina a este tipo de estudiantes como estratégicos u orientados a los
objetivos personales. Este
tipo de estudiantes tienden a centrar sus esfuerzos en pasar las evaluaciones a
fin de certificar o probar sus conocimientos.

En el segundo grupo,  se observaron estudiantes exploradores (Maldonado-Mahauad
et al., 2018). Este grupo de estudiantes se caracterizan por
que sus interacciones son muy cortas (de pocos segundos, por ende, las sesiones
de estudio son cortas), no completan las evaluaciones ni problemas propuestos,
y las interacciones con los recursos del curso son erráticas. Finalmente, en el
tercer grupo, se identificó a los estudiantes “comprensivos” (Maldonado-Mahauad
et al., 2018). Este grupo se encuentra compuesto por los que
realizan todas las video-lecturas y problemas propuestos, son los que mayor
cantidad de interacciones tienen con los recursos del curso y siguen la
trayectoria instruccional propuesta por el curso. Además, estos estudiantes
exhiben un mayor nivel de compromiso para terminar con éxito el curso.

Como resultado de esta
primera etapa, se extrajeron las características que tanto docentes como estudiantes
indicaron debe tener un dashboard de visualizaciones.
Por otro lado, también se ha extraído de los datos, las secuencias de
aprendizaje de los estudiantes en un SPOC, logrando develar los tipos de
interacciones más comunes y que permiten clasificar a los estudiantes en tres
grupos.

Identificación de variables

En esta segunda etapa
se identificaron indicadores y variables relacionados al éxito académico de
estudiantes en SPOC, con el objetivo de incorporarlos en el diseño de las
visualizaciones del componente XBlock. Los
indicadores y variables seleccionadas que se muestran en la Tabla
2, resultaron del análisis de la etapa 1. Estos
indicadores y variables fueron mapeados con los indicadores que se proveen en
la base de datos de Open edX, con el fin de poder
entender si era posible extraerlos de manera directa o se requerían cálculos o
integraciones de datos intermedios.

Tabla 2

Indicadores y variables seleccionadas
para incluir en el diseño del XBlock

VARIABLE

INDICADOR

DESCRIPCIÓN

Frecuencia de las actividades

interaction_foros

Cantidad de veces que un estudiante interactúa en los foros

completed_lectures

Cantidad de lecturas completadas

videos_complete

Cantidad de videos completados

complete_problem

Cantidad de problemas completados

Secuencias y patrones de aprendizaje

repeated_lectures

Cantidad de veces que un estudiante repite una lectura

repeat_videos

Cantidad de veces que un estudiante repite un video

repeat_problem

Cantidad de veces que un estudiante repite un problema

num_play_videos

Cantidad de veces que se ha reproducido un video

num_pause_videos

Cantidad de veces que se ha pausado un video

num_stop_videos

Cantidad de veces que se ha detenido un video

num_load_videos

Cantidad de veces que se ha accedido a un video

num_fast_forward_videos

Cantidad de veces que se ha adelantado un video

num_rewind_videos

Cantidad de veces que se ha retrocedido un video

num_accessed_resources

Cantidad de recursos accedidos por un estudiante

Rendimiento a través del tiempo

week_id

Número de la semana en la que se desarrollan las actividades de un
estudiante

start_date_week

Fecha en la que comienza un periodo de actividades de 7 días

end_date_week

Fecha en la que finaliza un periodo de actividades de 7 días

num_sessions

Cantidad de veces que un estudiante se ha conectado a la plataforma.

sum_time_sessions

Tiempo invertido del estudiante en la plataforma

Planificación y Diseño

En esta tercera etapa,
como primer paso, se analizaron dashboards
desarrollados por diferentes proyectos. Por ejemplo, ANALISE y OXALIC (Khalil &
Belokrys, 2020; Ruipérez-Valiente et al., 2017). Estos proyectos han desarrollado sus propios dashboards para ser utilizados en la plataforma Open edX. Estos proyectos se enfocan en el proceso de
aprendizaje de los estudiantes dentro de un curso, para luego mostrar esta
información a los profesores mediante visualizaciones. Estas permiten (1)
visualizar métricas acerca de la inscripción de los estudiantes; (2) el
seguimiento de las actividades de los estudiantes; y (3) visualizar el conteo
de las interacciones de los estudiantes con el contenido del curso.

Como segundo paso, se
hizo uso de la guía para la elección de visualizaciones para dashboards de aprendizaje denominada “Linking dashboard design and data visualization concepts” (Sedrakyan et
al., 2019). Esta guía presenta una metodología que se enfoca en los
siguientes aspectos al momento de elegir las visualizaciones más adecuadas al
construir un dashboard: (a) objetivos y necesidades de los interesados; (b)
fuente de los datos; (c) retroalimentación y autorregulación del aprendizaje; y
(4) facilidad para mostrar el progreso del proceso de aprendizaje.

Como resultado, tomando como base el análisis exploratorio de las
interacciones de los estudiantes realizado en la etapa 1 y siguiendo la guía
para la elección de visualizaciones, se determinó que estudiantes y docentes
tienen la necesidad de: (a) conocer sobre de la frecuencia con la que se
interactúa un estudiante con los recursos del curso; (b) requieren evidenciar
el tiempo invertido en semanas; (c) identificar las brechas entre el estado actual
y el estado deseado de los estudiantes con respecto a la comparación con el
promedio de sus compañeros dentro de un curso (Schunk &
Zimmerman, 2012); y (d) facilitar la comparación del proceso de
aprendizaje en periodos de tiempo uniforme, comúnmente dividido en semanas (Ramesh et al.,
2014). Esto ha servido para implementar diferentes visualizaciones que se
describen en la siguiente etapa.

Implementación

En esta cuarta etapa,
se implementa la arquitectura del XBlock junto
con las visualizaciones para docentes y estudiantes. Las tecnologías empleadas
en el XBlock para la plataforma Open edX son las mismas que se usa en las aplicaciones web,
donde se tienen múltiples componentes de manera independiente para ser
mostrados en una sola página web (edX Inc, 2021). Las aplicaciones de tipo Web que implementen XBlock API son consideradas XBlocks
en entorno de ejecución (edX Inc, 2021). Estas aplicaciones pueden componerse de una o
varias páginas Web. Además cuentan con una capa de almacenamiento para mantener
su estado, controladores para procesar las acciones del usuario y además
cuentan con vistas para poder ser renderizadas (edX Inc, 2021).

La representación
gráfica de la arquitectura propuesta con todas las capas antes mencionadas se
muestra en la Figura
3. La primera capa de la arquitectura propuesta
para el XBlock denominado XLEA (XBlock for LEarning
Analytics) presenta la parte visual. En esta primera
capa es donde los estudiantes y los profesores interactúan con las
visualizaciones, y está compuesta por HTML, CSS y Javascript,
esta aplicación integra XBlock API para poder
acceder a la configuración con la que cuenta la plataforma de Open edX.

Figura 3

Arquitectura propuesta para el XBlock

La segunda capa de la
arquitectura facilita la comunicación con el código base de la plataforma de
Open edX por medio del XBlock
Runtime. En esta capa es donde el LMS y CMS requiere
que los XBlocks tengan las siguientes
propiedades: (1) tener un método de la vista denominado student_view
que en el caso del LMS, esta se pueda interactuar, mientras que, en el CMS el
instructor pueda configurar; (2) tener una propiedad llamada has_score con un valor de True si el XBlock permite realizar calificaciones, caso
contrario este valor deberá ser configurado como False. Finalmente, la tercera
capa de la arquitectura propuesta es la comunicación con los sistemas de
persistencia de base de datos para recuperar la información almacenada.

La comunicación con
las bases de datos tanto de MySQL como de MongoDB se realiza por medio del XBlock Runtime que permite
acceder en tiempo de ejecución a los datos almacenados y poder comunicar con
las capas superiores. En esta capa es donde el XBlock
puede acceder a la información procesada de la interacción de los estudiantes,
pues previamente se ha almacenado en la base de datos de MySQL, empleando el
script desarrollado.

Empleando la
arquitectura antes mencionada, en el XBlock a
desarrollar se incorporan funcionalidades adicionales a las ya existentes
dentro de la plataforma Open edX. De esta manera
tanto los estudiantes y docentes pueden tomar decisiones informadas a base de
la información mostrada en el dashboard. Las
funcionalidades que brinda el componente desarrollado son (1) Vista general de
las interacciones de los estudiantes con los recursos que se encuentran dentro
del curso; (2) Medir y comparar los logros conseguidos de un estudiante con la
media del curso; y (3) Comparación del tiempo dedicado por un estudiante con el
tiempo promedio que ocupan los estudiantes en una semana de actividades en la
plataforma.

Como resultado, las
visualizaciones implementadas en el XBlock
cuentan con dos tipos de vistas, la del estudiante y la del docente. Las
visualizaciones se diseñaron a base de los objetivos y requerimientos tomando
en cuenta los indicadores obtenidos en las etapas anteriores. En la vista del
estudiante se muestran gráficas que presentan el rendimiento general de los
estudiantes por semanas. Los indicadores que se utilizaron para el diseño de
este gráfico fueron la cantidad de recursos a los que ha accedido el estudiante
a lo largo de una semana, es decir, lecturas, videos, foros y exámenes, tal
como se lo muestra en la Figura
4.

Figura 4

Rendimiento general por semanas. Vista
del estudiante

Adicionalmente en la Figura
5 se compara el rendimiento individual del
estudiante contra el rendimiento del curso en promedio, con el fin de dar a los
estudiantes información acerca del estado de su proceso de aprendizaje. Y por
último se muestran indicadores relacionados a la cantidad de recursos
completados por el estudiante a lo largo del curso en la Figura
6.

Figura 5

Tiempo invertido en el curso por semanas.
Vista del estudiante

Figura 6

Recursos completados a lo largo del
curso. Vista del estudiante

Para la vista del
docente las visualizaciones se diseñaron a base del promedio de las
interacciones de todos los estudiantes del curso. En la Figura
7 se muestran los recursos completados por
semanas de todos los estudiantes del curso, separados en lecturas, videos,
foros y problemas.

Figura 7

Recursos completados por semanas de todos
los estudiantes del curso. Vista del docente

Las sesiones en
promedio por semana y su duración, así también la cantidad de recursos
accedidos en promedio por semana de todos los estudiantes del curso se muestra
en la Figura
8.

Figura 8

Sesiones
promedio por semana y recursos accedidos en promedio por semana. Vista del
docente

Finalmente, en la Figura
9 se muestra una tabla con las estadísticas
individuales de cada estudiante del curso. Se incluyen indicadores como el
número de recursos accedidos, lecturas, videos, problemas, foros, número de
sesiones y el tiempo invertido en el curso.

Figura 9

Estadísticas de los indicadores de cada
estudiante del curso. Vista del docente

Evaluación

Como última etapa de
la metodología LATUX empleada en este trabajo, se realizó la evaluación del
componente XBlock. Para la evaluación se hizo
uso del cuestionario Evaluation Framework for Learning Analytics (EFLA)
(Scheffel et
al., 2017). Mientras que para la evaluación de la
experiencia de usuario al usar el dashboard, se
utilizó el cuestionario User Experience Questionarie (UEQ) (Laugwitz et
al., 2008).

Participantes

La evaluación de las
visualizaciones incorporadas en el XBlock fue
realizada por estudiantes y profesores de la Universidad de Cuenca (muestreo a
conveniencia). Los participantes tuvieron acceso completo a todas las
visualizaciones, tomando en cuenta su rol dentro de la plataforma, se
proporcionará el cuestionario respectivo. La cantidad de participantes seleccionados
son 14, de los cuales 10 son estudiantes; y los 4 profesores que participaron
en la evaluación de igual manera han tenido experiencia en impartir cursos
MOOC.

Instrumentos

Se seleccionó el
cuestionario de evaluación EFLA, cuyo objetivo es permitir entender desde la
perspectiva del estudiante y del docente la significancia de las
visualizaciones que se presentan para la toma de decisiones. Este cuestionario
cuenta con dos versiones una para profesores
(https://forms.gle/1uMg9FSHj4jTcicYA) y otra para estudiantes
(https://forms.gle/P18rwhyXLX45vC3Y6).

Las preguntas que se
deben de responder están en una escala del 1 al 10, donde el 10 es el valor de
mayor importancia mientras que el valor 1 es de menor importancia. Este
cuestionario cuenta con tres dimensiones las mismas que se muestran en la Tabla
3 y para obtener cada uno de los valores de cada
dimensión se tiene que usar la ecuación (1).

Tabla 3

Dimensiones de EFLA

DIMENSIÓN

DESCRIPCIÓN

INDICADORES

Datos

Esta variable está relacionada al acceso y la presentación de los
datos

Transparencia

Manipulación

Concientización y Reflexión

Esta variable está relacionada a la proyección a futuro del estado
de aprendizaje de los estudiantes

Comparabilidad

Recomendación

Clasificación de actividades

Comportamiento

Impacto

Esta variable está relacionada a la motivación que sienten los
usuarios al usar la herramienta

Efectividad

Eficiencia

(1)

El otro cuestionario
empleado fue el UEQ que es ampliamente usado para medir la impresión subjetiva
que tienen los usuarios sobre la calidad y usabilidad en los productos de
software (Schrepp et al.,
2017). El cuestionario empleado (https://forms.gle/TDfnch3QisUct2Ce9)  tiene una escala de Likert para medir las
reacciones, actitudes y comportamientos de las personas donde 1 es totalmente
en desacuerdo y 5 totalmente de acuerdo; se ha seleccionado esta escala debido
a que a diferencia de las preguntas de si/no está permite tener una mayor
libertad en calificar las respuestas (Nemoto &
Beglar, 2014). Los factores empleados para medir la
experiencia que tiene el usuario con el producto de software se muestran a
continuación:

·
Atractivo: Impresión general del producto. ¿A los
usuarios les gusta o disgusta el producto?

·
Claridad: ¿Es fácil familiarizarse con el producto? ¿Es
fácil aprender a usar el producto?

·
Eficiencia: ¿Pueden los usuarios resolver sus tareas sin
esfuerzo innecesario?

·
Confianza: ¿Se siente el usuario en control de la
interacción?

·
Estímulo: ¿Es emocionante y motivador usar el producto?

·
Novedad: ¿Es el producto innovador y creativo? ¿El
producto capta el interés de los usuarios?

Resultados

Los resultados de la
evaluación de los estudiantes y profesores empleando el cuestionario EFLA se
muestran en la Tabla
4. En esta tabla se presentan los resultados al
emplear la formula (1) en cada una de las dimensiones analizadas tanto para los
profesores como para los estudiantes.

Tabla 4

Resultados de la evaluación con el
cuestionario EFLA

DIMENSIÓN

EFLA SCORE DE ESTUDIANTES

EFLA SCORE DE PROFESORES

Datos

79.44

80.55

Concientización y Reflexión

81.67

77.08

Impacto

77.78

77.78

Enfocándonos en los resultados de EFLA aplicado a
estudiantes (n= 14), las dimensiones de evaluación mantienen un puntaje por
arriba de los 77/100 puntos (77%), esto demuestra que la herramienta XBlock presenta
de manera sencilla y clara los datos en sus visualizaciones, de la misma forma,
los estudiantes se sienten motivados a reflexionar acerca de su comportamiento
y proceso de aprendizaje. De igual manera los resultados del
EFLA aplicado a docentes, se observa que las dimensiones de evaluación
mantienen valores por encima de los 77/100 puntos (77%), destacando con 80
puntos la dimensión de datos. Este resultado indica que los docentes entienden
de qué manera se recopilan y muestran los datos acerca de las interacciones de
los estudiantes, permitiéndoles reflexionar acerca de su método de
enseñanza y en cómo pueden mejorar en el proceso.

Los resultados de la
evaluación empleando el cuestionario UEQ (Tabla 5)para medir la experiencia del usuario muestra
que la mitad de los participantes (n= 14) están de acuerdo que las
visualizaciones les han parecido atractivas. El 80% de los participantes está de
acuerdo que el dashboard presenta las visualizaciones
de forma ordenada y fácil de entender por lo que no tuvieron la necesidad de
aprender alguna herramienta para su uso. El 70% de los participantes están de
acuerdo que el dashboard les permite tener un control
sobre su proceso de aprendizaje y en igual medida de participantes indican
haber tenido interés luego de usarla. El 60% de los participantes están
dispuestos a seguir usando la herramienta mientras que el 40% restante tenía
dudas, esto se puede deber al margen de mejora que existe en las
visualizaciones del dashboard según la
retroalimentación de los participantes.

Tabla 5

Resultados de la evaluación con el
cuestionario UEQ

PREGUNTA

# PERSONAS TOTALMENTE EN DESACUERDO

# PERSONAS EN DESACUERDO

# PERSONAS NI DE ACUERDO,
NI EN DESACUERDO

# PERSONAS DE ACUERDO

# PERSONAS TOTALMENTE DE ACUERDO

Me
pareció atractiva la herramienta

0

0

1

8

5

Las figuras se encuentran organizadas de una manera
fácil de entender

0

0

2

10

2

Tuve que aprender otras cosas para usar la
herramienta

9

3

2

0

0

Esta herramienta me ayuda a mí a tener un control
sobre mi aprendizaje

0

0

4

9

1

La herramienta captó mi interés

0

0

4

8

2

La herramienta motiva a utilizarla de nuevo

0

0

5

7

2

Discusión de los Resultados

En otros trabajos, como es el caso de ANALIZE,
los autores obtuvieron resultados positivos luego de evaluar su herramienta de
analíticas de aprendizaje con una escala de usabilidad del sistema (SUS) de
78/100 puntos (Ruipérez-Valiente et al.,
2017). Estos resultados evidencian la necesidad de
los estudiantes por utilizar herramientas que den soporte a la toma de
decisiones a través de las LA, lo cual se contrasta con los resultados de
nuestro trabajo, donde el 80% de los participantes afirman la importancia y
necesidad del uso de este tipo de herramientas.

Adicionalmente, se añadió una sección de
sugerencias en el cuestionario UEQ, del cual se pudieron identificar mejoras
para nuestro dashboard de analíticas de aprendizaje.
Estas mejoras pueden resumirse en los siguientes puntos: (1) Debería
incluirse una descripción de las funcionalidades de la herramienta, de manera
que quede claro lo que se puede obtener de la misma; (2) Se podría añadir más
información para contextualizar un escenario donde se explique los recursos
accedidos por los estudiantes no sólo son videos e información, sino también
cuando el estudiante aprueba o reprueba un examen. De esta forma, el docente
puede percibir los resultados como una retroalimentación de qué temas se puede
reforzar para mejorar el proceso de enseñanza-aprendizaje; (3) con respecto a
pequeños detalles de la interfaz, la tabla de estadísticas debería indicar
claramente las unidades de las columnas, por ejemplo, cantidad, tiempo, etc. De
igual manera, se debería poder acceder a la información de semanas previas. (4)
Pequeños cambios en los tipos de letras, tamaños, colores, cabeceras de las
tablas, que podrían mejorar la experiencia de usuario.

Conclusiones

En este trabajo se ha
presentado el desarrollo de un componente XBlock
que implementa, por un lado, visualizaciones para estudiantes a fin de dar
cuenta de su proceso de aprendizaje; y, por otro lado, visualizaciones para
docentes a fin de que puedan monitorear, hacer seguimiento y retroalimentar a
los estudiantes en un SPOC. Para esto se ha utilizado la metodología de 5
etapas propuesta por LATUX (Learning Awareness
Tool – User eXperience) (Martinez-Maldonado et al.,
2016)
donde (1) se parte del desarrollo de un análisis exploratorio sobre el comportamiento
de los estudiantes en un SPOC para (2) identificar variables y secuencias de
aprendizaje comunes; (3) se propone un diseño de un dashboard
de visualizaciones para profesores y estudiantes a partir de las variables y
secuencias detectadas; (4) se implementa el dashboard
bajo la forma de un XBlock para la plataforma
abierta Open edX que permita visualizar el
comportamiento de los estudiantes; y (5) finalmente se hace una evaluación local para evaluar la
significancia de las visualizaciones que se presentan para la toma de
decisiones; y evaluar la usabilidad de las visualizaciones desarrolladas en el XBlock. Como resultado se evidencia un alto grado de
aceptación y conformidad en el uso de las visualizaciones para la toma de
decisiones por parte de estudiantes y docentes al utilizar el XBlock, también el interés por hacer seguimiento de
su comportamiento a lo largo de las semanas mediante las visualizaciones del dashboard.

Como resultado de la
evaluación, los participantes, en sus respuestas evidenciaron el interés por el
uso de esta herramienta que brinde soporte a los estudiantes y docentes de un
curso. Cerca del 80% de los participantes perciben al XBlock
como un estímulo positivo para redirigir su comportamiento y estrategias de
aprendizaje o enseñanza hacia el éxito académico dentro del curso. Sin embargo,
existen participantes que aseguran que el dashboard
puede mejorar su experiencia de usuario añadiendo descripciones y elementos que
guíen a aquellos que no han tenido experiencia previa en el manejo de dashboards de LA. En la retroalimentación brindada por los
participantes, un 20% expresa que los gráficos deberían cambiar ciertos
detalles como colores, tamaños y tipos de letras. Tales observaciones están
relacionadas con la experiencia de usuario, mientras que, cerca del 80% están
de acuerdo en qué el dashboard cumple con su objetivo
y les permite conocer acerca de su estado actual de aprendizaje o enseñanza con
el fin de modificar sus estrategias y comportamiento para alcanzar el éxito
académico.

A pesar de esto,
existe un alto grado de aceptación y conformidad por parte de los
participantes. La mayoría se enfoca en aquellas visualizaciones que permiten
tener una comprensión del comportamiento histórico por semanas de las
diferentes actividades que desempeñan dentro del curso, por ejemplo, videos,
lecturas y problemas. Finalmente, en este trabajo se ha demostrado que es
posible crear un XBlock dentro de la plataforma
Open edX que, partiendo de las necesidades de los
involucrados, permitan tanto a estudiantes y profesores mejorar su proceso de
aprendizaje y enseñanza dentro de un SPOC. Adicionalmente, se ha puesto en
evidencia la necesidad de los estudiantes por dashboards
como el desarrollado en este XBlock que les
ofrezcan visualizaciones sobre su comportamiento de aprendizaje que antes solo
estaban disponibles para los docentes.

El alcance del estudio
está limitado al análisis del comportamiento de los estudiantes a través de
visualizaciones que incorporen indicadores de éxito estudiantil en cursos de la
plataforma Open edX. Los resultados obtenidos en este
estudio pueden abrir nuevas líneas de investigación centrándose en el
mejoramiento y rediseño de material educativo en cursos ofertados en esta
plataforma. Otra línea de investigación podría centrarse en el procesamiento de
los logs de eventos que generan los estudiantes en la plataforma Open edX, ya que actualmente resulta complicado procesar esta
información debido a la falta de una estructura concisa y estable de los datos
en las diferentes versiones que maneja la plataforma. Finalmente, existe margen
de mejora relacionado al diseño de visualizaciones de LA dentro de los MOOC, el
cual es un área sujeta a cambios e innovaciones.

Agradecimientos

Este trabajo tiene el
apoyo académico del proyecto de investigación “Analítica del aprendizaje para
el estudio de estrategias de aprendizaje autorregulado en un contexto de
aprendizaje híbrido”, del director del proyecto Ing. Jorge Maldonado Mahauad, PhD. docente de la Facultad de Ingeniería de la
Universidad de Cuenca. Adicionalmente, se agradece al Vicerrectorado de
Investigación de la Universidad de Cuenca por proveer los datos de estudiantes
de 4 MOOC que se utilizaron para este estudio. También se agradece a la
Corporación Ecuatoriana para el Desarrollo de la Investigación y Academia
(CEDIA) por facilitar el uso de infraestructura necesaria para desplegar un
ambiente de producción del dashboard XLEA.

Referencias

Antonaci, A., Klemke, R., Kreijns, K., & Specht, M.
(2018). Get Gamification of MOOC right! International
Journal of Serious Games, 5(3), 61–78.
https://doi.org/10.17083/ijsg.v5i3.255

Ben
Kei, D. (2016). Overview of big data and analytics in higher education. In Big
Data and Learning Analytics in Higher Education: Current Theory and Practice
(pp. 1–4). Springer International Publishing.
https://doi.org/10.1007/978-3-319-06520-5_1

Boroujeni,
M. S., & Dillenbourg, P. (2018). Discovery and temporal analysis of latent
study patterns in MOOC interaction sequences. ACM International Conference
Proceeding Series, 206–215. https://doi.org/10.1145/3170358.3170388

Dhawal
Shah. (2020, November 30). MOOCs in 2020.
https://www.classcentral.com/report/mooc-stats-2020/

edX
Inc. (2021). Introduction to XBlocks.
https://edx.readthedocs.io/projects/xblock-tutorial/en/latest/overview/introduction.html

Khalil,
M., & Belokrys, G. (2020). OXALIC: An Open edX Advanced Learning Analytics
Tool. Proceedings of 2020 IEEE Learning With MOOCS, LWMOOCS 2020,
185–190. https://doi.org/10.1109/LWMOOCS50143.2020.9234322

Laugwitz, B., Held, T., & Schrepp, M. (2008). Construction
and evaluation of a user experience questionnaire. Lecture Notes in Computer
Science (Including Subseries Lecture Notes in Artificial Intelligence and
Lecture Notes in Bioinformatics), 5298 LNCS, 63–76.
https://doi.org/10.1007/978-3-540-89350-9_6

Maldonado-Mahauad, J., Pérez-Sanagustín, M., Kizilcec, R. F.,
Morales, N., & Munoz-Gama, J. (2018). Mining
theory-based patterns from Big data: Identifying self-regulated learning
strategies in Massive Open Online Courses. Computers in Human Behavior, 80,
179–196. https://doi.org/10.1016/j.chb.2017.11.011

Maldonado,
J. J., Palta, R., Vazquez, J., Bermeo, J. L., Perez-Sanagustin, M., &
Munoz-Gama, J. (2016). Exploring differences in how learners navigate in MOOCs
based on self-regulated learning and learning styles: A process mining
approach. Proceedings of the 2016 42nd Latin American Computing Conference,
CLEI 2016. https://doi.org/10.1109/CLEI.2016.7833356

Martinez-Maldonado, R., Pardo, A., Mirriahi, N., Yacef,
K., Kay, J., & Clayphan, A. (2016). LATUX: an
Iterative Workflow for Designing, Validating and Deploying Learning Analytics
Visualisations. Journal of Learning Analytics, 2(3), 9–39.
https://doi.org/10.18608/jla.2015.23.3

Nemoto,
T., & Beglar, D. (2014). c. JALT2013 Conference Proceedings, 1–8.
https://dl.ndl.go.jp/info:ndljp/pid/8815334?itemId=info%3Andljp%2Fpid%2F8815334&__lang=en

Perez-Alvarez, R. A., Maldonado-Mahauad, J., Sharma, K.,
Sapunar-Opazo, D., & Perez-Sanagustin, M. (2020). Characterizing
Learners’ Engagement in MOOCs: An Observational Case Study Using the
NoteMyProgress Tool for Supporting Self-Regulation. IEEE Transactions on
Learning Technologies, 13(4), 676–688.
https://doi.org/10.1109/TLT.2020.3003220

Purwoningsih,
T., Santoso, H. B., & Hasibuan, Z. A. (2019). Online Learners’ Behaviors
Detection Using Exploratory Data Analysis and Machine Learning Approach. Proceedings
of 2019 4th International Conference on Informatics and Computing, ICIC 2019.
https://doi.org/10.1109/ICIC47613.2019.8985918

Ramesh,
A., Goldwasser, D., Huang, B., Daume, H., & Getoor, L. (2014). Learning
latent engagement patterns of students in online courses | Proceedings of the
Twenty-Eighth AAAI Conference on Artificial Intelligence. ACM Digital Library, 1272–1278. https://dl.acm.org/doi/abs/10.5555/2893873.2894071

Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Pijeira
Díaz, H. J., Ruiz, J. S., & Kloos, C. D. (2017). Evaluation
of a learning analytics application for open edX platform. Computer Science
and Information Systems, 14(1), 51–73.
https://doi.org/10.2298/CSIS160331043R

Scheffel,
M., Niemann, K., & Jivet, I. (2017). The Evaluation Framework for
Learning Analytics.

Schrepp, M., Hinderks, A., & Thomaschewski, J. (2017).
Design and Evaluation of a Short Version of the User
Experience Questionnaire (UEQ-S). International Journal of Interactive
Multimedia and Artificial Intelligence, 4(6), 103.
https://doi.org/10.9781/IJIMAI.2017.09.001

Schunk, D. H., & Zimmerman, B. J. (2012). Motivation
and self-regulated learning: Theory, research, and applications. Motivation
and Self-Regulated Learning: Theory, Research, and Applications, 1–417.
https://doi.org/10.4324/9780203831076

Sedrakyan, G., Mannens, E., & Verbert, K. (2019). Guiding
the choice of learning dashboard visualizations: Linking dashboard design and
data visualization concepts. Journal of Computer Languages, 50,
19–38. https://doi.org/10.1016/J.JVLC.2018.11.002

Shah,
D. (2020). By The Numbers: MOOCs in 2020 — Class Central.
https://www.classcentral.com/report/mooc-stats-2020/

Torre, M. V., Tan, E., & Hauff, C. (2020). EdX
log data analysis made easy: Introducing ELAT: An open-source, privacy-aware
and browser-based edX log data analysis tool. ACM International Conference
Proceeding Series, 502–511. https://doi.org/10.1145/3375462.3375510

Vermunt,
J. D., & Donche, V. (2017). A Learning Patterns Perspective on Student
Learning in Higher Education: State of the Art and Moving Forward. Educational
Psychology Review, 29(2), 269–299.
https://doi.org/10.1007/s10648-017-9414-6