https://doi.org/10.37815/rte.v34n3.957
Artículos originales
Desarrollo de un XBlock en Open edX para a=
poyar el
monitoreo y seguimiento en un SPOC
Developme=
nt of a XBlock in Open edX to support monitoring and follow-u=
p in a
SPOC
Jonnathan Campoberde=
1 <=
/span>https://orcid.org/0000-0=
002-4998-3875,
Miguel Á. Macía=
s1 =
https://orcid.org/0000-0=
002-8007-7301, Jorge Maldonado-Mahauad1 https://orcid.org/0000-0=
003-1953-390X
1
jonnathan.campoberde@gmail.com
Enviado: 2022/07/03
Aceptado: 2022/09/19
Publicado:
2022/11/30
Resumen
Sumario: Introducción, Metodología, Discusión de los Resultados y
Conclusiones. Como citar:<=
/span> Campoberde, J., Macías, M. & M=
aldonado-Mahauad, J. (2022). Desarrollo d=
e un
XBlock en Open edX
para apoyar el monitoreo y seguimiento en un SPOC. Revista Tecnológ=
ica
- Espol, 34(3), 139-156. http://www.rte.espol.e=
du.ec/index.php/tecnologica/article/view/957
Los Cursos Masivos Abiertos y en Lí=
nea
(MOOC) se han convertido en una tecnología disruptiva que ha buscado
democratizar el acceso a la educación. Estos son cursos que se ofertan de f=
orma
abierta generalmente en alguna plataforma para MOOC como es Open edX. Estos c=
ursos
son tomados por cientos de miles de estudiantes, quienes lo siguen de forma
autónoma, esto es, sin la presencia o guía de un docente. Cuando un MOOC se
cierra para un número menor de estudiantes y se utiliza de forma privada
integrándolo al currículo académico, se los conoce como Cursos Pequeños
Privados en Línea (SPOC). Los SPOC, a diferencia de los MOOC, requieren la
presencia y guía de un docente mientras los estudiantes toman el curso. Sin
embargo, la plataforma Open edX carece de
visualizaciones que asistan a estudiantes y docentes en la toma de decision=
es
durante el transcurso del curso. Es decir que el seguimiento y el monitoreo=
es
escaso y limitado. Por este
motivo, el presente trabajo propone desarrollar un componente denominado
=
Pa=
labras
clave: =
MOOC,
indicadores, dashboard, SPOC, patrones de apren=
dizaje.
Abstract
Massive Open Online Courses (MOOCs) have become a
disruptive technology that has aimed to democratize access to education. Th=
ese
are courses that are offered openly, generally on a MOOC platform such as O=
pen
edX. These are courses that are offered openly, generally on a MOOC platform
such as Open edX, and are taken by hundreds of thousands of students
autonomously (without the presence or guidance of a teacher). When a MOOC is
closed to a smaller number of students and is used privately and integrated
into the academic curriculum, it is known as a Small Private Online Course
(SPOC). SPOCs, unlike MOOCs, require the presence and guidance of a teacher=
while
students take the course. However, the Open edX platform lacks visualizatio=
ns
to assist students and teachers in making decisions during the course. In o=
ther
words, follow-up and monitoring is scarce and limited. For this reason, the
present work proposes to develop a component called XBlock that implements,=
on
the one hand, visualizations for students in order to account for their
learning process; and, on the other hand, visualizations for teachers so th=
at
they can monitor, follow up and give feedback to students in a SPOC. To ach=
ieve
this, the methodology adapted from LATUX was used for the planning, design =
and
implementation of an XBlock and also for the evaluation of the visualizatio=
n of
the dashboard. As a result of the evaluation, it was found that about 80% of
the students perceive the developed XBlock as a positive stimulus to redire=
ct
student behavior. In addition, it contributes as a support for teachers when
designing teaching strategies that allow them to monitor and provide better
feedback to students so that they can successfully complete the course.
Introducción
En la actualid=
ad los
usuarios al interactuar con los sistemas de información generan una gran
cantidad de datos, dejando como resultado una huella digital (Ben Kei, 2016). En el sector educativo, en los últimos =
años,
los Sistemas de Gestión de Aprendizaje (SGA) se han convertido en una fuente
rica de datos, producto de las interacciones de los estudiantes con los
recursos de un curso. Un ejemplo de esto, son los Cursos Masivos Abiertos y=
en
Línea, conocidos en inglés como MOOC. Estos cursos atraen a una gran cantid=
ad
de estudiantes de todo el mundo (Shah, 2020)(Dhawal Shah, 2020)(Torre et al., 2020)(Torre et al., 2020)(Antonaci et =
al.,
2018). Este proyecto, incorpora visualizacione=
s con
el objetivo de conocer las interacciones de cada estudiante dentro de la
plataforma. Otro ejemplo es OXALIC, este proyecto provee de visualizaciones=
que
se presentan solo a los docentes, pero únicamente sobre información general=
de los
estudiantes y su progreso en el curso (Khalil & Belokrys, =
2020)(Antonaci et =
al.,
2018),
limitando las posibilidades de los SPOC a un e-learning tradicional.=
Por lo anterio=
r, en
este trabajo se propone desarrollar un componente denominado XBlock que implemente, por un lado, visualizac=
iones
para estudiantes a fin de dar cuenta de su proceso de aprendizaje; y, por o=
tro
lado, visualizaciones para docentes a fin de que puedan monitorear, hacer
seguimiento y retroalimentar a los estudiantes en un SPOC. Para esto: (1) se
parte del desarrollo de un análisis exploratorio sobre el comportamiento de
los estudiantes en un SPOC para (2) determinar variables y secuencias de
aprendizaje comunes; (3) se propone un diseño de un da=
shboard
de visualizaciones para profesores y estudiantes a partir de las variables y
secuencias detectadas; (4) se implementa el dashboard<=
/span>
bajo la forma de un XBlock para la plata=
forma
abierta Open edX que permita visualizar el
comportamiento de los estudiantes; y (5) finalmente, se hace una evaluación local para analizar la
usabilidad de las visualizaciones desarrolladas en el =
XBlock.
Como resultado se evidenció un alto grado de aceptación y conformidad en el=
uso
de las visualizaciones para la toma de decisiones por parte de estudiantes y
docentes al utilizar el XBlock, así como
también el interés por hacer seguimiento de su comportamiento a lo largo de=
las
semanas mediante las visualizaciones del dashboard.
El artículo se
encuentra estructurado de la siguiente manera: en la sección 2 se describe =
la
metodología utilizada para el diseño, desarrollo y evaluación del dashboard desarrollado en el =
XBlock.
La sección 3 presenta la discusión de los resultados de evaluación. Finalme=
nte,
la sección 4 presenta las principales conclusiones.
M
Para el desarr=
ollo del
XBlock para la plataforma Open edX se ha empleado la metodología adaptada de LATU=
X
(Learning Awareness Tool – User eXperience)
(Martine=
z-Maldonado
et al., 2016). Esta metodología ha sido seleccionada d=
ebido
a que es útil en los contextos donde se diseñe e implemente herramientas que
mejoren la entrega de información en entornos de aprendizaje virtual. Las c=
inco
etapas con las que cuenta la metodología se agrupan bajo 2 enfoques: el pri=
mer
enfoque se centra en la identificación del problema y sus indicadores; y el
segundo enfoque aborda las etapas de planificación, diseño, implementación y
evaluación. La Figura
1 presenta los pasos de la metodología ada=
ptada
de LATUX.
Figura = 1=
Pasos de la Metodología Ad=
aptada
LATUX Empleada en el Desarrollo del XBlock
·
¿Cuá=
les
son las necesidades de los interesados?
·
¿Qué
fuentes de datos se dispone?
·
¿Cuá=
l es
el contexto de aprendizaje?
·
¿Qué
herramientas de Analítica de Aprendizaje se dispone?
·
¿Cómo
están los datos siendo obtenidos, usados, compartidos y almacenados?
Como resultado=
de este
análisis, se identificaron características a ser implementadas a través de
visualizaciones que apoyen a los estudiantes y a los docentes en un SPOC, y=
que
están relacionadas con (i) conocer cuál es su situación actual dentro del
curso, ya que esto le permite poder tomar decisiones para corregir o reforz=
ar
su proceso de aprendizaje; (ii) la necesidad de
contrastar su rendimiento con otros compañeros dentro del mismo curso, esto
como una motivación a mejorar o mantenerse dentro de aquel porcentaje de
estudiantes que están teniendo éxito; (iii) el =
nivel
de compromiso que pueden adquirir los estudiantes al interactuar con los
recursos dentro de un curso.
Este nivel de
compromiso ha sido estudiado y organizado en tres dimensiones, tales como,
medidas de comportamiento, medidas cognitiva y medidas emocionales <=
!--[if supportFields]>ADDIN CSL_CITATION
{"citationItems":[{"id":"ITEM-1","itemDa=
ta":{"DOI":"10.1109/TLT.2020.3003220","ISSN&q=
uot;:"19391382","abstract":"Recent
research shows that learners who are able to self-regulate their learning s=
how
greater levels of engagement with massive open online course (MOOC) content=
. To
improve support for learners in their self-regulatory processes, researchers
have proposed technological solutions to transform recorded MOOC data into
actionable knowledge. However, studies providing empirical evidence on how
these solutions impact learners' engagement with the course and their
self-regulatory behavior remain scarce. In this article, we present the res=
ults
of an observational case study in which NoteMyProgress (NMP), a web-based t=
ool
designed to support learners' self-regulation in MOOCs, is applied as an
intervention in two MOOCs. The main aim of this article is to provide insig=
hts
into how the support of learners' self-regulated learning (SRL) strategies
correlates with course engagement. We performed the evaluation using a samp=
le
of 263 learners and utilized distinct data sources in order to propose
indicators for learners' engagement with the course and NMP. Results show a
positive correlation between learners' final grades with NMP functionalities
that support goal setting, organization (note taking), and self-reflection
(social comparison) SRL strategies. Furthermore, we found no significant
behavioral differences in how learners with low SRL and high SRL profiles
engage with the course or NMP. Finally, we discuss how these results relate=
to
prior work and the implications for future technological solutions that see=
k to
promote engagement in
MOOCs.","author":[{"dropping-particle":""=
;,"family":"Perez-Alvarez","given":"Rona=
ld
Antonio","non-dropping-particle":"","parse-na=
mes":false,"suffix":""},{"dropping-particle&q=
uot;:"","family":"Maldonado-Mahauad","gi=
ven":"Jorge","non-dropping-particle":"",=
"parse-names":false,"suffix":""},{"dropp=
ing-particle":"","family":"Sharma","=
;given":"Kshitij","non-dropping-particle":"&q=
uot;,"parse-names":false,"suffix":""},{"=
dropping-particle":"","family":"Sapunar-Opazo=
","given":"Diego","non-dropping-particle"=
;:"","parse-names":false,"suffix":""=
;},{"dropping-particle":"","family":"Per=
ez-Sanagustin","given":"Mar","non-dropping-pa=
rticle":"","parse-names":false,"suffix":=
""}],"container-title":"IEEE
Transactions on Learning Technologies","id":"ITEM-1&quo=
t;,"issue":"4","issued":{"date-parts&quo=
t;:[["2020","10","1"]]},"page":&quo=
t;676-688","publisher":"Institute
of Electrical and Electronics Engineers Inc.","title":"=
Characterizing
Learners' Engagement in MOOCs: An Observational Case Study Using the
NoteMyProgress Tool for Supporting
Self-Regulation","type":"article-journal","vo=
lume":"13"},"uris":["http://www.mendeley.com/=
documents/?uuid=3D8c21d089-efde-38c2-9533-cdf2489c8eb8","http://w=
ww.mendeley.com/documents/?uuid=3De253f5a2-6d12-4784-aaa9-da23df33fde1"=
;]}],"mendeley":{"formattedCitation":"(Perez-Alvar=
ez
et al., 2020)","plainTextFormattedCitation":"(Perez-Alv=
arez
et al.,
2020)","previouslyFormattedCitation":"(Perez-Alvarez et
al., 2020)"},"properties":{"noteIndex":0},"sc=
hema":"https://github.com/citation-style-language/schema/raw/mast=
er/csl-citation.json"}(Perez-A=
lvarez
et al., 2020). Es así, que se evidencia el interés de
estudiantes y docentes por (iv) conocer acerca =
de la
frecuencia con la que son accedidas las lecturas, videos y problemas dentro=
de
un curso. Además, de analizar la (v) interacción de los estudiantes entre sí
dentro de los foros del curso. Otro punto importante es el (vi) tiempo
invertido en las actividades, así como también el rendimiento, el cual es
evidenciado a través de la (vii) cantidad de re=
cursos
que completan dentro de la plataforma.
Como siguiente=
paso,
para llegar a comprender el comportamiento de los estudiantes dentro de los
SPOC, es importante conocer acerca de sus secuencias de interacción durante=
el
proceso de aprendizaje. Vermunt en su estudio <=
/span>(Vermunt=
&
Donche, 2017), explica que, una secuencia de aprendiza=
je se
conceptualiza como un conjunto coherente de actividades (secuencias o conju=
nto
de interacciones) que suelen emplear los estudiantes. Estas secuencias pued=
en
ser capturadas a través del análisis de logs de datos que contengan las
interacciones de los estudiantes con los recursos digitales del curso. Para
esto, el uso de técnicas de minería de procesos sobre los datos educativos
permiten construir de manera visual los caminos o trayectorias utilizadas p=
or
los estudiantes mientras siguen el curso (Borouje=
ni &
Dillenbourg, 2018). Para lograrlo, se utilizó los datos que=
se
almacenan en Open edX de un SPOC y se extrajo u=
n log
de eventos que fue procesado empleando el software Disco (ver Tabla
1). Como resultado se obtuvo un modelo de
procesos (Figura 2=
) que representa las principales trayecto=
rias
seguidas por los estudiantes en un SPOC.
Columnas del log de eventos ingre= sados en Disco
|
COLUMNA |
DESCRIPCIÓN |
|
user_id |
Hace referencia al id del estudiante que está generando el evento.=
|
|
course_id |
Id del curso en el que está el estudiante. |
|
block_id |
Correspondiente al id del bloque que está analizando en ese moment=
o. |
|
event_type |
variable creada para poder identificar el tipo de evento que se es=
tá
analizando. |
|
time |
La fecha y hora que se desencadeno el evento. |
Figura = 2=
Modelo de procesos de los estudia=
ntes en
un SPOC
Por medio del =
análisis
del modelo de procesos generado se identificaron las secuencias de aprendiz=
aje
principales de todos los estudiantes (ver Figura 2). Como resultado se pudo
observar que los estudiantes: (1) inician con las video-lecturas del curso,=
las
completan, luego se mantienen en un bucle de interacciones entre completar =
los
problemas propuestos y regresar a visualizar problemas antes desarrollados,
para luego finalizar su sesión de trabajo; (2) en la segunda secuencia que =
se
puede identificar que los estudiantes inician completando las video-lectura=
s y luego
regresan a consultarlas antes de avanzar a completar los problemas propuest=
os.
Estas secuencias de aprendizaje son las =
más
comunes que realizan los estudiantes y se puede observar también que los
estudiantes no revisan todas las video-lecturas y tampoco desarrollan las
evaluaciones propuestas (lo cual es un comportamiento no esperado, pues las
evaluaciones se deben de realizar una vez que terminen las video-lecturas)
debido a esto es que se pudo observar que los estudiantes repiten los probl=
emas
de las evaluaciones.
Una vez identi=
ficadas
estas secuencias de interacciones de los estudiantes, sobre los modelos de
procesos obtenidos se empleó la técnica de clustering<=
/span>
o agrupamiento para clasificar a los estudiantes en grupos dependiendo sus
secuencias o trayectorias de aprendizaje. Como resultado se observaron tres
grupos que caracterizan el comportamiento de los estudiantes en un SPOC. En=
el
primer grupo, están los estudiantes que trabajaro=
n solo
con las evaluaciones propuestas y no tuvieron interacciones con las
video-lecturas del curso u otro tipo de actividades. Este patrón concuerda =
con
el identificado en el trabajo de (Maldonado-Mahauad et al., 2018),
donde denomina a este tipo de estudiantes como estratégicos u orientados a =
los
objetivos personales. Este
tipo de estudiantes tienden a centrar sus esfuerzos en pasar las evaluacion=
es a
fin de certificar o probar sus conocimientos.
En el segundo =
grupo, se observaron estudiantes exploradores <=
/span>(Maldona=
do-Mahauad
et al., 2018). Este grupo de estudiantes se caracteriz=
an por
que sus interacciones son muy cortas (de pocos segundos, por ende, las sesi=
ones
de estudio son cortas), no completan las evaluaciones ni problemas propuest=
os,
y las interacciones con los recursos del curso son erráticas. Finalmente, e=
n el
tercer grupo, se identificó a los estudiantes “comprensivos” (Maldona=
do-Mahauad
et al., 2018). Este grupo se encuentra compuesto por l=
os que
realizan todas las video-lecturas y problemas propuestos, son los que mayor
cantidad de interacciones tienen con los recursos del curso y siguen la
trayectoria instruccional propuesta por el curso. Además, estos estudiantes
exhiben un mayor nivel de compromiso para terminar con éxito el curso.
Como resultado=
de esta
primera etapa, se extrajeron las características que tanto docentes como es=
tudiantes
indicaron debe tener un dashboard de visualizac=
iones.
Por otro lado, también se ha extraído de los datos, las secuencias de
aprendizaje de los estudiantes en un SPOC, logrando develar los tipos de
interacciones más comunes y que permiten clasificar a los estudiantes en tr=
es
grupos.
Identificación de variables
En esta segund=
a etapa
se identificaron indicadores y variables relacionados al éxito académico de
estudiantes en SPOC, con el objetivo de incorporarlos en el diseño de las
visualizaciones del componente XBlock. L=
os
indicadores y variables seleccionadas que se muestran en la Tabla
2, resultaron del análisis de la etapa 1. =
Estos
indicadores y variables fueron mapeados con los indicadores que se proveen =
en
la base de datos de Open edX, con el fin de pod=
er
entender si era posible extraerlos de manera directa o se requerían cálculo=
s o
integraciones de datos intermedios.
Indicadores y variables seleccion= adas para incluir en el diseño del XBlock
|
INDICADOR |
DESCRIPCIÓN |
|
|
Frecuencia de las actividades |
interaction_foros |
Cantidad de veces que un estudiante interactúa en los foros |
|
completed_lectures |
Cantidad de lecturas completadas |
|
|
videos_complete |
Cantidad de videos completados |
|
|
complete_problem |
Cantidad de problemas completados |
|
|
Secuencias y patrones de aprendizaje |
repeated_lectures |
Cantidad de veces que un estudiante repite una lectura |
|
repeat_videos |
Cantidad de veces que un estudiante repite un video |
|
|
repeat_problem |
Cantidad de veces que un estudiante repite un problema |
|
|
num_play_videos |
Cantidad de veces que se ha reproducido un video |
|
|
num_pause_videos |
Cantidad de veces que se ha pausado un video |
|
|
num_stop_videos |
Cantidad de veces que se ha detenido un video |
|
|
num_load_videos |
Cantidad de veces que se ha accedido a un video |
|
|
num_fast_forward_videos |
Cantidad de veces que se ha adelantado un video |
|
|
num_rewind_videos |
Cantidad de veces que se ha retrocedido un video |
|
|
num_accessed_resources |
Cantidad de recursos accedidos por un estudiante |
|
|
Rendimiento a través del tiempo |
week_id |
Número de la semana en la que se desarrollan las actividades de un
estudiante |
|
start_date_week |
Fecha en la que comienza un periodo de actividades de 7 días |
|
|
end_date_week |
Fecha en la que finaliza un periodo de actividades de 7 días |
|
|
num_sessions |
Cantidad de veces que un estudiante se ha conectado a la plataform=
a. |
|
|
sum_time_sessions |
Tiempo invertido del estudiante en la plataforma |
Planificación y Diseño
En esta tercer=
a etapa,
como primer paso, se analizaron dashboards
desarrollados por diferentes proyectos. Por ejemplo, ANALISE y OXALIC (Khalil =
&
Belokrys, 2020; Ruipérez-Valiente et al., 2017). Estos proyectos han desarrollado sus pr=
opios dashboards para ser utilizados en la plataforma Open =
edX. Estos proyectos se enfocan en el proceso de
aprendizaje de los estudiantes dentro de un curso, para luego mostrar esta
información a los profesores mediante visualizaciones. Estas permiten (1)
visualizar métricas acerca de la inscripción de los estudiantes; (2) el
seguimiento de las actividades de los estudiantes; y (3) visualizar el cont=
eo
de las interacciones de los estudiantes con el contenido del curso.
Como segundo p=
aso, se
hizo uso de la guía para la elección de visualizaciones para dashboards de aprendizaje denominada “Linking dashboard design and data visualization concepts” (Sedraky=
an et
al., 2019). Esta guía presenta una metodología que =
se enfoca en los
siguientes aspectos al momento de elegir las visualizaciones más adecuadas =
al
construir un dashboard: (a) objetivos y necesidades de los interesados=
; (b)
fuente de los datos; (c) retroalimentación y autorregulación del aprendizaj=
e; y
(4) facilidad para mostrar el progreso del proceso de aprendizaje.
Como resultado, tomando como base el análisis exploratorio de las
interacciones de los estudiantes realizado en la etapa 1 y siguiendo la guía
para la elección de visualizaciones, se determinó que estudiantes y docentes
tienen la necesidad de: (a) conocer sobre de la frecuencia con la que se
interactúa un estudiante con los recursos del curso; (b) requieren evidenci=
ar
el tiempo invertido en semanas; (c) identificar las brechas entre el estado=
actual
y el estado deseado de los estudiantes con respecto a la comparación con el
promedio de sus compañeros dentro de un curso (Schunk =
&
Zimmerman, 2012); y (d) facilitar la comparación del proc=
eso de
aprendizaje en periodos de tiempo uniforme, comúnmente dividido en semanas =
(Ramesh =
et al.,
2014). Esto ha servido para implementar diferentes visualizaciones que se
describen en la siguiente etapa.
Implementación
En esta cuarta=
etapa,
se implementa la arquitectura del XBlock=
junto
con las visualizaciones para docentes y estudiantes. Las tecnologías emplea=
das
en el XBlock para la plataforma Open
La representac=
ión
gráfica de la arquitectura propuesta con todas las capas antes mencionadas =
se
muestra en la Figura
3. La primera capa de la arquitectura prop=
uesta
para el XBlock denominado XLEA (XBlock for LEarning
Analytics) presenta la parte visual. En esta pr=
imera
capa es donde los estudiantes y los profesores interactúan con las
visualizaciones, y está compuesta por HTML, CSS y Java=
script,
esta aplicación integra XBlock API para =
poder
acceder a la configuración con la que cuenta la plataforma de Open edX.
Figura = 3=
Arquitectura propuesta para el
La segunda cap=
a de la
arquitectura facilita la comunicación con el código base de la plataforma de
Open edX por medio del =
XBlock
Runtime. En esta capa es donde el LMS y CMS req=
uiere
que los XBlocks tengan las siguientes
propiedades: (1) tener un método de la vista denominado student_view
que en el caso del LMS, esta se pueda interactuar, mientras que, en el CMS =
el
instructor pueda configurar; (2) tener una propiedad llamada has_score con un valor de True si el XBlock permite realizar calificaciones, caso
contrario este valor deberá ser configurado como False. Finalmente, la terc=
era
capa de la arquitectura propuesta es la comunicación con los sistemas de
persistencia de base de datos para recuperar la información almacenada.
La comunicació=
n con
las bases de datos tanto de MySQL como de MongoDB se realiza por medio del =
XBlock Runtime que=
permite
acceder en tiempo de ejecución a los datos almacenados y poder comunicar con
las capas superiores. En esta capa es donde el XBlo=
ck
puede acceder a la información procesada de la interacción de los estudiant=
es,
pues previamente se ha almacenado en la base de datos de MySQL, empleando el
script desarrollado.
Empleando la
arquitectura antes mencionada, en el XBlock a
desarrollar se incorporan funcionalidades adicionales a las ya existentes
dentro de la plataforma Open edX. De esta manera
tanto los estudiantes y docentes pueden tomar decisiones informadas a base =
de
la información mostrada en el dashboard. Las
funcionalidades que brinda el componente desarrollado son (1) Vista general=
de
las interacciones de los estudiantes con los recursos que se encuentran den=
tro
del curso; (2) Medir y comparar los logros conseguidos de un estudiante con=
la
media del curso; y (3) Comparación del tiempo dedicado por un estudiante co=
n el
tiempo promedio que ocupan los estudiantes en una semana de actividades en =
la
plataforma.
Como resultado=
, las
visualizaciones implementadas en el XBlock
cuentan con dos tipos de vistas, la del estudiante y la del docente. Las
visualizaciones se diseñaron a base de los objetivos y requerimientos tomando
en cuenta los indicadores obtenidos en las etapas anteriores. En la vista d=
el
estudiante se muestran gráficas que presentan el rendimiento general de los
estudiantes por semanas. Los indicadores que se utilizaron para el diseño de
este gráfico fueron la cantidad de recursos a los que ha accedido el estudi=
ante
a lo largo de una semana, es decir, lecturas, videos, foros y exámenes, tal
como se lo muestra en la Figura
4.
Figura = 4=
Rendimiento general por semanas. = Vista del estudiante
Adicionalmente=
en la Figura
5 se compara el rendimiento individual del
estudiante contra el rendimiento del curso en promedio, con el fin de dar a=
los
estudiantes información acerca del estado de su proceso de aprendizaje. Y p=
or
último se muestran indicadores relacionados a la cantidad de recursos
completados por el estudiante a lo largo del curso en la Figura
6.
Figura = 5=
Tiempo invertido en el curso por = semanas. Vista del estudiante
Figura = 6=
Recursos completados a lo largo d= el curso. Vista del estudiante
Para la vista =
del
docente las visualizaciones se diseñaron a base del promedio de las
interacciones de todos los estudiantes del curso. En la Figura
7 se muestran los recursos completados por
semanas de todos los estudiantes del curso, separados en lecturas, videos,
foros y problemas.
Figura = 7=
Recursos completados por semanas =
de todos
los estudiantes del curso. Vista del docente
Las sesiones en
promedio por semana y su duración, así también la cantidad de recursos
accedidos en promedio por semana de todos los estudiantes del curso se mues=
tra
en la Figura
8.
Figura = 8=
Sesi= ones promedio por semana y recursos accedidos en promedio por semana. Vista del docente
Finalmente, en=
la Figura
9 se muestra una tabla con las estadísticas
individuales de cada estudiante del curso. Se incluyen indicadores como el
número de recursos accedidos, lecturas, videos, problemas, foros, número de
sesiones y el tiempo invertido en el curso.
Figura = 9=
Estadísticas de los indicadores d= e cada estudiante del curso. Vista del docente
Evaluación
Como última et=
apa de
la metodología LATUX empleada en este trabajo, se realizó la evaluación del
componente XBlock. Para la evaluación se=
hizo
uso del cuestionario Evaluation Frame=
work for Learning Analytics (EFLA)
(Scheffe=
l et
al., 2017). Mientras que para la evaluación de la
experiencia de usuario al usar el dashboard, se
utilizó el cuestionario User Experience Questionarie (UEQ) (Laugwit=
z et
al., 2008).
Participant=
es
La evaluación =
de las
visualizaciones incorporadas en el XBlock fue
realizada por estudiantes y profesores de la Universidad de Cuenca (muestre=
o a
conveniencia). Los participantes tuvieron acceso completo a todas las
visualizaciones, tomando en cuenta su rol dentro de la plataforma, se
proporcionará el cuestionario respectivo. La cantidad de participantes sele=
ccionados
son 14, de los cuales 10 son estudiantes; y los 4 profesores que participar=
on
en la evaluación de igual manera han tenido experiencia en impartir cursos
MOOC.
Instrumento=
s
Se seleccionó =
el
cuestionario de evaluación EFLA, cuyo objetivo es permitir entender desde la
perspectiva del estudiante y del docente la significancia de las
visualizaciones que se presentan para la toma de decisiones. Este cuestiona=
rio
cuenta con dos versiones una para profesores
(https://forms.gle/1uMg9FSHj4jTcicYA) y otra para estudiantes
(https://forms.gle/P18rwhyXLX45vC3Y6).
Las preguntas =
que se
deben de responder están en una escala del 1 al 10, donde el 10 es el valor=
de
mayor importancia mientras que el valor 1 es de menor importancia. Este
cuestionario cuenta con tres dimensiones las mismas que se muestran en la <=
/span>Tabla
3 y para obtener cada uno de los valores d=
e cada
dimensión se tiene que usar la ecuación (1).
Dimensiones de EFLA
|
DIMENSIÓN |
DESCRIPCIÓN |
INDICADORES |
|
Datos |
Esta variable está relacionada al acceso y la presentación de los
datos |
Transparencia |
|
Manipulación |
||
|
Concientización y Reflexión |
Esta variable está relacionada a la proyección a futuro del esta=
do
de aprendizaje de los estudiantes |
Comparabilidad |
|
Recomendación |
||
|
Clasificación de actividades |
||
|
Comportamiento |
||
|
Impacto |
Esta variable está relacionada a la motivación que sienten los
usuarios al usar la herramienta |
Efectividad |
|
Eficiencia |
El otro cuesti=
onario
empleado fue el UEQ que es ampliamente usado para medir la impresión subjet=
iva
que tienen los usuarios sobre la calidad y usabilidad en los productos de
software (Schrepp=
et al.,
2017). El cuestionario empleado (https://forms.gle/TDfnch3QisUct2Ce9) tiene una escala de Likert para medir l=
as
reacciones, actitudes y comportamientos de las personas donde 1 es totalmen=
te
en desacuerdo y 5 totalmente de acuerdo; se ha seleccionado esta escala deb=
ido
a que a diferencia de las preguntas de si/no está permite tener una mayor
libertad en calificar las respuestas (Nemoto =
&
Beglar, 2014). Los factores empleados para medir la
experiencia que tiene el usuario con el producto de software se muestran a
continuación:
·
A=
tractivo: Impresión general del producto. ¿A los
usuarios les gusta o disgusta el producto?
·
C=
laridad: ¿Es fácil familiarizarse con el product=
o? ¿Es
fácil aprender a usar el producto?
·
E=
ficiencia: ¿Pueden los usuarios resolver sus tarea=
s sin
esfuerzo innecesario?
·
C=
onfianza: ¿Se siente el usuario en control de la
interacción?
·
E=
stímulo: ¿Es emocionante y motivador usar el pro=
ducto?
·
N=
ovedad: ¿Es el producto innovador y creativo? ¿=
El
producto capta el interés de los usuarios?
Resultados =
Los resultados=
de la
evaluación de los estudiantes y profesores empleando el cuestionario EFLA se
muestran en la Tabla
4. En esta tabla se presentan los resultad=
os al
emplear la formula (1) en cada una de las dimensiones analizadas tanto para=
los
profesores como para los estudiantes.
Resultados de la evaluación con el cuestionario EFLA
|
DIMENSIÓN |
EFLA SCORE DE ESTUDIANTES |
EFLA SCORE DE PROFESORES |
|
Datos |
79.44 |
80.55 |
|
Concientización y Reflexión |
81.67 |
77.08 |
|
Impacto |
77.78 |
77.78 |
Enfocándonos en los resultados de EFLA aplicado a
estudiantes (n=3D 14), las dimensiones de evaluación mantienen un puntaje p=
or
arriba de los 77/100 puntos (77%), esto demuestra que la herramienta XBlock pr=
esenta
de manera sencilla y clara los datos en sus visualizaciones, de la misma fo=
rma,
los estudiantes se sienten motivados a reflexionar acerca de su comportamie=
nto
y proceso de aprendizaje.
Los resultados=
de la
evaluación empleando el cuestionario UEQ (Tabla 5<=
/span>)para medir la experiencia del usuario mu=
estra
que la mitad de los participantes (n=3D 14) están de acuerdo que las
visualizaciones les han parecido atractivas. El 80% de los participantes es=
tá de
acuerdo que el dashboard presenta las visualiza=
ciones
de forma ordenada y fácil de entender por lo que no tuvieron la necesidad de
aprender alguna herramienta para su uso. El 70% de los participantes están =
de
acuerdo que el dashboard les permite tener un c=
ontrol
sobre su proceso de aprendizaje y en igual medida de participantes indican
haber tenido interés luego de usarla. El 60% de los participantes están
dispuestos a seguir usando la herramienta mientras que el 40% restante tenía
dudas, esto se puede deber al margen de mejora que existe en las
visualizaciones del dashboard según la
retroalimentación de los participantes.
Resultados de la evaluación con el cuestionario UEQ
|
PREGUNTA |
# PERSONAS TOTALMENTE EN DESACUERDO |
# PERSONAS EN DESACUERDO |
# PERSONAS NI DE ACUE=
RDO,
NI EN DESACUERDO |
# PERSONAS DE ACUERDO |
# PERSONAS TOTALMENTE DE ACUERDO |
|
Me
pareció atractiva la herramienta |
0 |
0 |
1 |
8 |
5 |
|
Las figuras se encuentran organizadas de una man=
era
fácil de entender |
0 |
0 |
2 |
10 |
2 |
|
Tuve que aprender otras cosas para usar la
herramienta |
9 |
3 |
2 |
0 |
0 |
|
Esta herramienta me ayuda a mí a tener un control
sobre mi aprendizaje |
0 |
0 |
4 |
9 |
1 |
|
La herramienta captó mi interés |
0 |
0 |
4 |
8 |
2 |
|
La herramienta motiva a utilizarla de nuevo |
0 |
0 |
5 |
7 |
2 |
Discusión de los Resultados
En otros trabajos, como es el caso de ANA=
LIZE,
los autores obtuvieron resultados positivos luego de evaluar su herramienta=
de
analíticas de aprendizaje con una escala de usabilidad del sistema (SUS) de
78/100 puntos (Ruipérez-Valiente et al=
.,
2017). Estos resultados evidencian la necesida=
d de
los estudiantes por utilizar herramientas que den soporte a la toma de
decisiones a través de las LA, lo cual se contrasta con los resultados de
nuestro trabajo, donde el 80% de los participantes afirman la importancia y
necesidad del uso de este tipo de herramientas.
Adicionalmente, se añadió una sección de
sugerencias en el cuestionario UEQ, del cual se pudieron identificar mejoras
para nuestro dashboard de analíticas de aprendi=
zaje.
Estas mejoras pueden resumirse en los siguientes puntos: (1) Debería
incluirse una descripción de las funcionalidades de la herramienta, de mane=
ra
que quede claro lo que se puede obtener de la misma; (2) Se podría añadir m=
ás
información para contextualizar un escenario donde se explique los recursos
accedidos por los estudiantes no sólo son videos e información, sino también
cuando el estudiante aprueba o reprueba un examen. De esta forma, el docente
puede percibir los resultados como una retroalimentación de qué temas se pu=
ede
reforzar para mejorar el proceso de enseñanza-aprendizaje; (3) con respecto=
a
pequeños detalles de la interfaz, la tabla de estadísticas debería indicar
claramente las unidades de las columnas, por ejemplo, cantidad, tiempo, etc=
. De
igual manera, se debería poder acceder a la información de semanas previas.=
(4)
Pequeños cambios en los tipos de letras, tamaños, colores, cabeceras de las
tablas, que podrían mejorar la experiencia de usuario.
En este trabaj=
o se ha
presentado el desarrollo de un componente XBlock
que implementa, por un lado, visualizaciones para estudiantes a fin de dar
cuenta de su proceso de aprendizaje; y, por otro lado, visualizaciones para
docentes a fin de que puedan monitorear, hacer seguimiento y retroalimentar=
a
los estudiantes en un SPOC. Para esto se ha utilizado la metodología de 5
etapas propuesta por LATUX (Learning Awareness<=
/span>
Tool – User eXperience) (Martinez-Maldonado et a=
l.,
2016)
donde (1) se parte del desarrollo de un análisis exploratorio sobre el comportami=
ento
de los estudiantes en un SPOC para (2) identificar variables y secuencias de
aprendizaje comunes; (3) se propone un diseño de un da=
shboard
de visualizaciones para profesores y estudiantes a partir de las variables y
secuencias detectadas; (4) se implementa el dashboard<=
/span>
bajo la forma de un XBlock para la plata=
forma
abierta Open edX que permita visualizar el
comportamiento de los estudiantes; y (5) finalmente se hace una evaluación local para evaluar la
significancia de las visualizaciones que se presentan para la toma de
decisiones; y evaluar la usabilidad de las visualizaciones desarrolladas en=
el XBlock. Como resultado se evidencia un alto gr=
ado de
aceptación y conformidad en el uso de las visualizaciones para la toma de
decisiones por parte de estudiantes y docentes al utilizar el XBlock, también el interés por hacer seguimien=
to de
su comportamiento a lo largo de las semanas mediante las visualizaciones de=
l dashboard.
Como resultado=
de la
evaluación, los participantes, en sus respuestas evidenciaron el interés po=
r el
uso de esta herramienta que brinde soporte a los estudiantes y docentes de =
un
curso. Cerca del 80% de los participantes perciben al =
XBlock
como un estímulo positivo para redirigir su comportamiento y estrategias de
aprendizaje o enseñanza hacia el éxito académico dentro del curso. Sin emba=
rgo,
existen participantes que aseguran que el dashboard
puede mejorar su experiencia de usuario añadiendo descripciones y elementos=
que
guíen a aquellos que no han tenido experiencia previa en el manejo de dashboards de LA. En la retroalimentación brindada po=
r los
participantes, un 20% expresa que los gráficos deberían cambiar ciertos
detalles como colores, tamaños y tipos de letras. Tales observaciones están
relacionadas con la experiencia de usuario, mientras que, cerca del 80% est=
án
de acuerdo en qué el dashboard cumple con su ob=
jetivo
y les permite conocer acerca de su estado actual de aprendizaje o enseñanza=
con
el fin de modificar sus estrategias y comportamiento para alcanzar el éxito
académico.
A pesar de est=
o,
existe un alto grado de aceptación y conformidad por parte de los
participantes. La mayoría se enfoca en aquellas visualizaciones que permiten
tener una comprensión del comportamiento histórico por semanas de las
diferentes actividades que desempeñan dentro del curso, por ejemplo, videos,
lecturas y problemas. Finalmente, en este trabajo se ha demostrado que es
posible crear un XBlock dentro de la pla=
taforma
Open edX que, partiendo de las necesidades de l=
os
involucrados, permitan tanto a estudiantes y profesores mejorar su proceso =
de
aprendizaje y enseñanza dentro de un SPOC. Adicionalmente, se ha puesto en
evidencia la necesidad de los estudiantes por dashboar=
ds
como el desarrollado en este XBlock que =
les
ofrezcan visualizaciones sobre su comportamiento de aprendizaje que antes s=
olo
estaban disponibles para los docentes.
El alcance del=
estudio
está limitado al análisis del comportamiento de los estudiantes a través de
visualizaciones que incorporen indicadores de éxito estudiantil en cursos d=
e la
plataforma Open edX. Los resultados obtenidos e=
n este
estudio pueden abrir nuevas líneas de investigación centrándose en el
mejoramiento y rediseño de material educativo en cursos ofertados en esta
plataforma. Otra línea de investigación podría centrarse en el procesamient=
o de
los logs de eventos que generan los estudiantes en la plataforma Open edX, ya que actualmente resulta complicado procesar e=
sta
información debido a la falta de una estructura concisa y estable de los da=
tos
en las diferentes versiones que maneja la plataforma. Finalmente, existe ma=
rgen
de mejora relacionado al diseño de visualizaciones de LA dentro de los MOOC=
, el
cual es un área sujeta a cambios e innovaciones.
Agradecimientos
Este trabajo t=
iene el
apoyo académico del proyecto de investigación “Analítica del aprendizaje pa=
ra
el estudio de estrategias de aprendizaje autorregulado en un contexto de
aprendizaje híbrido”, del director del proyecto Ing. Jorge Maldonado Mahauad, PhD. docente de la Facultad de Ingeniería de=
la
Universidad de Cuenca. Adicionalmente, se agradece al Vicerrectorado de
Investigación de la Universidad de Cuenca por proveer los datos de estudian=
tes
de 4 MOOC que se utilizaron para este estudio. También se agradece a la
Corporación Ecuatoriana para el Desarrollo de la Investigación y Academia
(CEDIA) por facilitar el uso de infraestructura necesaria para desplegar un
ambiente de producción del dashboard XLEA.
Referencias
Antonaci, A., Klemke, R., Kreijns, K., & Specht, M.
(2018). Get Gamification of MOOC right! International
Journal of Serious Games, 5(3), 61–78.
https://doi.org/10.17083/ijsg.v5i3.255
Ben
Kei, D. (2016). Overview of big data and analytics in higher education. In =
Big
Data and Learning Analytics in Higher Education: Current Theory and Practic=
e
(pp. 1–4). Springer International Publishing.
https://doi.org/10.1007/978-3-319-06520-5_1
Boroujeni,
M. S., & Dillenbourg, P. (2018). Discovery and temporal analysis of lat=
ent
study patterns in MOOC interaction sequences. ACM International Conferen=
ce
Proceeding Series, 206–215. https://doi.org/10.1145/3170358.3170388
Dhawal
Shah. (2020, November 30). MOOCs in 2020.
https://www.classcentral.com/report/mooc-stats-2020/
edX
Inc. (2021). Introduction to XBlocks.
https://edx.readthedocs.io/projects/xblock-tutorial/en/latest/overview/intr=
oduction.html
Khalil,
M., & Belokrys, G. (2020). OXALIC: An Open edX Advanced Learning Analyt=
ics
Tool. Proceedings of 2020 IEEE Learning With MOOCS, LWMOOCS 2020,
185–190. https://doi.org/10.1109/LWMOOCS50143.2020.9234322
Laugwitz, B., Held, T., & Schrepp, M. (2008). Construction
and evaluation of a user experience questionnaire. Lecture Notes in Comp=
uter
Science (Including Subseries Lecture Notes in Artificial Intelligence and
Lecture Notes in Bioinformatics), 5298 LNCS, 63–76.
https://doi.org/10.1007/978-3-540-89350-9_6
Maldonado-Mahauad, J., Pérez-Sanagustín, M., Kizilcec, R.=
F.,
Morales, N., & Munoz-Gama, J. (2018). Mining
theory-based patterns from Big data: Identifying self-regulated learning
strategies in Massive Open Online Courses. Computers in Human Behavior, 80,
179–196. https://doi.org/10.1016/j.chb.2017.11.011
Maldonado,
J. J., Palta, R., Vazquez, J., Bermeo, J. L., Perez-Sanagustin, M., &
Munoz-Gama, J. (2016). Exploring differences in how learners navigate in MO=
OCs
based on self-regulated learning and learning styles: A process mining
approach. Proceedings of the 2016 42nd Latin American Computing Conferen=
ce,
CLEI 2016. https://doi.org/10.1109/CLEI.2016.7833356
Martinez-Maldonado, R., Pardo, A., Mirriahi, N., Yacef,
K., Kay, J., & Clayphan, A. (2016). LATUX=
: an
Iterative Workflow for Designing, Validating and Deploying Learning Analyti=
cs
Visualisations. Journal of Learning Analytics, 2(3), 9–39.
https://doi.org/10.18608/jla.2015.23.3
Nemoto,
T., & Beglar, D. (2014). c. JALT2013 Conference Proceedings, 1–8.
https://dl.ndl.go.jp/info:ndljp/pid/8815334?itemId=3Dinfo%3Andljp%2Fpid%2F8=
815334&__lang=3Den
Perez-Alvarez, R. A., Maldonado-Mahauad, J., Sharma, K=
.,
Sapunar-Opazo, D., & Perez-Sanagustin, M. (2020). Chara=
cterizing
Learners’ Engagement in MOOCs: An Observational Case Study Using the
NoteMyProgress Tool for Supporting Self-Regulation. IEEE Transactions on
Learning Technologies, 13(4), 676–688.
https://doi.org/10.1109/TLT.2020.3003220
Purwoningsih,
T., Santoso, H. B., & Hasibuan, Z. A. (2019). Online Learners’ Behaviors
Detection Using Exploratory Data Analysis and Machine Learning Approach.
Ramesh,
A., Goldwasser, D., Huang, B., Daume, H., & Getoor, L. (2014). Learning
latent engagement patterns of students in online courses | Proceedings of t=
he
Twenty-Eighth AAAI Conference on Artificial Intelligence. ACM Digital Library, 1272–1278. https://dl.acm.org/doi/abs/10.5555/2893873.2=
894071
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Pijeira
Díaz, H. J., Ruiz, J. S., & Kloos, C. D. (2017). Evalu=
ation
of a learning analytics application for open edX platform. Computer Scie=
nce
and Information Systems, 14(1), 51–73.
https://doi.org/10.2298/CSIS160331043R
Scheffel,
M., Niemann, K., & Jivet, I. (2017). The Evaluation Framework for
Learning Analytics.
Schrepp, M., Hinderks, A., & Thomaschewski, J. (20=
17).
Design and Evaluation of a Short Version of the User
Experience Questionnaire (UEQ-S). International Journal of Interactive
Multimedia and Artificial Intelligence, 4(6), 103.
https://doi.org/10.9781/IJIMAI.2017.09.001
Schunk, D. H., & Zimmerman, B. J. (2012). <=
span
lang=3DEN-US style=3D'font-size:10.0pt;mso-bidi-font-size:12.0pt;mso-no-pro=
of:yes'>Motivation
and self-regulated learning: Theory, research, and applications. Motivat=
ion
and Self-Regulated Learning: Theory, Research, and Applications, 1–417.
https://doi.org/10.4324/9780203831076
Sedrakyan, G., Mannens, E., & Verbert, K. (2019). =
Guiding
the choice of learning dashboard visualizations: Linking dashboard design a=
nd
data visualization concepts. Journal of Computer Languages, 50,
19–38. https://doi.org/10.1016/J.JVLC.2018.11.002
Shah,
D. (2020). By The Numbers: MOOCs in 2020 — Class Central.
https://www.classcentral.com/report/mooc-stats-2020/
Torre, M. V., Tan, E., & Hauff, C. (2020).
Vermunt,
J. D., & Donche, V. (2017). A Learning Patterns Perspective on Student
Learning in Higher Education: State of the Art and Moving Forward. Educa=
tional
Psychology Review, 29(2), 269–299.
https://doi.org/10.1007/s10648-017-9414-6
5
Desarrollo de un XBlock en Open edX pa=
ra
apoyar el monitoreo y seguimiento en un SPOC