https://doi.org/10.37815/rte.v35n2.1056

Artículos originales

Modelo de Visualización de Datos de Juegos Serios de Atención y Memoria Cognitiva

Data Visualization Model of Serious
Games of Cognitive Attention and Memory

Juan-Sebastián Toledo1, 2
https://orcid.org/0000-0001-5120-9486, Juan-Fernando Lima2 https://orcid. org/0000-0003-3500-3968, María-Inés
Acosta-Urigüen1, 2 https://orcid.org/0000-0003-4865-2983,

Marcos Orellana2 https://orcid.org/0000-0002-3671-9362

1Escuela de Ciencias
de la Computación, Universidad del Azuay,

Cuenca, Ecuador

[email-masked]

2Labora.torio de Investigación y Desarrollo en Informática (LIDI), Universidad del Azuay, Cuenca,
Ecuador, Cuenca, Ecuador [email-masked], [email-masked],
[email-masked]

Esta obra
está bajo una licencia internacional Creative
Commons Atribución-NoComercial 4.0

Enviado: 2023/07/15 Aceptado: 2023/08/22
Publicado: 2023/10/15

Resumen

En el campo de la psicología, los juegos serios se
han transformado en herramientas digitales que permiten la aplicación de test psicológicos, el entrenamiento de competencias, y la detección
de trastornos o patologías. Si bien los sistemas interactivos generan grandes cantidades de datos que pueden ser almacenados, surge la necesidad de identificar patrones de juego que permitan al especialista tomar
decisiones basadas en datos. En este contexto,
los modelos de visualización
se han convertido en una herramienta moderna
y precisa para solventar estas
representaciones. El objetivo del presente trabajo
es crear un modelo de visualización aplicado
a datos extraídos de un juego serio
orientado al entrenamiento de atención y memoria. Para ello, se propuso una metodología que permitió el desarrollo de un entorno unificado de análisis visual compuesto por tres tableros
interactivos. Finalmente, el modelo fue evaluado a través del modelo de aceptación
tecnológica, demostrando una fiabilidad sobresaliente.

Palabras clave: datos cognitivos, juegos serios, modelo de visualización,
comportamiento de jugadores, mapeo visual.

Abstract

In the field of psychology, serious games have been transformed into digital tools that allow the
application of psychological tests, skills training, and the detection of disorders or pathologies.
Although interactive systems
generate large amounts
of data that can be stored, the need arises to identify game patterns
that allow the specialist to make data-driven decisions. In this context,
visualization models have become a modern and precise tool to solve these
representations. This work aims to create a visualization model applied to data
extracted from a serious game aimed at training attention and memory. For this
purpose, a methodology was proposed that allowed the development of a unified visual analysis environment composed of three interactive
dashboards. Finally, the model was evaluated through
the technology acceptance model, which showed
reliability equivalent to outstanding.

Keywords: cognitive data, serious games, visualization model, players behavior, visual mapping.

Introducción

En los campos de la psicología y
la medicina, los juegos serios se han transformado en herramientas digitales que permiten la aplicación de
test psicológicos, el entrenamiento de competencias y la
detección de trastornos o patologías, desempeñando un
papel fundamental para la salud mental y proporcionando al especialista una
efectiva herramienta de soporte a los métodos de terapia tradicionales (Abd-Alrazaq et al., 2022; Manera
et al., 2017;
Mezrar & Bendella, 2022).
Al igual que cualquier otro sistema altamente interactivo, los juegos serios
generan grandes cantidades de datos, que reflejan directamente las acciones y
decisiones del jugador (Dörner et al., 2016).
Las técnicas de minería de datos (MD),
que hoy en día son muy
comunes en diversos campos como la educación, medicina y finanzas (Kumar
& Bhardwaj, 2011), pueden aplicarse a la gran cantidad de
información que se deriva de la interacción de los usuarios con
los juegos serios (Alonso-Fernández et al., 2019), de esta forma es
posible identificar patrones de juego que permitan al especialista tomar
decisiones basadas en datos (Provost & Fawcett, 2013).

Aún en la actualidad, es común que en el ámbito cotidiano los especialistas encargados de controlar y llevar a cabo
las sesiones de entrenamiento no posean información detallada acerca del
estado del juego, el progreso o las implicaciones que conlleva a las decisiones
del jugador; y en consecuencia se trate al sistema como una caja negra1
(Alonso-Fernandez et al., 2021). A pesar
de los avances tecnológicos y las nuevas herramientas que permiten interactuar con la información recolectada de juegos serios,
los datos generados
no reciben un tratamiento
adecuado y la falta de comunicación de hallazgos resulta
en la pérdida de información relevante y una incorrecta gestión del conocimiento (Loh et al., 2015). En este contexto surge la necesidad
de aplicar técnicas de MD que permitan registrar, procesar y
analizar la información, con el propósito de desarrollar un modelo de visualización adecuado para juegos serios en el contexto de atención y memoria. El análisis de datos puede revelar creencias, comportamientos y estrategias
de resolución de problemas del jugador, mientras que la
visualización permite transformar la información en
gráficos apropiados, para facilitar la interpretación de
resultados a las partes interesadas (G. Wallner & Kriglstein, 2013).

1 Sistema que produce resultados útiles sin revelar
información acerca de su funcionamiento interno.

El presente trabajo se enfoca en aplicar
técnicas de MD en un conjunto de datos provenientes de un juego serio
orientado al entrenamiento de atención y memoria, con la finalidad de
desarrollar un modelo de visualización interactivo, que permita al
especialista de la salud explorar, analizar y evaluar a los participantes a
través de sus características propias (atributos demográficos, socioeconómicos y conductuales) y aquellas variables que denotan el rendimiento durante cada sesión
(puntaje y tiempo de duración).

Revisión de literatura

Durante la última década
los desarrolladores de juegos serios han comenzado a
recolectar grandes volúmenes de datos durante
las sesiones de juego, con el fin de comprender el comportamiento del jugador y
permitir la toma de decisiones acertada, lo cual conlleva al surgimiento de la analítica de datos en el contexto
de los juegos serios (G. Wallner &
Kriglstein, 2013), que según Alonso-Fernandez
et al. (2021) se define como el análisis de datos y la extracción
de información, y la analítica visual de juegos para apoyar a la interpretación de datos complejos
(Günter Wallner et al., 2018). Una investigación comparable a este trabajo
ha sido descrita por
Minović et al. (2015). Aquí
los investigadores presentan un modelo para la visualización del
aprendizaje en juegos
serios, que permite
al profesor obtener
una retroalimentación en tiempo
real del desempeño del estudiante, con la finalidad de facilitar la toma
de decisiones en áreas de gran importancia como el nivel
de dificultad del juego o el camino
de aprendizaje apropiado para el estudiante. Por otro lado, la herramienta permite al estudiante conocer su progreso
en el juego. La técnica de visualización utilizada consiste en una modificación del diagrama de vista
circular propuesto por (D. A. Keim et al., 2008).

De Troyer et al. (2016) realizaron una
investigación, que consistió en el desarrollo de tres
técnicas de visualización que permiten informar acerca del estado
del jugador y mejorar la
comprensión de los resultados, en un juego serio orientado al ciberacoso
en redes sociales. Cada una de las técnicas presentadas propone un
enfoque específico y detallado en áreas de interés. La
primera visualización se denomina time-oriented-visualization,
y se enfoca en detallar la frecuencia relacionada a las interacciones del
jugador con cada elemento del juego. La segunda, character-oriented visualization, se enfoca en el jugador
y provee una visión general
de las relaciones entre personajes en el juego. La tercera
visualización, interaction-oriented
visualization, resalta las interacciones entre jugadores. Como resultado,
los investigadores demostraron que las visualizaciones ayudan
a los participantes a comprender mejor el resultado del juego. La
visualización que obtuvo la mejor puntuación en la
evaluación fue interaction-
oriented visualization, que se caracteriza por proporcionar un entorno
interactivo para la exploración de las interacciones entre los
jugadores, a través de una representación de nodos (jugadores) y
aristas (interacciones entre jugadores).

Las técnicas de visualización utilizadas han demostrado alta efectividad para representar los datos según su propósito, entre las disponibles destacan: gráficos de pastel, gráficos de barras, gráficos de líneas y mapas de calor y gráficos de burbujas. Si bien existen
investigaciones que utilizan
técnicas de analítica de datos en juegos serios con diversos propósitos que abarcan desde la
evaluación del aprendizaje hasta la validación del diseño
del juego, no existen estudios que implementen
un modelo de visualización adecuado
para la representación de datos extraídos de un juego serio orientado al
entrenamiento cognitivo, la atención y la memoria.

Método y Materiales

El presente trabajo
se fundamenta en el estudio
de la ciencia de datos
y la visualización de información con la finalidad de desarrollar un modelo de visualización que permita identificar
patrones entre las características propias de cada jugador
(demográficas, socioeconómicas y conductuales), contra aquellas
variables que denotan el rendimiento cognitivo (puntaje y tiempo)
en el juego serio de pares. Para ello, se ha desarrollado una
metodología basada en el método Cross Industry Standard Process for Data Mining (CRISP-DM) (Wirth
& Hipp, 2000) y el Modelo Unificado
de Visualización (MUV) de (Martig et al., 2003). Todo el proceso se
ve reflejado en la Figura 1.

Figura 1

Metodología del macroproceso para el tratamiento, análisis y visualización de datos
provenientes de juegos serios

El Juego de Pares es un juego en
línea desarrollado por psicólogos y estudiantes de la Universidad
“Nombre”, con el objetivo de evaluar y reforzar habilidades
asociadas al área cognitiva (atención y memoria). La Figura 2
muestra parte del entorno de ejecución. El juego consiste en encontrar el par de cada imagen,
para esto las imágenes se muestran un determinado
tiempo y luego se ocultan, con el fin de que el jugador recuerde la posición inicial. Para completar
el juego se deben superar
cuatro niveles, cada uno con dificultad incremental (dos pares más por cada nivel). El rendimiento del jugador se determina por el
tiempo empleado para completar cada nivel y el puntaje final (penalizado por
cada error) con un máximo de 2000 puntos. Se puede acceder
al juego mediante un navegador web, a través de la URL: https://jserionew-8e818. web.app.

Figura 2

Juego de Pares

Descripción del conjunto
de datos

Los datos recolectados corresponden a sesiones
registradas desde mayo del 2022 hasta
septiembre del 2022 y se dividen en dos categorías. 1) Aquellos adquiridos mediante un único registro de usuario, en el cual se solicitaron datos de tipo demográficos, socioeconómicos y conductuales. 2)
Datos generados durante la ejecución del juego, aquellos que denotan
directamente la interacción del usuario con el sistema,
como el tiempo
de juego y el puntaje.
En el estudio participaron un total de 248 personas, de las cuales 129 pertenecen al género femenino
y 119 al género masculino. En la Tabla 1 se presentan las
variables recolectadas.

Tabla 1

Descripción
de las variables recolectadas del juego de pares

Atributos                                              Tipo de Dato

Cédula                                                   Nominal

Nombre                                                 Nominal

Ciudad                                                  Nominal

Género                                                   Nominal

Peso                                                       Numérico

Altura                                                    Numérico

Discapacidad                                       Booleano

Tipo
Discapacidad                             Nominal Antecedentes neurodegenerativos Booleano
COVID-19   Booleano

Fecha de nacimiento                          Fecha

Nivel de Instrucción                           Ordinal

Tipo de colegio                                    Nominal

Uso del computador                           Numérico

Actividad física                                   Numérico

Ingresos económicos                          Ordinal

Atributos                                              Tipo de Dato

Fecha de juego                                     Fecha

Tiempo nivel 1                                     Fecha

Tiempo nivel 2                                     Fecha

Tiempo nivel 3                                     Fecha

Tiempo nivel 4                                     Fecha

Tiempo total                                         Fecha

Puntos                                                   Numérico

Preparación de los datos

La aplicación de técnicas de preprocesamiento previo
al modelado puede
incrementar la eficiencia del proceso y mejorar la calidad de los patrones
encontrados. Es común que los datos recolectados no se encuentren en un estado óptimo, por lo tanto, deben ser tratados considerando
las observaciones detectadas
en la fase previa (Han, 2012). En la Figura 3, se presenta el proceso
de preparación de los datos, que a su vez corresponde con la primera
transformación del MUV.

Figura 3

Modelado de la preparación de los datos

La Transformación de Datos Crudos
a Datos Abstractos (DC – DA) es la responsable de procesar los datos provenientes del dominio de aplicación (datos crudos) y llevarlos a un formato
manejable por el sistema, y como resultado se obtiene un conjunto de
datos potencialmente visualizables denominados datos abstractos (Martig et al.,
2003). Como parte de los datos abstractos podemos tener un subconjunto de Datos
Crudos a los cuales se les puede haber mejorado de alguna forma
(Martig et al., 2003). En esta fase,
se procesaron los datos abstractos mediante tareas de limpieza,
estructuración, discretización y selección de variables.
Como resultado, se obtuvo un conjunto
de datos preparados que servirán como punto de partida para la continuación del proceso de
transformación DC – DA, misma que finalizará en la
siguiente fase (clasificación según el rendimiento).

Limpieza de datos

La limpieza de datos se puede aplicar
para eliminar el ruido, tratar
los valores atípicos y corregir las inconsistencias en los datos
(Kotu & Deshpande, 2019). En este contexto, se realizó
una optimización de los datos, mediante la corrección de: 1)
unidades de medida y tiempo erróneas correspondientes a los atributos: “peso”, “altura”, “uso del computador” y “actividad
física”. 2) Expresiones que contienen caracteres (P.ej. “aprox”, “h”, “cm”), en campos numéricos.

3) Corrección de “fecha de juego”, para ello se restó seis horas de cada campo
registrado por el servidor. 4) Eliminación de registros con inconsistencias en la fecha
de nacimiento, únicamente aquellos que ingresaron la fecha actual
al momento del registro. Como resultado del proceso de

limpieza de datos
se obtuvieron un total de 471 registros.

Discretización de datos

En este paso del preprocesamiento, los
datos se transforman o consolidan para que el proceso de minería resultante sea más eficiente y los patrones
encontrados se puedan
interpretar con mayor facilidad (Han, 2012). Como parte del proceso se discretizó la edad de los jugadores según la clasificación de edades sugerida
por la psicología del desarrollo (Wertsch & Tulviste, 1992), y los rangos
asignados a cada grupo etario
se pueden observar
en la Tabla 2. Finalmente, se realizó la discretización
del índice de masa corporal de acuerdo a la escala sugerida por el
Centers for Disease Control and Prevention (Division
of Nutrition, Physical Activity, and Obesity, 2022), los rangos empleados se
pueden apreciar en la Tabla 3.

Tabla 2

Clasificación por grupos etarios

Edad (años)             Grupo
etario

2 – 11                        Niñez

12 - 19                      Adolescencia

20 - 35                      Juventud

36 - 60                      Madurez

61 o más                  Vejez

Tabla 3

Categorías
por índice de masa corporal

IMC                             Peso

Inferior a
18.5          Bajo peso

18.5 – 24.9                 Peso saludable

25.0 – 29.9                 Sobrepeso

30.0 o más                  Obesidad

Modelado de Visualización

El modelado de visualización propuesto constituye un extracto del MUV, el cual consiste en un proceso interactivo entre las siguientes transformaciones: Datos
Abstractos - Datos a Visualizar (DA –
DaV), Mapeo Visual (TMV) y Visualización (TV), como se puede
observar en la Figura 4.

Figura 4

Modelado para la visualización

A continuación, se presenta una breve descripción de las transformaciones que involucró la fase del modelado
de visualización. Se tomaron como guía de referencia las investigaciones
realizadas por Luján (2018) y Martig et al. (2003) en el MUV:

DA – DaV

El objetivo de esta transformación es definir el conjunto de datos que va a estar presente en la visualización y permitir la exploración de distintas regiones
del espacio de información y su comparación. Para ello, se seleccionaron los datos a visualizar, y para un mismo conjunto
de Datos Abstractos (DA) se
generaron varios conjuntos de Datos a Visualizar (DaV), cada uno corresponde a
una vista en particular.

TMV

El principal objetivo de esta transformación es conseguir un mapeo expresivo y efectivo.

El mapeo es expresivo cuando se consigue representar todos
los datos del conjunto de DaV. Por otra parte,
la efectividad del mapeo estará definida por la manera en que la representación
visual sea percibida por el usuario. En esta transformación se
especificó cómo visualizar los datos presentes en el conjunto de DaV. Se generaron las estructuras necesarias con la finalidad de soportar
el sustrato espacial, los elementos visuales (marcas y canales visuales) y los atributos
gráficos de los elementos visuales.

El sustrato espacial está formado
por la configuración entre la cantidad de ejes involucrados en la visualización, su orientación (radial,
rectilínea, libre o paralela), la colección
de ejes asociados y su organización en pantalla (por composición,
alineación, sobrecarga o recursión). Por otro lado, el sustrato gráfico (elementos visuales y atributos gráficos) se compone
de todos los elementos
utilizados para representar la vista. La información presente en el sustrato
gráfico se descompone en marcas (elementos visuales) y en canales
visuales (controlan la apariencia de las marcas) (Luján, 2018). Según Luján (2018), para conseguir un mapeo expresivo
y efectivo, es necesario establecer:

•
Cuáles son las estructuras visuales
adecuadas.

•
Qué atributos se mapearán espacialmente y cómo.

•
Qué marcas se utilizarán
y mediante qué canales.

TV

Esta transformación permitió presentar en pantalla
todos los datos pertenecientes al

conjunto de DMV, y generar las vistas a través de la aplicación de técnicas de visualización que soporten las restricciones
establecidas en el estado anterior.

Como parte del proceso de modelado de
visualización se seleccionó un conjunto de técnicas
adecuadas que permitan al especialista analizar y explorar las
características propias de cada jugador (demográficas, socioeconómicas
y conductuales) contra aquellas variables que denotan el rendimiento cognitivo
(puntaje y tiempo) en el juego serio de pares. Entre las técnicas seleccionadas se encuentran
gráficos de barras, gráficos de dispersión,
gráficos de líneas, gráficos de violín,
diagramas de árbol, mapas de calor, etc. Para el modelado de
visualización se utilizó Tableau, una plataforma de
análisis integral fundada en 2013 como resultado de un proyecto de la Universidad de Stanford. Como resultado del proceso se generó una herramienta
de visualización compuesta por tres tableros interactivos, JSViz_1, JSViz_2 y JSViz_3 que conforman un entorno G unificado para el análisis visual. En los siguientes apartados se detalla el
proceso asociado al desarrollo de cada entorno desde la perspectiva del MUV.

JSViz_1

Es un entorno
unificado de análisis visual para datos provenientes del juego serio de pares. El sistema fue
diseñado para el análisis y exploración de variables
demográficas y aquellas propias del juego que denotan el rendimiento de
los jugadores durante cada sesión de entrenamiento. La herramienta incorpora
técnicas de visualización como gráficos de barras
y un diagrama de dispersión, y además provee un sistema de
categorización interactivo de acuerdo
con el grupo etario, así como también la clasificación de intentos según el rendimiento
cognitivo. En la Figura 6 se pueden observar las transformaciones por las
cuales atraviesan los datos, debido a
que las tres vistas exploran el mismo conjunto de Datos a Visualizar, las representaciones correspondientes y los procesos que atraviesan en el modelo son similares hasta
la transformación DA –
DV. Mientras que la transformación de mapeo visual y la transformación
de visualización son únicas para cada vista.

Figura 6

JSViz_1 en el MUV. Ramificaciones del modelo propuesto
generando tres vistas

correlacionadas

Transformación de Mapeo Visual

Se realizó la TMV para cada una de las vistas de forma independiente y como resultado del proceso
se obtuvo un conjunto de Datos Mapeados Visualmente, que corresponden al estado
previo a la visualización final.

•
Transformación de Mapeo Visual
para la vista. Gráfico de barras 1

◦
Sustrato espacial: se definieron 2
ejes, organizados por composición, con orientación
rectilínea. El eje vertical es de tipo categórico y el horizontal
cuantitativo.

◦
Marcas: Todos los ítems de dato se representan a través de la misma marca, un área (2D).

◦
Canales: El canal visual utilizado fue el tamaño.

•
Transformación de Mapeo Visual
para la vista. Gráfico de barras 2

◦
Sustrato espacial: se definieron 2
ejes, organizados por composición, con orientación
rectilínea. El eje vertical es de tipo categórico y el horizontal
cuantitativo.

◦
Marcas: Todos los ítems de dato se representan a través de la misma marca, un área (2D).

◦
Canales: Los canales visuales
utilizados fueron el tamaño, que se asocia
con la cantidad
de puntos, y el color mediante una escala secuencial azul que representa
la edad del jugador.

•
Transformación de Mapeo Visual
para la vista. Gráfico de dispersión

◦
Sustrato espacial: se definieron 2
ejes, organizados por composición, con orientación rectilínea. Ambos ejes (horizontal y vertical) son de tipo cuantitativo.
El rango establecido para el eje horizontal es de 0 a 600 y el vertical de 0 a 2000.

◦
Marcas: Todos los ítems de dato se representan a través de la misma marca, un punto.

◦
Canales: El canal visual
utilizado es el color, que representa la clasificación con respecto al rendimiento al cual cada punto pertenece. El mapeo del color con el
rendimiento asociado se puede observar en la Tabla 5.

JSViz_2

Es el segundo entorno unificado de análisis visual que forma parte del modelo propuesto. A diferencia
de JSViz_1, este entorno fue
diseñado para el análisis y exploración de variables
conductuales contra aquellas propias del juego que denotan el rendimiento de
los jugadores durante cada sesión de entrenamiento. La herramienta incorpora técnicas de visualización como: gráficos
de barras, diagrama de dispersión, diagrama de árbol y
gráficos de violín, además provee un sistema de
categorización interactivo de acuerdo con el Índice de Masa
Corporal y la clasificación de intentos según el rendimiento
cognitivo.

En la Figura 7, se pueden observar las transformaciones por las cuales atraviesan los datos y para cada vista
se generó una rama. Debido
a que las tres vistas exploran
el mismo conjunto de Datos a Visualizar, las
representaciones correspondientes y los procesos que atraviesan en el modelo
son similares hasta la transformación DA – DV. Mientras que la transformación de mapeo
visual y la transformación de visualización son únicas para
cada vista.

Figura 7

JSViz_2 en el MUV. Configuración del proceso mediante
cuatro ramificaciones para representar las vistas proporcionadas
por JSViz_2

Transformación de Mapeo Visual

Se realizó la TMV para cada una de las vistas de forma independiente y como resultado del proceso
se obtuvo un conjunto de Datos Mapeados Visualmente, que corresponden al estado
previo a la visualización final.

•
Transformación de Mapeo Visual
para la vista. Gráfico de barras

◦
Sustrato espacial: se definieron 2 ejes, organizados por composición, con

orientación rectilínea. El eje vertical es de
tipo categórico y el horizontal cuantitativo.

◦
Marcas: Todos los ítems de dato se representan a través de la misma marca, un área (2D).

◦
Canales: El canal visual utilizado fue el tamaño.

•
Transformación de Mapeo Visual
para la vista. Gráfico de dispersión

◦
Sustrato espacial: se definieron 2
ejes, organizados por composición, con orientación rectilínea. Ambos ejes (horizontal y vertical) son de tipo cuantitativo.
El rango establecido para el eje horizontal es de 0 a 600 y el vertical de 0 a 2000.

◦
Marcas: Todos los ítems de dato se representan a través de la misma marca, un punto.

◦
Canales: El canal visual
utilizado es el color, que representa la clasificación con respecto al rendimiento al cual cada punto pertenece. La codificación del color
se presenta en la Tabla 5.

•
Transformación de Mapeo Visual
para la vista. Gráfico de violín 1

◦
Sustrato espacial: se definieron 2
ejes, organizados por composición, con orientación rectilínea. El eje vertical es de tipo cuantitativo y representa el tiempo
de actividad física con un rango de 0 a 4 y el horizontal categórico con valores que
corresponden a la clasificación por clústeres según el
rendimiento: Alto, Bajo 1, Promedio y Bajo 2.

◦
Marcas: Todos los ítems de dato se representan a través de la misma marca, un área (2D).

◦
Canales: Los canales visuales
utilizados fueron el tamaño, y el color mediante una escala
categórica.

•
Transformación de Mapeo Visual
para la vista. Gráfico de violín 2

◦
Sustrato espacial: se definieron 2
ejes, organizados por composición, con orientación rectilínea. El eje vertical es de tipo cuantitativo y representa el tiempo
de uso del computador con un rango de 0 a 25 y el horizontal
categórico con valores que corresponden a la clasificación por clústeres según el rendimiento: Alto,
Bajo 1, Promedio y Bajo 2.

◦
Marcas: Todos los ítems de dato se representan a través de la misma
marca, un área (2D).

◦
Canales: Los canales visuales
utilizados fueron el tamaño, y el color mediante una escala
categórica.

•
Transformación de Mapeo Visual
para la vista. Diagrama
de árbol

◦
Sustrato espacial: se definieron 2 ejes, organizados por recursión, con orientación
rectilínea. El eje vertical es de tipo cuantitativo y representa el tiempo de uso del computador con un rango de 0 a 25 y
el horizontal categórico con valores que corresponden a la
clasificación por clústeres según el rendimiento: Alto, Bajo 1, Promedio y Bajo 2.

◦
Marcas: Todos los ítems de dato se representan a través de la misma
marca, un área (2D).
Cada una de las marcas corresponde a la clasificación por
clústeres según el rendimiento:
Alto, Bajo 1, Promedio y Bajo 2.

◦
Canales: Los canales visuales
utilizados fueron el tamaño del rectángulo, que tiene un área proporcional a la cantidad de horas promedio de uso del computador,
y el color, mediante una escala secuencial proporcional al tiempo
promedio de actividad
física, codificada con un matiz azul.

JSViz_3

Es el tercer entorno
unificado de análisis visual que forma parte del modelo propuesto.

A diferencia de los anteriores, este entorno fue
diseñado para el análisis y exploración de variables
temporales contra aquellas variables que denotan el rendimiento de los
jugadores durante cada sesión. La herramienta incorpora
técnicas de visualización como mapas de calor,
gráficos de polilíneas, gráficos de barras
y gráficos de dispersión, además provee un sistema
de categorización interactivo de acuerdo con el número de intento, en el cual es posible
comparar el rendimiento de todos jugadores
e identificar valores
atípicos mediante un sistema de control
interactivo.

En la Figura 8 se pueden observar las transformaciones por las cuales atraviesan los datos y para cada
vista se generó una rama. Al
igual que en los entornos anteriores las cuatro vistas que conforman
JSViz_3 exploran el mismo conjunto de Datos a Visualizar y las representaciones
correspondientes y los procesos que atraviesan en el modelo son similares hasta la transformación
DA – DV. Mientras que la transformación de mapeo visual
y la transformación de visualización son únicas para cada vista. Para conseguir
esta visualización, se seleccionó de los DA la fecha de juego y las variables propias del
juego que denotan el rendimiento de los jugadores. Los atributos seleccionados
pasarán a formar parte de los DaV, descartando a todos los restantes.

Figura 8

JSViz_3 en el MUV. Las ramificaciones de color se generan de forma dinámica a partir de

interacciones en el sistema de
visualización

Transformación de Mapeo Visual

Se realizó la TMV para cada una de las vistas de forma independiente y como resultado del proceso
se obtuvo un conjunto de Datos Mapeados Visualmente, que corresponden al estado
previo a la visualización final.

•
Transformación de Mapeo Visual
para la vista. Mapa de Calor

◦
Sustrato espacial: se definieron 2
ejes, organizados por composición, con orientación
rectilínea. El eje vertical es de tipo categórico y el horizontal
de tipo fecha.

◦
Marcas: Todos los ítems de
dato se representan a través de la misma marca, un área (2D). Mediante una alineación en forma de
matriz, donde cada celda codifica valores cuantitativos mediante el color.

◦
Canales: El canal visual utilizado
fue el color, mediante una escala divergente naranja-azul, con un rango de 850
a 1975 puntos, el indicador de alerta tiene un valor de 1469, que corresponde
al prototipo de un jugador con rendimiento Bajo 1, de acuerdo
con la clasificación resultante del proceso de “Clasificación

Según
el Rendimiento”.

•
Transformación de Mapeo Visual
para la vista. Gráfico de líneas

◦
Sustrato espacial: se definieron 3
ejes, organizados por composición, con orientación rectilínea. Todos los ejes son de tipo cuantitativo. El rango establecido
para el eje horizontal varía dependiendo de la cantidad de intentos registrados de cada
jugador, el primer eje vertical tiene un rango establecido de 0 a 2000 y el
segundo eje vertical se establece de acuerdo con el tiempo total máximo
entre todos los intentos de cada jugador.

◦
Marcas: Todos los ítems de dato se representan a través de la misma
marca, una polilínea.

◦
Canales: El primer canal visual
utilizado es el color, mediante una escala categórica, que inicialmente se asignará a un color por defecto.
El color naranja representa el tiempo total y el
color azul el puntaje. El segundo canal visual corresponde al tamaño que varía de acuerdo con el número de intentos registrados
por cada jugador.

•
Transformación de Mapeo Visual
para la vista. Gráfico de barras

◦
Sustrato espacial: se definieron 2
ejes, organizados por composición, con orientación
rectilínea. El eje vertical es de tipo cuantitativo y el horizontal es categórico.

◦
Marcas: Todos los ítems de dato se representan a través de la misma marca, un área (2D).

◦
Canales: El canal visual
utilizado fue el tamaño y el color
de las marcas. El color se asignará mediante una
escala categórica, con colores predefinidos. El color rojo corresponde a la marca
que representa el Nivel 1, el color
turquesa al Nivel 2, el color amarillo al Nivel 3 y
el color violeta al Nivel 4.

•
Transformación de Mapeo Visual
para la vista. Gráfico de dispersión

◦
Sustrato espacial: se definieron 2
ejes, organizados por composición, con orientación
rectilínea. El eje horizontal es de tipo fecha y el eje vertical es de
tipo cuantitativo.

◦
Marcas: Para esta vista se
establecen dos tipos de marca. Un punto, que representa cada uno de los
ítems del dato. Y dos líneas, que representan los límites
superior e inferior de acuerdo con un parámetro calculado a partir de la desviación estándar del
puntaje de todos los intentos mostrados en la vista.

◦
Canales: El canal visual utilizado
es el color de cada elemento visual. Las marcas que corresponden a los ítems de dato pueden
tener dos colores,
azul para aquellas que se
encuentran dentro de los límites inferior y superior, y naranja para
aquellas marcas que se encuentren fuera de los límites. De esta forma se
facilita la identificación de valores atípicos.

Resultados y Discusión

Como resultado de la metodología
propuesta para el desarrollo de un modelo de visualización, se obtuvo un
entorno unificado para la exploración y análisis visual de datos
provenientes del juego serio de pares. El análisis a través de la
visualización conduce al descubrimiento de patrones (p. ej. tendencias,
brechas, valores atípicos o agrupaciones), la verificación de
hipótesis y el soporte para el razonamiento y la toma de decisiones.

JSViz_1

Provee un conjunto de gráficos
coordinados que permiten la exploración y análisis de las variables
demográficas contra aquellas
que representan el rendimiento en el juego. En la

Figura 9, se puede
observar el entorno resultante.

Figura 9

Entorno de visualización unificado: JSViz_1

El entorno
unificado JSViz_1 está compuesto por las siguientes vistas:

•
Gráfico de barras 1: Utilizado para representar el rendimiento promedio
de los jugadores según
el grupo etario.

•
Gráfico de
dispersión: Utilizado para representar los intentos registrados
según la clasificación asociada al rendimiento cognitivo.

•
Gráfico de barras
2: Utilizado para representar el puntaje promedio
de cada jugador.

El estado final del modelado particular
de cada vista (Datos Visualizados),
permitió la integración de un sistema unificado de
visualización, que además de proporcionar al usuario una vista
estática informativa, también permite la exploración a
través herramientas (filtros, botones, etc.) que facilitan la
interacción con las vistas.

Entre
las interacciones que JSViz_1 provee, se cuenta con un conjunto
de interacciones generales y
particulares para cada vista, que permiten tareas de selección,
navegación y filtrado, con el objetivo de facilitar la
exploración de datos y el descubrimiento de patrones. A continuación,
se describen las interacciones proporcionadas, como resultado del proceso de
modelado de visualización:

•
Brushing y Linking: JSViz_1 proporciona esta interacción que es aplicada a múltiples
vistas, permitiendo seleccionar un subconjunto de datos en
una vista y resaltarlo en todas las
demás vistas coordinadas. Los cambios que se generen mediante una
interacción a una vista se reflejan de forma automática en las
vistas restantes. En particular, esta interacción se puede realizar
al seleccionar uno de los intentos en el
gráfico de dispersión o una de las barras del gráfico de barras 2.

•
Filtro interactivo: Mediante esta
interacción es posible partir los datos en s egmentos, con la finalidad de enfocarse en subconjuntos de interés. En JSViz_1 esta
interacción es viable mediante la selección de los siguientes elementos: 1) Categorías
correspondientes a grupos etarios en el gráfico de barras 1. 2) Objetos del panel que incluyen
filtros para el número de intentos, el nivel de instrucción, el
tipo de

colegio, los ingresos económicos, el género y la consulta
por campo de texto según

el identificador del jugador.

•
Zoom Semántico: Esta interacción permite seleccionar un elemento de la vista con
la finalidad de obtener más información sobre la misma. Estos
valores se muestran mediante un área de texto
sobre la vista del elemento seleccionado.

•
Navegación: Esta
interacción permite navegar entre tableros. En JSViz_1 esta interacción es posible mediante la selección de botones que se encuentran disponibles
en el panel.

Las interacciones otorgan al
especialista una amplia gama de combinaciones para la exploración de datos, lo que conlleva
la posibilidad de responder a preguntas claves en función del campo de
aplicación.

Figura 10

Ejemplo de exploración y análisis de datos con JSViz_1

En la Figura 10 se puede observar un
ejemplo de la exploración de datos utilizando JSViz_1, con la finalidad de responder la pregunta: ¿Cuál es el grupo etario con el rendimiento cognitivo más bajo? A simple
vista se puede
deducir que el grupo etario
del adulto mayor
posee el rendimiento promedio
más bajo del juego, en comparación a los demás grupos. También es posible determinar que ningún
adulto mayor posee un desempeño asociado al grupo de alto rendimiento
(marcas de color azul).

JSViz_2

Para el análisis de las variables
que se asocian a la conducta o hábitos de los jugadores, se desarrolló JSViz_2. En la Figura 11 se puede
observar el entorno resultante.

Figura 11

Entorno de visualización unificado: JSViz_2

El entorno
unificado JSViz_2 está compuesto
por las siguientes vistas:

•
Gráfico de barras: Utilizado
para representar el rendimiento promedio de los jugadores según el
Índice de Masa Corporal.

•
Gráfico de violín 1:
Utilizado para representar la distribución de los datos y su densidad de
probabilidad asociada al tiempo de actividad física de acuerdo con la
clasificación del rendimiento cognitivo y además, similar a un diagrama de cajas y bigotes, el gráfico de
violín permite visualizar estos grupos de datos numéricos a
través de sus cuartiles.

•
Gráfico de violín 2:
Utilizado para representar la distribución de los datos y su densidad de
probabilidad asociada al tiempo de uso del computador de acuerdo con la clasificación del rendimiento cognitivo. Permite al usuario
detectar patrones
relacionados a la conducta de los jugadores según su desempeño.

•
Gráfico de
dispersión: Utilizado para representar los intentos registrados
según la clasificación asociada al rendimiento cognitivo.

•
Diagrama del árbol: Utilizado para representar la relación entre
el tiempo promedio de actividad física y el
tiempo promedio de uso del computador de cada categoría según el
rendimiento cognitivo.

Entre las distintas interacciones que permite
JSViz_2 tenemos:

•
Brushing
y Linking: Esta interacción se puede realizar al
seleccionar una de las marcas (intentos) en el gráfico de dispersión y
como consecuencia se resalta todos los intentos relacionados al
jugador en cuestión.

•
Filtro interactivo: En JSViz_2 esta interacción es posible mediante la selección de los siguientes elementos: 1) categorías correspondientes al IMC en el gráfico de barras
1, 2) objetos del panel que incluyen
filtros para el tiempo de uso del computador y el
tiempo de actividad física mediante
un deslizador de rangos y la consulta
por campo de texto
según el identificador del jugador.

•
Zoom Semántico: Esta interacción permite seleccionar un elemento de la vista con
la finalidad de obtener más información sobre la misma. Estos
valores se muestran mediante un área de texto
que resalta sobre la vista del elemento seleccionado.

•
Navegación: Esta
interacción permite navegar entre tableros. En JSViz_2 esta interacción es posible mediante la selección de botones que se encuentran disponibles
en el panel.

Figura 12

Ejemplo de exploración y análisis de datos con JSViz_2

Al igual que en JSViz_1, es posible utilizar las interacciones disponibles con la finalidad de
potenciar las capacidades cognitivas humanas y permitir el análisis de
grandes volúmenes de datos a través de la visualización.
En la Figura 12, se puede observar que el grupo de alto rendimiento está
asociado a un hábito regular de actividad física. Mientras que
los jugadores con un rendimiento inferior, en su gran mayoría no
realizan actividad física.

JSViz_3

Provee un conjunto de gráficos
coordinados que permiten la exploración y análisis de las variables temporales contra aquellas
que representan el rendimiento en el juego.
El principal objetivo de este
entorno unificado es proporcionar al especialista una herramienta interactiva
que facilite la evaluación de resultados con respecto a la
evolución del rendimiento, a medida que se realizan las sesiones de
entrenamiento. Este entorno unificado también proporciona
visualizaciones diseñadas para la exploración con respecto a la
hora en la que se registran sesiones y el contraste contra
otros jugadores en un intento
determinado, lo cual permite resaltar la presencia
de valores atípicos (jugadores que denotan un desempeño estadísticamente fuera de lo
común). En la Figura 13 se presenta la integración de vistas que
conforman JSViz_3.

El entorno
unificado JSViz_3 está compuesto
por las siguientes vistas:

•
Mapa de calor: Utilizado
para representar el rendimiento promedio
de cada jugador, según la hora del juego.

•
Gráfico de líneas:
Utilizado para representar el rendimiento de un jugador en particular
seleccionado en el mapa de calor. Los ejes verticales representan el
desempeño del jugador, mientras que el eje vertical, el número de
intentos.

•
Gráfico de barras:
Utilizado para representar el tiempo de cada nivel,
agrupado por

números de intentos.

•
Gráfico de
dispersión: Utilizado para comparar el rendimiento de los jugadores de
acuerdo con un intento específico, seleccionado en el gráfico de
líneas. Permite identificar valores atípicos, mediante un sistema estadístico filtrado por desviaciones
estándar.

Figura 13

Entorno de visualización unificado: JSViz_3

Entre las distintas interacciones proporcionadas por JSViz_3 tenemos:

•
Brushing y Linking: Esta interacción se puede realizar al seleccionar una de las marcas en el mapa de calor y como consecuencia se resaltan todas las celdas
relacionadas al jugador en cuestión.

•
Zoom Semántico: Esta interacción permite seleccionar un elemento de la vista con
la finalidad de obtener más información sobre la misma. Estos
valores se muestran mediante un área de texto
que resalta sobre la vista del elemento seleccionado.

•
Crear nueva vista: Esta
interacción es exclusiva para JSViz_3,
permite incorporar una nueva vista
al sistema de visualización y como consecuencia de la interacción se generará una nueva ramificación a partir del estado DA. En la Figura 13 se pueden observar las ramas involucradas.

•
Cerrar vista: Con esta
interacción es posible cerrar vistas abiertas en el sistema de
visualización y como consecuencia de la interacción se eliminará las ramificaciones
generadas a partir de la interacción “Crear nueva vista”. En la Figura
13 se pueden observar las ramas involucradas.

•
Filtro interactivo: En JSViz_3 esta interacción permite
la reducción de ítems y es posible mediante la selección de los siguientes elementos. 1) Marcas propias de cada
vista: celdas del mapa de calor y líneas del gráfico de líneas. 2) Objetos del panel que incluyen
un filtro para el número de desviaciones estándar mediante un
deslizador de rangos y una consulta por campo de texto según el
identificador del jugador.

•
Navegación: Esta
interacción permite navegar entre tableros. En JSViz_3 esta interacción es posible mediante la selección de botones que se encuentran disponibles
en el panel.

Figura 14

Ejemplo de exploración y análisis de datos con JSViz_3

Además de la exploración
en términos de población del conjunto de datos, también es posible analizar el rendimiento
cognitivo de un jugador en particular. En la Figura 14, se puede observar un
ejemplo de la exploración de datos utilizando JSViz_3, con la finalidad de responder la pregunta: ¿Qué sucede con el rendimiento cognitivo
del jugador “Persona 185” a medida que la cantidad
de intentos incrementa? En el gráfico de líneas, se puede apreciar
que el jugador demuestra un incremento en cuanto al rendimiento en términos de puntaje (línea azul) y tiempo total
(línea naranja) a medida que adquiere experiencia en el juego.
Así mismo, se puede
observar en el gráfico de barras que
el tiempo asociado a los niveles 3 y 4 (color amarillo y violeta respectivamente),
presenta un decremento a medida que las sesiones de entrenamiento se realizan.

Conclusiones

El presente trabajo se centró en el diseño y validación de un modelo de visualización, que permite a los especialistas del área de la salud mental explorar
y analizar los datos recolectados de un juego serio orientado
al entrenamiento de atención y memoria, con el objetivo principal de
identificar patrones asociados al deterioro cognitivo.

Para cumplir con los objetivos de este estudio, se propuso un modelo de minería de datos cuyo principio teórico se fundamenta en la metodología CRISP-DM y el Modelo Unificado
de Visualización. Las etapas
que forman parte
del modelo consisten en tareas genéricas útiles para
cualquier proyecto de minería de datos, como la comprensión del problema y la comprensión y preparación de los datos. Así como también, tareas específicas para el desarrollo del modelo de visualización, donde se realizan transformaciones que parten del tratamiento de datos abstractos
hasta conseguir un conjunto de datos visualizados. Técnicamente,
el proceso de modelado de visualización consistió en la
selección de subconjuntos de datos a visualizar, la definición
del sustrato espacial y la codificación visual. Posteriormente, con la transformación de visualización
se obtuvo el resultado esperado, un conjunto de gráficos
apropiados para la visualización de datos provenientes del juego de
pares.

La consolidación de los datos
visualizados resultó en un entorno unificado de análisis visual compuesto
por tres tableros
interactivos: JSViz_1, JSViz_2 y JSViz_3. Como parte de la
validación del modelo,
se realizó un análisis explicativo de los datos
recogidos del juego,
donde participaron 248 personas.
Se pudo determinar que las características de mayor influencia con

respecto al rendimiento de los jugadores son la edad,
el tiempo promedio
de actividad física y el tiempo de uso del computador. Específicamente, los
jugadores con una costumbre habitual de actividad física demuestran
mayor rendimiento con respecto a los demás jugadores; por el contrario,
los jugadores con un menor desempeño cognitivo se caracterizan por
pertenecer al grupo etario mayor y/o un escaso hábito de actividad física. El proceso de agrupamiento reveló la presencia
de cuatro aglomerados que se categorizaron de acuerdo con el grado de rendimiento
asociado a la habilidad cognitiva.

Finalmente, se llevó a cabo una evaluación empírica del modelo de visualización con 16
estudiantes de psicología, siguiendo los lineamientos de un cuasi-experimento aplicado con un modelo de transferencia
tecnológica. Los resultados revelaron una recepción positiva
hacia la adopción de esta tecnología. En el contexto de la salud mental, este modelo ofrece implicaciones
prácticas significativas, permitiendo a los especialistas identificar patrones de deterioro cognitivo
y adaptar intervenciones de acuerdo con el perfil de cada paciente. Sin
embargo, es prudente considerar las limitaciones del estudio, particularmente
su enfoque en un único juego y la representatividad de la muestra
seleccionada. Investigaciones futuras podrían beneficiarse al ampliar la diversidad de la muestra
y explorar la aplicabilidad del modelo en otros juegos serios
relacionados con la salud mental.

Reconocimientos

EEste
trabajo ha sido financiado parcialmente por el Proyecto
de Investigación Ciencia de los datos en juegos serios
orientados a la atención y memoria Fase III, y forma parte de la Tesis
titulada “Modelo de visualización de datos en el contexto de
juegos serios orientados al entrenamiento cognitivo de atención y memoria”. Los autores desean expresar su agradecimiento
al Vicerrectorado de Investigaciones de la Universidad del Azuay por el respaldo en la ejecución
de proyectos de investigación.

Referencias

Abd-Alrazaq, A., Alajlani, M., Alhuwail, D., Toro, C. T., Giannicchi, A., Ahmed, A., Makhlouf, A., & Househ,

M. (2022). The Effectiveness and Safety of Serious Games for
Improving Cognitive Abilities Among Elderly People With Cognitive Impairment:
Systematic Review and Meta-Analysis. In JMIR
Serious Games (Vol. 10, Issue 1). https://doi.org/10.2196/34592

Alonso-Fernández, C., Calvo-Morata, A., Freire,
M., Martínez-Ortiz, I., & Fernández-Manjón, B. (2019).
Applications of data science to game learning
analytics data: A systematic literature review. Computers and
Education, 141(April), 103612. https://doi.org/10.1016/j.compedu.2019.103612

Alonso-Fernandez, C., Calvo-Morata, A., Freire, M.,
Martinez-Ortiz, I., & Manjon, B. F. (2021). Data science meets standardized game learning analytics. IEEE Global Engineering Education Conference, EDUCON, 2021- April (February), 1546–1552. https://doi.org/10.1109/EDUCON46332.2021.9454134

De Troyer, O., Helalouch, A., & Debruyne, C.
(2016). Towards computer-supported self-debriefing of a serious game against
cyber bullying. Lecture
Notes in Computer
Science (Including Subseries
Lecture Notes in Artificial
Intelligence and Lecture Notes in Bioinformatics), 10056 LNCS(November
2020), 374–384. https://doi.org/10.1007/978-3-319-50182-6_34

Division of Nutrition, Physical Activity, and Obesity,
N. C. for C. D. P. and H. P. (2022). Healthy
Weight, Nutrition, and Physical Activity. https://www.cdc.gov/healthyweight/assessing/bmi/adult_bmi/index. html#InterpretedAdults

Dörner, R., Göbel, S., & Effelsberg, W. (2016). Serious
games. In Springer (Issue 1). https://doi.org/10.7146/pas. v33i80.111719

Han, J. (2012).
Data Mining Concepts and Techniques. Elsevier
Inc.

Keim, D. A., Mansmann, F., Schneidewind, J., Thomas,
J., & Ziegler, H. (2008). Visual
Analytics: Scope and Challenges BT - Visual Data Mining: Theory,
Techniques and Tools for Visual
Analytics (S. J. Simoff, M. H. Böhlen, &
A. Mazeika, Eds.;
pp. 76–90). Springer
Berlin Heidelberg. https://doi.org/10.1007/978-3- 540-71080-6_6

Kotu, V., &
Deshpande, B. (2019).
Data Science: Concepts
and Practice. In Elsevier Inc. (Vol. 2).

Kumar, D., & Bhardwaj, D. (2011). Rise of Data Mining:
Current and Future Application Areas Dharminder.

8(5), 256–260.

Loh, C. S., Sheng, Y., & Dirk, I. (2015). Serious
Games Analytics. In Serious Games
Analytics. https://doi. org/10.1007/978-3-319-05834-4

Luján, M. (2018). Interacciones en Visualización. 247.

Manera, V., Ben-Sadoun, G., Aalbers, T., Agopyan, H., Askenazy, F., Benoit, M., Bensamoun, D., Bourgeois, J., Bredin, J., Bremond, F., Crispim-Junior, C., David, R., Schutter, B. De, Ettore,
E., Fairchild, J., Foulon,
P., Gazzaley, A., Gros, A., Hun, S., … Robert,
P. (2017). Recommendations for the use of serious
games in neurodegenerative disorders: 2016 Delphi Panel. Frontiers in Physiology, 8(JUL),
1–10. https://doi. org/10.3389/fpsyg.2017.01243

Martig, S., Castro,
S., Fillottrani, P., & Estévez, E. (2003). Un Modelo Unificado de Visualización. 881–892.

Mezrar, S., & Bendella, F. (2022). A Systematic
Review of Serious Games Relating to Cognitive Impairment and Dementia. Journal of Digital Information Management,
20(1), 1. https://doi.org/10.6025/ jdim/2022/20/1/01-09

Minović, M., Milovanović, M.,
Šošević, U., & Conde González, M. Á. (2015).
Visualisation of student learning model in serious games. Computers in Human Behavior, 47, 98–107. https://doi.org/10.1016/j. chb.2014.09.005

Provost, F., &
Fawcett, T. (2013). Data Science
for Business. O’Reilly Media, Inc.

Wallner, G., Canossa, A., & El-Nasr, M. S. (2018). Introduction to the special issue on visual game analytics.

Information Visualization, 17(3), 181–182. https://doi.org/10.1177/1473871617722040

Wallner, G., & Kriglstein, S. (2013). Visualization-based analysis of gameplay
data - A review of literature.

Entertainment Computing, 4(3), 143–155. https://doi.org/10.1016/j.entcom.2013.02.002

Wertsch, J. V, & Tulviste, P. (1992). L. S. Vygotsky and contemporary developmental psychology. Developmental Psychology, 28(4),
548–557. https://doi.org/10.1037/0012-1649.28.4.548

Wirth, R., & Hipp, J. (2000). CRISP-DM: towards a
standard process model for data mining. Proceedings of the Fourth International Conference on the Practical Application of Knowledge Discovery
and Data Mining, 29-39. Proceedings of the Fourth International Conference on the Practical
Application of Knowledge Discovery and Data Mining, 24959, 29–39.