1161

https://doi.org/10.37815/rte.v36n2.1161

Artículos originales

Creación de distractores para preguntas de opción múltiple media= nte técnicas de incrustación (Word Embedding)

Creation of Distractors for Multiple Choice Questions Using Embedding Techniques (Word Embedding)

Jammil Israel Ramos Alvarez¹ ^{https://orcid.org/0009-0006-2828-2857}= ,

Rommel Vicente Torres^=
1⁼^{https://orcid.org/0000-0003-2313-01=
18}, Verónica S= egarra Faggioni¹^{https://orcid.org/0000-0002-7275-74=
11}, Eliana Iva= nova Pinza Tapia¹^{https://orcid.org/0000-0002-9717-07=
21}

¹Uni= versidad Técnica Particular de Loja, Loja, Ecuador

jiramos@utpl.edu.ec, rovitor@utpl.edu.ec, vasegarra@utpl.edu.ec, eipinza@utpl.edu.ec

Enviado: 2024/04/12<= span style=3D'font-size:10.0pt;font-family:"Segoe UI",sans-serif;mso-ansi-langua= ge: ES-MX'>

Aceptado: 2024/12/23

Publicado: 2024/12/30 =

Resumen

La generación automática de distractores para preguntas de opción múltiple en documentos académicos se basa en técnic= as avanzadas de incrustación de palabras, como Word Embe= dding. Estas técnicas representan palabras como vectores en un espacio semántico= , lo que facilita encontrar relaciones y similitudes entre ellas. A través de e= stos métodos, se pueden crear distractores plausibles pero incorrectos, que ref= lejan conceptos erróneos comunes o relacionados semánticamente con la pregunta.= Este enfoque ha mejorado la calidad de las evaluaciones al proporcionar opciones= de respuesta más desafiantes y realistas. Además, ha automatizado el proceso= de creación de cuestionarios, ahorrando tiempo a los educadores y garantizand= o una mayor coherencia. Sin embargo, es necesario vigilar y ajustar este proceso = para evitar respuestas incorrectas poco plausibles o sesgos implícitos. Esta innovadora metodología está transformando la forma en que se diseñan y administran las evaluaciones en entornos educativos y en documentos académ= icos como guías, cuestionarios y evaluaciones escritas. En este artículo, presentamos una introducción al tema, seguida de una revisión bibliográf= ica exhaustiva. A continuación, describimos en detalle los métodos y algoritm= os empleados. Los resultados obtenidos a partir de la experimentación son analizados y discutidos, culminando en conclusiones sólidas y recomendacio= nes prácticas.

Sumario: Introducción, Revisión Literaria, Materiales y Métodos, Resultados y Discusión, Conclusiones.

= ;

Como citar= : Ramos, J., Torres, R., Segarra, V. & Pinza, E. (2024). Creación de distractores para preguntas de opción múltiple mediante técnicas de incrustación (Word Embedding). Revista Tecnológica - Espol, 36(2), 95-110. https://rte.espol.edu.ec/index.php/tecnologica/article/view/1161=

<= i>Palabras clav= e: Distractores, preguntas de opción múltiple, técnicas de incrustación, documentos académicos, palabras.

Abstract

The automatic generation of distractors for multiple-choice questions in academic documents relies on advanced word embedding techniques, such as Word2Vec. These techniques represent words as vectors in a semantic space, facilitating the discovery = of relationships and similarities between them. Through these methods, plausib= le but incorrect distractors can be created that reflect common misconceptions= or are semantically related to the question. This approach has enhanced the quality of assessments by providing more challenging and realistic answer options. Additionally, it has automated the process of creating quizzes, sa= ving time for educators and ensuring greater consistency. However, it is necessa= ry to monitor and adjust this process to avoid implausible incorrect answers or implicit biases. This innovative methodology is transforming the way assessments are designed and administered in educational settings and in academic documents such as guides, quizzes, and written evaluations. In this paper, we present an introduction to the topic, followed by an exhaustive literature review. Subsequently, we describe in detail the methods and algorithms employed. The results obtained from experimentation are analysed= and discussed, culminating in robust conclusions and practical recommendations.=

Keywords: Distractors, multiple-choice questions, embedding techniques, academic documents, works.

Introducción

La evaluación del aprendizaje es un componente fundamental en el ámbito educativo. Los exámenes de opción m�= �ltiple son una herramienta ampliamente utilizada para este propósito, ya que ofre= cen una forma eficiente de evaluar el conocimiento de los estudiantes sobre un = tema determinado. Sin embargo, la creación de preguntas de opción múltiple de= alta calidad puede ser un proceso laborioso y lento para los profesores. Una de = las principales dificultades radica en la generación de distractores que sean plausibles y discriminativos, es decir, que puedan diferenciar entre los estudiantes que dominan el tema y aquellos que no (Liu et al., 2023).

Según Jurado Núñez et al. (2013)= , las técnicas de incrustación (Word Embedding) han demostrado ser una herramienta poderosa para el procesamiento del lenguaje natural, ya que permiten representar las palabras como vectores numéricos = que capturan su significado semántico.

�= �

Jurado Núñez et al. (2013) mencio= nan que la técnica de incrustación de palabras es una herramienta clave en el aprend= izaje no supervisado, capaz de capturar el contexto, la similitud semántica y sintáctica, así como la relación entre palabras. En este trabajo, se pre= senta una contribución única en la aplicación de estas técnicas para la gener= ación automática de distractores en preguntas de opción múltiple a partir de documentos académicos, considerado como el conjunto de datos (evaluaciones, libros, guías educativas, etc.). La propuesta se enfoca en utilizar la información semántica de las incrustaciones de palabras para crear distra= ctores relevantes al tema de la pregunta y que sean difíciles de distinguir de la respuesta correcta. Se evalúan tres algoritmos ampliamente utilizados que permitan predecir distractores de respuesta a preguntas de opción múltipl= e. Modelos como Word2Vec (Mikolov et al., 2013), <= span class=3DSpellE>GloVe (Pennington et al., 2014) y FastText (Bojanowski et al., 2019) son ejemplos destacad= os de enfoques que explotan el contexto de palabras en textos específicos.

A diferencia de otros estudios prev= ios, esta investigación realizó una evaluación semántica y sintáctica del l= enguaje por medio de los algoritmos descritos en el párrafo anterior. Se analizó = sus enfoques, ventajas y limitaciones, proporcionando comparativas que resaltan= su impacto en tareas de Procesamiento de Lenguaje Natural (NLP) y aplicaciones= del mundo real.

A continuación, se presenta una es= tructura general del trabajo:

·&n= bsp; Revisión de la literatur= a sobre las técnicas de incrustación y su aplicación en el ámbito educativo.

·&n= bsp; Materiales y métodos para seleccionar dos técnicas de incrustación de palabras, y su posterior desa= rrollo de un entorno web para la generación automática de distractores a partir = de un conjunto de datos.

·&n= bsp; Evaluación de la eficaci= a del método propuesto mediante experimentos con diferentes tipos de documentos académicos.

·&n= bsp; Discusión de los resulta= dos obtenidos y las posibles aplicaciones del método en el contexto educativo.=

·&n= bsp; Conclusiones y recomendac= iones para futuras investigaciones.

·&n= bsp; Materiales y Métodos.

Revisión Literaria

Procesamiento de Lenguaje Natural (PLN= )

El Procesamiento del Lenguaje Natur= al (PLN), también conocido como Natural Language Processing (NLP) en inglés,= es un campo de estudio dentro de la Inteligencia Artificial (IA) que se centra en= la interacción entre las computadoras y el lenguaje humano. Su objetivo princ= ipal es dotar a las máquinas de la capacidad de entender, procesar y generar lenguaje natural de forma similar a como lo hacen los humanos (Manjarrés-Betancur & Echeverri-Torres, 2020).

El PLN, como se ve en la REF _Ref185935172 \h Figura 1, contempla cuatro tipos de análisis sobre un texto en lenguaje natural:

Figura = 1=

Procesamiento de lenguaje natural= PLN

Técnicas de incrustación (Word Embedding)

Según Talamé= et al. (2022), las técnicas de incrustación (Word Embed= ding) son un conjunto de métodos que permiten representar las palabras como vect= ores numéricos. Estos vectores capturan el significado semántico de las palabr= as al codificar las relaciones entre ellas en un espacio vectorial.

Las técnicas de incrustación se h= an utilizado con éxito en una amplia gama de tareas de procesamiento del leng= uaje natural, como la traducción automática, la clasificación de textos, la detección de emociones y la generación de lenguaje natural.

Existen diferentes métodos para ob= tener incrustaciones de palabras, por ejemplo, Word2Vec, Glo= Ve y FastText. Estos métodos se basan en el apren= dizaje automático para analizar grandes cantidades de texto y determinar las relaciones entre las palabras.

Las incrustaciones de palabras tien= en una amplia variedad de aplicaciones en el procesamiento del lenguaje natural, t= ales como:

·&n= bsp; Análisis de sentimientos=

·&n= bsp; Traducción automática

·&n= bsp; Recuperación de informac= ión

·&n= bsp; Generación de texto

Word2Vec

En el trabajo de Mikolov et al. (2013) se define a word2vec como una arquitectura de red neuronal de= dos capas que aprende representaciones vectoriales (embedd= ings) de palabras. Su objetivo es capturar relaciones semánticas entre palabras, entrenando en un corpus grande de texto. Los dos enfoques principales dentr= o de word2vec se lo puede observar en la Figura 2.

·&n= bsp; Bag-= of-Words continuo (CBOW): Dado un centro de palabra, el = modelo predice las palabras que lo rodean dentro de una ventana de contexto.

·&n= bsp; Skip= -gram: Dado un entorno de palabra, el modelo predice la palabra cen= tral.

Algunos puntos clave:

·&n= bsp; Aprende embeddings de palabras que capturan relaciones semánticas.

·&n= bsp; Ofrece dos enfoques de entrenamiento: CBOW y skip-gram.

·&n= bsp; Se utiliza ampliamente pa= ra diversas tareas de procesamiento del lenguaje natural.

Figura = 2=

Word2Vec con CBOW y Skip-gram

<= o:p>

FastText

De acuerdo con Bojanowski et al. ( 2019), fastText es una extensión de w= ord2vec que aborda el problema de las palabras fuera del vocabulario (OOV) al considerar información de subpalabras (n-grama= s de caracteres) además de palabras completas. Esto le permite representar pala= bras conocidas y desconocidas de manera más efectiva (Véase Figura 3).

Algunos puntos clave:

·&n= bsp; Maneja palabras OOV usando información de subpalabras (n-gramas de caract= eres).

·&n= bsp; Mejora la representación= de palabras raras y morfológicamente complejas.

·&n= bsp; Adecuado para idiomas con morfología rica y recursos de vocabulario limitados.

Figura = 3=

Algoritmo Fa= stText

<= o:p>

Glove

GloVe (Global Vectors for Word Representation), según Pennington et al. (2014), es un método estadíst= ico para aprender embeddings de palabras que aprovecha l= as estadísticas de coocurrencia de un corpus de texto grande. Toma en cuenta = tanto el contexto local (palabras circundantes) como los patrones de uso global de las palabras, así se muestra en la Figura 4. Algunos puntos clave son:

·&n= bsp; Utiliza estadísticas de coocurrencia para capturar el significado de las palabras.

·&n= bsp; Considera tanto el contex= to local como global para obtener representaciones más completas.

·&n= bsp; A menudo funciona bien en tareas como analogía y similitud de palabras.

Figura = 4=

Algoritmo Gl= oVe

Conjunto de datos

Un conjunto de datos es una colecci= ón organizada de información, generalmente representada en forma tabular que = puede incluir números, texto, imágenes, sonido u otros tipos de datos. Cada fil= a en el conjunto de datos representa una observación o instancia, y cada columna representa una variable o atributo específico asociado con esa observació= n. Los conjuntos de datos se utilizan en diversos campos como la estadística, la ciencia de datos, la informática y la investigación, para realizar análi= sis, modelado y toma de decisiones basada en datos. Los conjuntos de datos word2vec-google-news-300 (Google, 2024)y cc.en.300.bin (Facebook OS, 2024) = se seleccionaron por su robustez y confiabilidad en tareas de procesamiento del lenguaje natural (PLN). Word2vec-google-news-300, entrenado por Google, ofr= ece representaciones densas de palabras que capturan contextos semánticos profundos, mientras que cc.en.300.bin de Facebook (Fas= tText) extiende la cobertura al incluir subpalabras, mejorando la representación de términos fuera del vocabulario.

Word2vec-google-news-300, utilizado= para el algoritmo Word2Vec, es un modelo de incrustación de palabras preentrenado desarrollado por Google, diseñado específicamente para capturar relaciones semánticas entre palabras en un espacio vectorial de alta dimensión. El modelo "word2vec", abreviatura de "word = to vector" (palabra a vector), es una de las arquitecturas pioneras en el campo del procesamiento del lenguaje natural (PLN) para generar incrustacio= nes de palabras.

Cc.en.300.bin, utilizado en el algo= ritmo FastText, es un archivo binario relacionado con el procesamiento del lenguaje natural, un modelo de incrustación de palabras = que contiene vectores de palabras que capturan relaciones semánticas entre est= as basadas en el contexto en el que aparecen en los datos de entrenamiento.

Es importante considerar que este t= rabajo también contempla la generación de un conjunto de datos aportado por el usuario, que se compone de documentos académicos como evaluaciones, guías= de estudio, libros, etc. Este conjunto se utilizará para entrenar un modelo de aprendizaje automático.

Preguntas de opción múltiple<= /p>

Las preguntas de opción múltiple = en documentos académicos son una herramienta de evaluación que presenta al estudiante una pregunta o enunciado seguido de un conjunto de opciones de respuesta. Solo una de las opciones es la respuesta correcta, mientras que = las demás son distractores, que pueden ser plausibles o no.

Trabajos relacionados

En la búsqueda de trabajos relacio= nados, se han definido dos preguntas principales de investigación:

·&n= bsp; Pregunta 1 ¿Cuáles son = las mejores técnicas de incrustación de palabras?

·&n= bsp; Pregunta 2 ¿Cuál es el = mejor algoritmo de entrenamiento en documentos de evaluación académica?<= /p>

Para dar respuesta a estas pregunta= s, se han analizado y seleccionado veinte trabajos relacionados, la mayoría empl= ea herramientas como el entrenamiento de datos, técnicas de incrustación de palabras y la generación de datos a partir de un conjunto de datos. Estas herramientas permiten evaluar las palabras dentro de un documento o conjunt= o de documentos, analizando su similitud tanto semántica como sintáctica. Se ha determinado que, en la mayoría de los trabajos revisados, los algoritmos m= ás comúnmente aplicados son:

·&n= bsp; Fast= Text

·&n= bsp; Word2Vec

·&n= bsp; GloV= e

Algunos trabajos que sobresalen del= estudio son:

· Automatic generation of multiple-choice items for prepositions based on Word2vec (Xiao et al., 2018).=

· Automatic Chinese Multiple-Choice Question Generation for Human Resource Performance Appraisal (Quan et al., 2018).

· Ranking Multiple Choice Question Distractors using Semantically Informed Neural Networks (Sinha et al., 2020).

· Generating Adequate Distractors for Multiple-Choice Questions (Zhang et al., 2020).

<= o:p>

Materiales y Mét= odos

Esta sección evaluó y desarrolló una solución, que emple= ó representaciones vectoriales de palabras como base para llevar a cabo la generación de distractores para evaluaciones de opción múltiple. Como se exploró en el presente trabajo, los algoritmos Word2Vec, FastText y GloVe fueron evaluados para seleccionar los d= os más eficientes y considerarlos en el desarrollo de la aplicación web.

Comparación

De acuerdo a la literatura revisada= , se realizó una comparación general de las técnicas de incrustación en tér= minos generales que se expone en la Tabla 1.

Tabla <= /span>1=

Características de algoritmos

Característica<= /b>	Word2Vec	= FastText	= GloVe
Maneja palabras fuera d= e su vocabulario	No	Sí	No (pero p= uede generalizar)
Manejo morfológico de = las palabras	Limitado	Mejor	Limitado (depende del corpus)<= /p>
Velocidad de entrenamie= nto de palabras	Más rápido	Más lento=	Más lento=
Rendimiento en analogí= a	Bueno	Bueno	Bueno=
Rendimiento en similitud semántica	Bueno	Bueno=	Bueno

Evaluación de Algoritmos

Para evaluar los algoritmos, se ana= lizaron en profundidad los aspectos, particularidades y métricas más relevantes identificadas en recientes investigaciones sobre el tema.

Aspectos generales

La Tabla 2 presenta otras características de los algoritmos analizadas en la literatu= ra.

Tabla <= /span>2=

Aspectos generales de los algorit= mos

Característica<= /b>	Word2Vec	= FastText	= GloVe
Compañía Desarrollado= ra	Facebook Research	Google	Stanford <= span class=3DSpellE>University
Año<= /p>	2015	2013	2014
Representación	Vectores	Vectores	Vectores
Estructura de sub-palabras	Sí	No	No
Capacidad para manejar palabras desconocidas	Sí	No	No
Operaciones algebraicas= con palabras	Sí	Sí	No
Complejidad computacion= al y tiempo de entrenamiento	Alta	Alta<= /o:p>	Alta<= /o:p>
Palabras fuera del vocabulario	Si	No	No

Similitud semántica

·&n= bsp; Objetivo: Determinar el g= rado de correlación entre la similitud de pares de palabras y la similitud de s= us vectores en las incrustaciones, como se detalla en la Tabla 3 y la Figura 5.

·&n= bsp; Conjuntos de datos: WordS= im353 y SimLex-999.

·&n= bsp; Interpretación: <= /p>

·&n= bsp; Alta similitud semántica= con resultado cercano a 1.

·&n= bsp; Baja similitud semántica= con resultado cercano a 0.

·&n= bsp; Cálculo: Coseno del áng= ulo entre los vectores de las palabras. Fórmula:

Donde:

�= � v1 y v2 son los vectores de las dos palabras.

�= � * fue el producto escalar.

Tabla <= /span>3=

Similitud semántica

Conjunto de datos	Word2Vec	= GloVe	= FastText
WordSim353^{^[1]}<= /a>	0.77<= /p>	0.64<= /o:p>	0.82<= /o:p>
SimLex-999^{^[2]}<= /a>	0.58<= /p>	0.60	0.76

Figura = 5=

Similitud semántica

&nbs= p;

Analogías de palabras

·&n= bsp; Objetivo: Encontrar relac= iones semánticas entre palabras, según los resultados en la Tabla 4. La idea fue completar analogías de la siguiente forma:

·&n= bsp; A es a B como C es a D

·&n= bsp; Conjuntos de datos: Googl= e Analogy y Microsoft Research Paraphrase (MSR).

·&n= bsp; Cálculo: Se calculó la similitud coseno entre las representaciones vectoriales de A-B y C-D.

A : B :: C : D

�= �

Donde:

�= � A,B,C,D son palabras.

Tabla <= /span>4=

Analogía de palabras

Algoritmo

Método

Analogía 1<= /span>

Analogía 2<= span lang=3DEN-GB style=3D'mso-ansi-language:EN-GB'>

Palabra

Palabra resultado

Word2Vec

Google Analogys^{^[3]}<= /a>

education

teacher

intelligence

learning

student

creativity

reading

coach=

artist

read, know= ledge

Head_Coach, athletic_director

painter, canvas

FastText

education

teacher

intell= igence

learning

student

creativity

reading

coach=

artist

knowledge, re-reading

athletic, coaches

canvas, artists

Glove

education

teacher

intelligence

learning

student

creativity

reading

coach=

artist

read, list= ening

coaches, t= eam

artists, p= ainter

Word2Vec

MSR^{^[4]}<= /a>

education

teacher

intelligence

learning

student

creativity

reading

coach=

artist

reading_aloud

Head_Coach

artists

FastText

education

teacher

intelligence

learning

student

creativity

reading

coach=

artist

re-reading=

student-at= hlete

artists

Glove

education

teacher

intelligence

learning

student

creativity

reading

coach=

artist

read

team

artists

<= o:p>

Analogía semántica

<= o:p>

·&n= bsp; Objetivo: Evaluar la capa= cidad de un modelo de lenguaje para comprender las relaciones semánticas entre palabras. El detalle en la Tabla 5.

·&n= bsp; Conjuntos de datos: 3CosA= dd y 3CosMul.

·&n= bsp; Interpretación: Las fór= mulas 3CosAdd y 3CosMul calcularon la similitud entre dos palabras (a y b) como el coseno del ángulo entre sus vectores de representación (v_a, v_b y v_c).<= /p>

·&n= bsp; Cálculo: Fueron necesario vectores de representación de las palabras. Su fórmula fue:

SimAdd(a= ,b) =3D cos(va) * cos(vb) + cos(va) * cos(vc) + cos(vb) * cos(vc)

SimMul(a= ,b) =3D cos(va) * cos(vb) * cos(vc)

Donde:

va,vb y = vc fueron los vectores de las dos palabras.

Tabla <= /span>5=

Analogía semántica

Algoritmo	Método	Analogía 1<= /span>	Analogía 2<= span lang=3DEN-GB style=3D'mso-ansi-language:EN-GB'>
Palabra	Palabra	Palabra	Analogía	Semántica
Word2Vec	3CosAdd	man	woman	king	king<= /o:p> queen= monarch princess crown prin= ce	0.84<= /o:p> 0.73<= /o:p> 0.65<= /o:p> 0.62<= /o:p> 0.58
FastText	man	woman	king<= /o:p>	king queen monarch throne princess	0.80 0.69 0.56 0.56 0.55
Glove	man	woman	king	king<= /o:p> queen= queen-moth= er king-= queen-cons= ort	0.82<= /o:p> 0.76<= /o:p> 0.69<= /o:p> 0.68<= /o:p> 0.66<= /o:p>
Word2Vec	3CosMul	man	woman	king	queen= monarch princess Queen Cons= ort queens	0.93<= /o:p> 0.86<= /o:p> 0.85<= /o:p> 0.82<= /o:p> 0.81<= /o:p>
FastText	man	woman	king	queen= princess throne monarch elizabeth	0.92<= /o:p> 0.84<= /o:p> 0.83<= /o:p> 0.82<= /o:p> 0.80<= /o:p>
Glove	man	woman	king	queen= queen-moth= er king-= queen-cons= ort child-king	0.94<= /o:p> 0.91<= /o:p> 0.89<= /o:p> 0.88<= /o:p> 0.87<= /o:p>

Selección de algoritmos

Según la evaluación realizada en = el punto anterior, Word2Vec y FastText resultaron ser los algoritmos más eficientes para generar distractores.

FastText (2015) sobresalió por su facilidad de uso y capacidad para m= anejar palabras fuera del vocabulario entrenado. Ofreció mejores resultados en ta= reas de similitudes semánticas y analogías, adaptándose de manera más efecti= va al contexto del estudio. Su principal ventaja radicó en la generación de resultados con palabras no presentes en el corpus original.

Word2Vec (2013), a pesar de ser más antiguo, capturó de manera más efectiva relaciones semánticas y permitió calcular la similitud entre palabras. Alcanzó un alto porcentaje de simili= tud en la generación de distractores y demostró ser computacionalmente eficie= nte.

En comparación, FastText superó a GloVe en la capacidad de generalizar palabras OOV, gracias a su habilidad para crear vectores a partir de subpalabras. Aunque Word2Vec no fue tan eficaz en este aspecto, demostró una mayor capacidad de generalización que GloVe cuando se entrenaba adecuadamente. En términos de eficiencia computacional, Word2Vec resultó más rápido que GloVe, que r= equiere calcular y factorizar una gran matriz de co-ocurrencia= s. Además, Word2Vec capturó mejor las relaciones semánticas y sintácticas, mientras que FastText destacó en el tratamient= o de la morfología y las palabras raras, mostrando mayor flexibilidad en idiomas o dominios especializados.

Resultados y Dis= cusión

En el presente estudio se exploró la aplicación de los algoritmos de incrust= ación de palabras Word2Vec y FastText para generar distractores. Estos distractores se basaron en la proximidad de las palabra= s en el espacio de incrustación, considerando una pregunta y una respuesta corr= ecta como punto de partida. Algunos aspectos a considerar fueron:<= /p>

· Área de estudio: Se seleccionaron como área de estudio diversos documentos académicos, como evaluaciones, guías de estudio, entre otros.

· Idioma: El idioma utiliza= do fue el inglés.

· Implementación: La implementación de los algoritmos y el diseño del sistema se realizó en P= ython.

· Conjunto de datos: Se uti= lizó cc.en.300.bin para FastText y word2vec-google-news-300 en Word2Vec. También se permitió la opción de u= tilizar datos ingresados por el usuario para realizar la experimentación.

· Cantidad de experimentos:= Se llevaron a cabo veinte experimentos, de los cuales se consignan tres en el presente trabajo.

Diseño de Experimentación

Se desarrolló un generador de distractores con los modelos Word2Vec y FastText para preguntas de opción múltiple, como se= ve en la Figura 6.

Figura 6=

Generador de distractores

Funcionamiento del generador

El usuario ingresó una pregunta y la respuesta correcta. El usuario pudo eleg= ir un modelo de lenguaje para generar los distractores. Así también, pudo carga= r un archivo de texto para entrenar el modelo de lenguaje. El generador devolvi�= � una serie de distractores para la pregunta.

Modelos de lenguaje

De acuerdo a la experimentación realizada, Word2Vec y Fa= stText son dos modelos de lenguaje que se pueden utilizar para generar distractore= s. FastText es generalmente más preciso que Word2Vec, p= ero Word2Vec es más rápido en general.

Word2Vec genera distractores utilizando las siguientes técnicas: coseno similar y vecinos más cercanos. En cambio, FastText gene= ra distractores empleando las siguientes técnicas: predicción de la siguiente palabra y búsqueda de vecinos.

Evaluación de la calidad

La calidad de los distractores generados por Word2Vec y F= astText se evaluó utilizando las siguientes técnicas:

· Análisis por expertos: G= rupo de expertos evaluó la calidad de los distractores.

· Análisis estadístico: Se utilizaron técnicas estadísticas para evaluar distractores.=

Resultados

Es importante considerar que los resultados obtenidos mostraron palabras (con letras mayúsculas o con errores de tipeo) que presentaron un mayor porcent= aje de similitud con la respuesta correcta y que se encontraron dentro del conj= unto de datos evaluado. Los resultados de las pruebas realizadas con el generado= r de distractores se muestran en la Tabla 5, Tabla 6, Tabla 7, Tabla 8; así como en la Figura 7<= /span>, Figura 8<= /span> y REF _Ref185944153 \h Figura 9<= /span>:

Tabla 6=

Ejemplo 1

Pregunta	What is the main purpo= se of education?
Respuesta correcta	Knowledge
Algoritmo	FastText=	Word2Vec
Conjunto de Datos	cc.en.300.bin	Datos Usuario	W2V-google-news-300 <= /p>	Datos Usuario
Distractor	knowlege= - 0.81	performance - 0.75	knowlege= - 0.65	one - 0.83
knowldege - 0.76	relationships - 0.81	expertise - 0.65	following - 0.81
knoweldge - 0.75	educators - 0.76	understanding - 0.63	worry - 0.81

Figura 7=

Ejemplo 1

Tabla 7=

Ejemplo 2

Pregunta	What can convey a weal= th of meaning in an instant?
Respuesta correcta	Pictures=
Algoritmo	FastText=	Word2Vec
Conjunto de Datos	cc.en.300.bin	Datos Usuario	W2V-google-news-300 <= /p>	Datos Usuario
Distractor	Photos - 0.90	successfully - 0.75	Photos - 0.91	abilities - 0.35
Picutres= - 0.81	concepts= - 0.73	Photographs - 0.88	pupils - 0.33
compete - 0.32	Pictues<= /span> - 0.80	single - 0.72	Images - 0.79

Figura 8=

Ejemplo 2

Tabla 8=

Ejemplo 3

Pregunta	What term is related to frameworks that support the learning process?
Respuesta correcta	Scaffold=
Algoritmo	FastText=	Word2Vec
Conjunto de Datos	cc.en.300.bin	Datos Usuario	W2V-google-news-300 <= /p>	Datos Usuario
Distractor	scaffolding - 0.78	procedures - 0.78	scaffolding - 0.76	worry - 0.70
scaffoldings - 0.60	important - 0.71	crane - 0.58	knowledge - 0.74
scaffolded - 0.57	associated - 0.65	framework - 0.57	following - 0.75

Figura 9=

Ejemplo 3

Discusión de resultados

En la Tabla 5, se identifica una = tarea que consistió en seleccionar la palabra relacionada con la educación de e= ntre un conjunto de palabras distractoras. La palabra más relevante para "= education" fue "knowle= dge", tanto para FastText (0,81) como para Word2Vec (= 0,83). Otras palabras, como "relationships" = (0,81) y "expertise" (0,65), también estuvi= eron relacionadas con la educación, pero no de manera tan fuerte como "knowledge". Esto demostró cómo se puede utiliz= ar un modelo de aprendizaje automático para identificar palabras asociadas con conceptos como "education", comparán= dolas con otras palabras de un gran conjunto de datos.

En la Tabla 6, se exponen los res= ultados de la generación de distractores para la pregunta "What can convey a wealth= of meaning in an instant?". Los distractores con las puntua= ciones más altas fueron "Photos" (0,90 en <= span class=3DSpellE>FastText y 0,91 en Word2Vec), lo que sugiere que el m= odelo fue efectivo en la generación de distractores. Sin embargo, también se ge= neró un distractor ("compete") que no está relacionado con la pregunt= a, lo que evidenció que el modelo puede producir distractores irrelevantes.

Finalmente, en la Tabla 7, se presentan los resultados para una pregunta sobre marcos que apoyan el proceso de aprendiz= aje. En Word2Vec, la palabra que más distrajo fue "sc= affolding", con una similitud coseno de 0,76. Otros distractores incluyeron "following" (0,75), "im= portant" (0,71) y "knowledge" (0,74). De manera similar, en FastText, "scaffolding" fue el distractor más relevante (0,78), seguido de "procedures" (0,78) y "associated" (0,65).<= /span>

Conclusiones

Según la experimentación realizada, la efectividad de FastText= y Word2Vec depende principalmente de la calidad y amplitud de los datos con= los que se entrenan. Cuanto más completo sea el conjunto de datos, mejor podr�= �n estos modelos captar el significado del lenguaje.

De los resulta= dos obtenidos, los distractores formados por respuestas de una sola palabra sue= len ser más efectivos, ya que permiten generar opciones que se parecen más a = la respuesta correcta.

FastText es útil para tareas que requieren una comprensión detallada del lenguaje, gracias a su capacidad para analizar <= span class=3DSpellE>subpalabras. Por otro lado, Word2Vec es más adecuado= para escenarios con grandes volúmenes de datos y donde se necesita una capacita= ción eficiente.

Aunque se han = logrado avances, la generación automática de distractores sigue siendo un reto importante, con problemas en cuanto a precisión y la capacidad de los sist= emas para generar y clasificar distractores de forma adecuada.=

El uso de algo= ritmos de procesamiento de lenguaje natural facilita la creación de distractores,= lo que puede ser una herramienta útil para educadores, ayudándoles a ahorrar tiempo y esfuerzo en la preparación de evaluaciones.

Reconocimientos

Los autores de= claran la contribución y participación equitativa de roles de autoría para esta publicación.

Referencias

Bojanowski,= P., Grave, E., Joulin, A., & Mikolov, T. (2019). Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics<= /i>, 7, 135-146. https://doi.org/10.1162/tacl_a_00051

Facebook OS. (2024). Word vectors for 157 languages · fastText<= /span>. https://fasttext.cc/docs/en/crawl-vectors.html

Google. (20= 24). Google Code Archive - Long-term storage for Google Code Project Hosting. https://code.google.com/archive/p/word2vec/

Jurado Núñez, A., Flores Hernánd= ez, F., Delgado Maldonado, L., Sommer Cervantes, H., Ma= rtínez González, A., & Sánchez Mendiola, M. (2013). Distractores en pregu= ntas de opción múltiple para estudiantes de medicina: ¿cuál es su comportami= ento en un examen sumativo de altas consecuencias? Revista de Educación en Ciencias de la Salud, 10(3), 173-185.

Liu, Q., Wald, N., Daskon, C., & Harland, T. (2023). Multiple-choice questions (MCQs) for higher-order cognition: Perspectives of university teachers. Innovations in Education= and Teaching International, 60(3), 314-323. https://doi.org/10.1080/14703297.2023.2222715

Manjarrés-Betancur, = R. A., & Echeverri-Torres, M. M. (2020). Asistente virtual académico utilizando tecnologías cognitivas de procesamiento de lenguaje natural. Revista Politécnica, 16(3= 1), 85–95. https://doi.org/10.33571/rpolitec.v16n31a7

Mikolov= , T., Le, Q. V, & Sutskever, I. (2013). Exploiting Similarities among Languages for Machine Translation. https://code.google.com/p/word2vec/

Pennington,= J., Socher, R., & Manning, C. D. (2014). GloVe<= /span>: Global Vectors for Word Representation. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014)= , 1532–1543. http://nlp.stanford.edu/pubs/glove.pdf

Quan, P., S= hi, Y., Niu, L., Liu, Y., & Zhang, T. (2018). Automatic Chinese Multiple-Choice Question Generation for Human Resource Performance Appraisal. Procedia Computer Science, 139, 165–172. https://doi.org/10.1016/j.procs.2018.10.235

Sinha, M., Dasgupta, T., & Mandav, J. (2020). Ranking Multiple Choice Question Distractors using Semantically Informed Neural Networks. Proceedings of the 29th International Conference on Information and Knowledge Management (CIKM 2020), 3329-3332. https://doi.org/10.1145/3340531.3417468

Talamé= , M. L., Monge, A., Nicolás Amor, = M., & Cardoso, C. (2022). Creation of a corpus of embedded words from tweets generated in Argentina. Revista de Lingüística y Lenguas Aplicadas, 17(2), 123-139. http://revistas.upm.es/.

Xiao, W., W= ang, M., Zhang, C., Tan, Y., & Chen, Z. (2018). Automatic generation of multiple-choice items for prepositions based on Word2vec. Communications= in Computer and Information Science, 902, 81–95. https://doi.org/10.1007/978-981-13-2206-8_8

Zhang, C., = Sun, Y., Chen, H., & Wang, J. (2020). Generating Adequate Distractors for Multiple-Choice Questions. arXiv Preprint. https://arxiv.org/abs/2010.12658

=