IAG para generación de ítems de evaluación
La evaluación es un componente fundamental en el proceso educativo, ya que permite medir el aprendizaje de los estudiantes, identificar áreas de mejora y asegurar que los objetivos de aprendizaje se están cumpliendo. La creación de ítems de evaluación, tales como preguntas de examen, estudios de caso o problemas prácticos, requiere de tiempo y precisión para garantizar que son válidos, fiables y alineados con los objetivos del curso. La inteligencia artificial generativa (IAG) ofrece una solución innovadora, permitiendo a los docentes generar ítems de evaluación de manera más eficiente, asegurando al mismo tiempo la relevancia y la equidad. En este material, exploraremos cómo utilizar IAG para crear ítems de evaluación que estén alineados con los objetivos pedagógicos y que contribuyan a una evaluación más efectiva del aprendizaje.
Pasos a Tomar en Cuenta al Crear Ítems de Evaluación con IAG
- Definir claramente los objetivos de evaluación: Antes de utilizar IAG, es esencial que los docentes establezcan claramente los objetivos del examen o evaluación, y qué se espera medir en los estudiantes (conceptos clave, habilidades prácticas, etc.). Por ejemplo, evaluar la comprensión de los estudiantes sobre los principios básicos de primeros auxilios y su aplicación en contextos educativos.
- Temática específica: Especificar el tema o temas clave de nuestra evaluación.
- Establecer el nivel de dificultad: Se debe definir el nivel de complejidad que se espera de los ítems de evaluación, considerando el contexto académico y el nivel del estudiante.
- Proporcionar insumos específicos al modelo IAG: Es importante suministrar al modelo detalles como la temática, las habilidades a evaluar y los criterios clave, para que las preguntas sean coherentes con los objetivos del curso.
- Revisar las respuestas generadas: No se debe confiar ciegamente en los ítems generados por IAG. Es fundamental revisar el contenido para asegurarse de que las preguntas sean precisas, libres de errores y no tengan sesgos.
- Personalizar los ítems según el contexto: Una vez generadas, las preguntas pueden ser ajustadas para adaptarse mejor al contexto particular de la clase o la situación de los estudiantes.
- Refinar el prompt según sea necesario: En caso de que las preguntas iniciales no cumplan con las expectativas, se debe refinar el prompt para obtener mejores resultados.
Ejemplo completo
Paso 1: Modelo Generativo Usado
El modelo generativo empleado en la creación de ítems de evaluación fue un modelo de lenguaje avanzado, como GPT-4, desarrollado por OpenAI. Este modelo es capaz de generar texto coherente y relevante en función de las instrucciones específicas proporcionadas por el usuario.
Ejemplo: GPT-4, desarrollado por OpenAI.
Paso 2: Rol Asignado al Modelo
Este rol debe implicar la creación de preguntas y otros elementos evaluativos que puedan ser utilizados en pruebas, exámenes, y actividades de evaluación formativa o sumativa.
Ejemplo: Asistente educativo con el objetivo de apoyar al docente en la generación de ítems de evaluación alineados con los objetivos de aprendizaje del curso.
Paso 3: Insumo Entregado al Modelo
Este insumo representa el contenido del que se tomará la información para la creación de los ítems.
Ejemplo: “Analiza el siguiente texto sobre primeros auxilios”
Paso 4: Prompt Inicial
El prompt inicial utilizado para generar los ítems de evaluación fue: “Genera cinco preguntas de opción múltiple sobre los principios básicos de primeros auxilios , con un nivel de dificultad medio, y asegúrate de que cada pregunta tenga una respuesta correcta y tres distractores plausibles.”
Paso 5: Prompt Refinado para Mejorar la Primera Salida
Después de revisar la primera salida generada por el modelo, se utilizó un prompt refinado para mejorar la calidad y relevancia de los ítems.
Ejemplo: “Refina las preguntas de opción múltiple generadas previamente para asegurarte de que los distractores sean igualmente plausibles y que las preguntas aborden de manera equilibrada los diferentes aspectos de los principios básicos de primeros auxilios, incluyendo definiciones, aplicaciones prácticas y consideraciones éticas.”
Paso 6: Referencia en Formato APA
Para citar el uso de la tecnología IAG en la creación de ítems de evaluación, se puede utilizar la siguiente referencia en formato APA: OpenAI. (2023). GPT-4: Generative Pre-trained Transformer 4. OpenAI. https://openai.com/research/gpt-4
A continuación, presentamos un resumen de los elementos clave utilizados en esta sesión para aplicar un modelo generativo
Conclusión
La integración de la inteligencia artificial generativa en la creación de ítems de evaluación representa un avance significativo en la educación. IAG no solo facilita la generación de preguntas y otros ítems de evaluación de manera rápida y eficiente, sino que también permite personalizarlos para adaptarse mejor a las necesidades y contextos de los estudiantes. Al utilizar IAG de manera estratégica, los docentes pueden mejorar la calidad y la equidad de las evaluaciones, asegurando que estas realmente reflejen el aprendizaje de los estudiantes y contribuyan a su desarrollo académico.
Podcast
En resumen
¡Enhorabuena!
Referencias
- Author(s). (2024). Towards responsible development of generative AI for education: An evaluation-driven approach. arXiv
- Octaedro. (2024). ChatGPT y educación universitaria: Posibilidades y límites de ChatGPT como herramienta docente
- Perkins, M., Furze, L., Roe, J., & MacVaugh, J. (2024). The AI Assessment Scale (AIAS): A framework for ethical integration of generative AI in educational assessment. Journal of University Teaching & Learning Practice.
