Antecedentes
Al inicio del proyecto, establecimos una serie de objetivos e hipótesis cuya veracidad analizamos.
Los objetivos:
Realizar un formulario y extraer conclusiones sobre el uso y percepción de la herramienta generativa ChatGPT de docentes y estudiantes sobre la herramienta.
Someter a ChatGPT-3.5, ChatGPT-4, ChatGPT-4o, ChatGPT-4o en You.com y ChatGPT-o1 preview a exámenes de Física y Filosofía.
Evaluar y analizar el desempeño de los modelos mediante una serie de rúbricas de elaboración propia.
Comparar el desempeño de los modelos entre sí.
Las hipótesis
Respecto al análisis de las respuestas de los cuestionarios planteamos:
Que los docentes la usarían significativamente más que el alumnado.
Que en el cuerpo docente se usaría más las herramientas generativas de lenguaje entre aquellos con menos años de experiencia.
Que tanto en el alumnado como en el profesorado habría una distribución uniforme de las respuestas asociadas a la variable género.
Que en el alumnado la edad covariaría positivamente con el uso de las herramientas que estamos estudiando, entre el profesorado se espera la tendencia contraria.
Que la percepción de los estudiantes en el fallo de las respuestas sería mayor en las asignaturas de matemáticas y física.
Que los alumnos preferirían el apoyo de un profesor que el de la IA.
Sobre el desempeño de ChatGPT en los exámenes planteamos que:
La eficacia del modelo Chat GPT-3.5 en la generación de respuestas atendiendo al número de revisiones del prompt sería significativamente menor en preguntas de filosofía que en los problemas de física.
Que habr´ía una mejora significativa en las respuestas de la herramienta en sus versiones más recientes y de pago, especialmente en la resolución de problemas de física.
Lee el siguiente apartado...