26 La otra cara de la ELA: algunos paradigmas a tener en cuenta
A pesar del potencial prometido de los SAA, muchas preguntas permanecen sin respuesta. Aún no hay suficiente investigación o documentación de prácticas en el aula que ayuden a abordar estos temas:
- Los sistemas de recomendación se utilizan para sugerir películas a los usuarios de Netflix ayudan a los consumidores a enfocarse en la elección correcta de, digamos, altavoces de audio en Amazon. Pero, ¿pueden realmente mejorar los resultados de aprendizaje para cada estudiante en el aula1?
- ¿El enfocarse todo el tiempo en el rendimiento y la individualización afecta el bienestar psicológico de un estudiante2?
- La individualización exige mucha disciplina y autorregulación por parte del estudiante. Tienen que empezar a trabajar por sí mismo y continuar trabajando hasta que terminen todas las actividades asignadas. ¿Todos los estudiantes son capaces de hacer esto sin ayuda2?
- ¿Cómo equilibramos la individualización con las oportunidades de aprendizaje social3?
- ¿Cómo pasamos de usar ALS como apoyo para un solo tema, a usar estos sistemas sistemáticamente, en temas y materias2? ¿Qué pasa con el cambio curricular que se requerirá para tal incorporación de adaptabilidad3?
- ¿Qué pasa con la infraestructura requerida? ¿Qué se necesita hacer sobre los datos y la privacidad, así como los sesgos y estereotipos reforzados3?
Al desarrollar ALS, se utilizan algunos principios ya sea directa o indirectamente. Estos no siempre están exentos de consecuencias.
Un paradigma de ALS: lo antiguo es oro
¿Qué hacen los SAA cuando predicen o recomiendan algo? Usan las experiencias pasadas, preferencias y rendimiento del estudiante para elegir qué recomendarles; miran al pasado para predecir el futuro. Así, estos sistemas siempre están sesgados hacia el pasado4. El AA funciona mejor en un mundo estático y estable donde el pasado se parece al futuro5. ALS, basado en modelos de AA hace más o menos lo mismo, pero ahora con la adición de consideraciones pedagógicas.
Como consecuencia, estos sistemas no son capaces de tener en cuenta fluctuaciones en la normalidad como la pandemia por la COVID19, entre otros. Pueden luchar para tener en cuenta la edad, el crecimiento, el dominio de nuevas competencias y la evolución personal de los jóvenes humanos.
¿Es el comportamiento del estudiante incluso predecible? ¿Cuántas veces podemos repetir una fórmula que funcionó bien en el pasado, antes de que se vuelva aburrida, repetitiva y obstaculice el progreso6? Incluso si tal predicción fuera posible, ¿es prudente exponer a los estudiantes solo a lo que les gusta y con lo que se sienten cómodos? ¿Cuánta novedad es abrumadora y contraproducente6?
Es difícil decidir cuán similares deben ser las actividades recomendadas, cuántos tipos nuevos de actividades deben introducirse en una sesión y cuándo sería productivo empujar a un estudiante a enfrentar desafíos y explorar nuevos intereses. Las respuestas no se encuentran solo en el pasado de los estudiantes.
Un paradigma de ALS: lo explícito refleja lo implícito
Incluso donde el pasado se puede usar de manera confiable para predecir el futuro, el propio pasado podría ser difícil de capturar con precisión. ¿Cómo puede Youtube saber que a un usuario le gustó un video? Es más fácil saber donde hicieron clic en el botón Me gusta o se suscribieron al canal padre después de verlo. Pero tal comportamiento explícito es a menudo raro. Los sistemas de recomendación tienen que recurrir regularmente a señales implícitas que pueden o no reflejar completamente la verdad4. Por ejemplo, Youtube usa el tiempo que un usuario pasó viendo el video como una señal implícita de que les gustó el video y les gustaría ver contenido similar. Pero, el hecho de que un video se reproduzca en la computadora de alguien hasta el final apenas significa que a la persona le gustó, o incluso que lo vio7.
¿Qué pasa con cómo se registra la retroalimentación en un SAA? Para evaluar, por ejemplo, si un estudiante estuvo atento durante una actividad, el sistema podría registrar el número de recursos digitales en los que hicieron clic, y cuándo y por cuánto tiempo los accedieron. Pero estos no pueden reflejar con precisión su nivel de atención1.
Por ejemplo, si el estudiante tiene claro qué hacer para una actividad, podría consultar algunos recursos y centrarse rápidamente en los puntos críticos. Alguien que no esté tan claro podría abrir y pasar tiempo en todos los recursos listados sin aprender mucho1. Es posible que al primer estudiante se le marque incorrectamente por falta de motivación y se le haga hacer trabajo adicional.
Además, los modelos de AA solo pueden notar que dos cosas sucedieron: un estudiante haciendo clic en un recurso y un estudiante obteniendo una alta puntuación en el ejercicio asociado. No pueden inferir que el estudiante obtuvo una alta puntuación porque consultó el recurso: pueden inferir correlación pero no causalidad5.
La expectativa injusta de algunos ALS es que el profesor intervendrá y corregirá tales errores. En otros sistemas, al profesor ni siquiera se le da la opción de hacerlo.
El paradigma de ALS: todo puede ser reemplazado por esta única pregunta
Los sistemas de recomendación no pueden manejar múltiples objetivos. El objetivo del ALS a menudo se presenta en forma de una única pregunta: la pregunta sustituta. ¿Qué calificación le dio un usuario a una película, cuánto tiempo vieron un video, cuál es la puntuación del estudiante en un cuestionario, qué tan bien satisficieron los criterios que la máquina usó para medir la atención? Los sistemas luego se entrenan para alcanzar estos objetivos y se prueban en función de si se lograron. Su rendimiento se ajusta constantemente para maximizar su puntuación con respecto a estos objetivos.
Si la puntuación en el cuestionario es el objetivo, cierto contenido se recomienda de cierta manera. Así, el rendimiento en el examen es el problema sustituto que se resuelve. Si el objetivo es simplemente hacer que hagan clic en muchos recursos, la recomendación se adaptaría para empujarlos a hacer justamente esto. En este caso, hacer que los recursos sean lo suficientemente atractivos es el problema.
La elección de la pregunta sustituta tiene una importancia desmesurada en cómo funciona el ALS. Además, contrario a la promoción de ALS como sistemas objetivos, hay más arte que ciencia en seleccionar el problema sustituto para las recomendaciones4.
No toda tecnología es de alta tecnología
Como hemos visto, muchas decisiones entran en la creación de ALS: qué datos se miden, cómo se utilizan estos datos para evaluar la retroalimentación y otra información, qué objetivos se optimizan y qué algoritmos se utilizan para optimizar estos objetivos. A menudo son programadores, científicos de datos, expertos en finanzas y marketing los que están involucrados en tomar estas decisiones. La entrada de profesores y expertos pedagógicos en el proceso de desarrollo es escasa y a menudo viene después del proceso de diseño2. Los productos no se prueban en el campo antes de su adopción en las instituciones educativas, y a menudo su efectividad proclamada se basa en testimonios y anécdotas, en lugar de en investigación científica2.
Como resultado, lo que una institución educativa requiere y con lo que está familiarizada tiene poco impacto en lo que las compañías de software están construyendo. El costo, la disponibilidad y la infraestructura pueden tener una gran influencia en lo que las instituciones educativas pueden comprar. Es importante tener esto en cuenta al decidir si o cómo usar un producto en particular. Quizás sea mejor no pensar en todos ellos como SAA o IA, sino como sistemas individuales con objetivos, diseños y capacidades muy diferentes.
ALS en su conjunto se puede usar para personalizar la retroalimentación, el andamiaje y la práctica. Pueden encontrar brechas en el aprendizaje y remediarlo dentro de los límites de la programación y el diseño. No pueden detectar ‘momentos enseñables’ o cuándo es el momento adecuado para capitalizar el ánimo de la clase para introducir una nueva idea o ejemplo. Estas capacidades que hacen que el aprendizaje sea mágico y que ayudan a que la lección perdure en la mente del estudiante son exclusivamente fortaleza del profesor.
1 Bulger, M. (2016). Personalised learning: The conversations we’re not having [Working paper]. Data & Society. https://datasociety.net/pubs/ecl/PersonalizedLearning_primer_2016.pdf
2 Groff, J. (2017). Personalized learning: The state of the field & future directions. Center for Curriculum Redesign. https://curriculumredesign.org/wp-content/uploads/PersonalizedLearning_CCR_April2017.pdf
3 Holmes, W., Anastopoulou, S., Schaumburg, H., & Mavrikis, M. (2018). Technology-enhanced personalised learning: Untangling the evidence. Stuttgart: Robert Bosch Stiftung. https://www.bosch-stiftung.de/sites/default/files/publications/pdf/2018-08/Study_Technology-enhanced%20Personalised%20Learning.pdf
4 Covington, P., Adams, J., & Sargin, E. (2016). Deep neural networks for YouTube recommendations. Proceedings of the 10th ACM Conference on Recommender Systems (pp. 191–198). Association for Computing Machinery. https://doi.org/10.1145/2959100.2959190
5 Barocas, S., Hardt, M., & Narayanan, A. (2023). Fairness and machine learning: Limitations and opportunities. MIT Press. https://fairmlbook.org/
6 Konstan, J. A., & Terveen, L. G. (2021). Human-centered recommender systems: Origins, advances, challenges, and opportunities. AI Magazine, 42(3), 31–42. https://doi.org/10.1609/aimag.v42i3.18142
7 Davidson, J., Liebald, B., Liu, J., Nandy, P., & Van Vleet, T. (2010). The YouTube video recommendation system. Proceedings of the 4th ACM Conference on Recommender Systems (pp. 293–296). Association for Computing Machinery. https://doi.org/10.1145/1864708.1864770
