32 Homogeneización, invisibilidad y más allá: hacia una IA ética

Homogeneización

Se invierte mucho dinero, recursos informáticos, tiempo y esfuerzo en la creación de conjuntos de datos, puntos de referencia y algoritmos para el AA. Esto es particularmente cierto para el aprendizaje profundo y los modelos a gran escala. Por lo tanto, tiene sentido que los recursos creados se compartan dentro de este ecosistema. Este es el caso de muchos de los sistemas de ML que a menudo utilizamos -incluso cuando los productos finales son diferentes y son creados por una empresa diferente- la metodología, los conjuntos de datos, las bibliotecas de AA y las evaluaciones a menudo se comparten¹. Así, hay un argumento para que sus resultados sean similares bajo condiciones similares.

Si el resultado es una decisión educativa, genera preocupación, por ejemplo, para el estudiante que podría ser rechazado injustamente de toda oportunidad educativa¹. Pero si la homogeneización algorítmica constituye o no una injusticia solo se puede decidir caso por caso¹.

Por otro lado, si la tarea del sistema es ayudar al estudiante a escribir, pone en foco la estandarización de estilos de escritura, vocabulario y, por ende, patrones de pensamiento. Los modelos de lenguaje utilizados en estos casos se deciden para predecir el texto más probable, basado en su conjunto de datos de entrenamiento. Estos conjuntos de datos, si no se comparten entre sistemas, se construyen de manera similar, a menudo con datos públicos de internet. Incluso cuando estos datos se filtran en busca de sesgos, prejuicios y contenido extremo, representan solo un pequeño ecosistema y no son representativos del mundo en toda su diversidad de ideas, cultura y prácticas. Se ha demostrado que los sistemas de texto predictivo, basados en aprendizaje profundo y utilizados para mensajes de texto y correos electrónicos, cambian la forma en que las personas escriben. La escritura tiende a volverse «más sucinta, más predecible y menos colorida»².

Invisibilidad

Las secuencias de palabras que se repiten en el conjunto de datos de entrenamiento se filtran en la salida de los grandes modelos de lenguaje. Así, los valores de los creadores de la base de datos obtienen el poder de limitar opiniones alternativas y expresiones plurales de ideas. Sin intervenciones pedagógicas adecuadas, esto a su vez podría limitar la creatividad y originalidad de los estudiantes, no solo llevando a una escritura formulista, sino en última instancia, a ciudadanos con menores habilidades de pensamiento crítico y así a un mundo en general menos colorido³.

Íntimamente ligado con muchas de las consecuencias negativas del aprendizaje automático, incluida la homogeneidad como se discutió anteriormente, es el hecho de que las tecnologías se han vuelto tan avanzadas que la interfaz humano-máquina es fluida y prácticamente invisible. Ya sea que se trate de los motores de búsqueda incorporados en la barra de direcciones del navegador, o la predicción de texto que funciona de manera intuitiva, sin retraso de tiempo entre escribir, predecir y elegir sugerencias, a menudo actuamos bajo la influencia de la tecnología sin ser conscientes de ello o tener la opción de poner un freno y repensar situaciones y tomar nuestras propias decisiones. Además, cuando la usamos habitualmente para tomar decisiones, tendemos a olvidar su existencia por completo⁴. «Una vez que nos habituamos a las tecnologías, dejamos de mirarlas, y en su lugar miramos a través de ellas hacia la información y actividades que nos facilitan». Esto plantea preocupaciones tan serias sobre la agencia humana, la transparencia y la confianza, especialmente cuando se trata de mentes jóvenes, que los expertos han recomendado que las interfaces se hagan más visibles e incluso incómodas⁴.

Qué hay más allá: una IA ética

En cada parte de este libro de texto abierto, hemos discutido impactos pedagógicos, éticos y sociales de la IA, especialmente la IA basada en datos. Datos y Privacidad, fiabilidad del contenido y autonomía del usuario, impacto en la identidad personal, Sesgo y Justicia y Agencia Humana se discutieron en sus respectivas páginas. Los problemas específicos de los motores de búsqueda se discutieron en Detrás del Lente de Búsqueda: Efectos de la búsqueda en el individuo y la sociedad, los problemas relacionados con los sistemas adaptativos se trataron en El Lado Oscuro de ALS y aquellos particulares a la IAG en Lo Degenerativo. En varios lugares a lo largo del libro, hemos analizado medidas correctivas que se pueden tomar en el aula para tratar problemas específicos. Nuestra esperanza es que estas medidas se vuelvan menos onerosas una vez que tengamos sistemas de IA éticos y confiables para la educación. Esta IA ética se desarrollaría, desplegaría y usaría de acuerdo con normas y principios éticos⁵ y sería responsable y resiliente.

Dado que cedemos tanto poder a los modelos de IA y a sus programadores, vendedores y evaluadores, es razonable pedirles que sean transparentes y asuman la responsabilidad y remedien los errores cuando las cosas salen mal⁶. Necesitamos acuerdos de nivel de servicio que delineen claramente «los servicios de soporte y mantenimiento y los pasos a seguir para abordar los problemas reportados»⁵.

Una IA resiliente aceptaría sus imperfecciones, las esperaría y podría trabajar a pesar de ellas. Los sistemas de IA resilientes fallarían de una manera predecible y tendrían protocolos para lidiar con estos fallos⁶.

En educación, la IA ética debería guiarse por principios de diseño centrados en el usuario y tener en cuenta todos los aspectos de la educación⁷. Los profesores podrían inspeccionar cómo funciona, entender sus explicaciones, anular sus decisiones o pausar su uso sin dificultad⁸. Estos sistemas reducirían la carga de trabajo de los profesores, les darían información detallada sobre sus estudiantes y los apoyarían en mejorar el alcance y la calidad de la educación⁸. No causarían daño a sus usuarios o al medio ambiente y mejorarían el bienestar social y emocional de estudiante y profesores⁵.

Hasta que llegue ese día, un profesor tendrá que intentar desarrollar y participar en una comunidad de colegas y educadores para crear conciencia sobre los problemas, compartir experiencias y mejores prácticas, e identificar proveedores confiables de IA. También podrían involucrar a estudiantes y padres en discusiones y decisiones para abordar mejor diferentes preocupaciones y desarrollar un ambiente de confianza y camaradería. Les serviría mejor hacer todo lo posible para mantenerse al día con las últimas tendencias en AIED y adquirir competencias cuando y donde sea posible⁵.

^{1 Bommasani, R., D’Amour, A., Liu, J., & Jain, S. (2022). Picking on the same person: Does algorithmic monoculture lead to outcome homogenization? Advances in Neural Information Processing Systems, 35. https://openreview.net/forum?id=rJWc4eU6z5z}

^{2 Varshney, L. R. (2020). Respect for human autonomy in recommender systems. En Proceedings of the 3rd FAccTRec Workshop on Responsible Recommendation. https://facctrec.github.io/facctrec2020/Varshney.pdf}

^{3 Holmes, W., & Miao, F. (2023). Guidance for generative AI in education and research. UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000386946}

^{4 Susser, D. (2019). Invisible influence: Artificial intelligence and the ethics of adaptive choice architectures. En Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society (pp. 403–408). Association for Computing Machinery. https://doi.org/10.1145/3306618.3314286}

^{5 European Commission. (2022, October). Ethical guidelines on the use of artificial intelligence and data in teaching and learning for educators. Publications Office of the European Union. https://education.ec.europa.eu/document/ethical-guidelines-on-the-use-of-ai-and-data-in-teaching-and-learning-for-educators}

^{6 Schneier, B. (2015). Data and Goliath: The hidden battles to capture your data and control your world. W. W. Norton & Company.}

^{7 Tlili, A., Shehata, B., Adarkwah, M. A., Bozkurt, A., Altinpulluk, H., Elbyaly, M. Y., … & Burgos, D. (2023). What if the devil is my guardian angel: ChatGPT as a case study of using chatbots in education. Smart Learning Environments, 10, 15. https://doi.org/10.1186/s40561-023-00236-5}

^{8 U.S. Department of Education, Office of Educational Technology. (2023). Artificial intelligence and the future of teaching and learning: Insights and recommendations. Washington, DC. https://tech.ed.gov/ai-future-of-teaching-and-learning/}