{"id":97,"date":"2024-02-28T21:41:21","date_gmt":"2024-02-28T21:41:21","guid":{"rendered":"https:\/\/aiopentext.itd.cnr.it\/spanishwithchatgpt\/chapter\/issues-with-data-bias-and-fairness\/"},"modified":"2025-06-25T14:25:43","modified_gmt":"2025-06-25T14:25:43","slug":"issues-with-data-bias-and-fairness","status":"publish","type":"chapter","link":"https:\/\/aiopentext.itd.cnr.it\/IAparaprofesores\/chapter\/issues-with-data-bias-and-fairness\/","title":{"raw":"Problemas con los datos: sesgo y equidad","rendered":"Problemas con los datos: sesgo y equidad"},"content":{"raw":"

El sesgo es un prejuicio hacia o en contra de una identidad, ya sea bueno o malo, intencional o no intencional1<\/sup>. La equidad es la contraparte de este sesgo y m\u00e1s: cuando todos son tratados de manera justa, independientemente de su identidad y situaci\u00f3n. Se deben establecer y seguir procesos claros para asegurarse de que todos sean tratados de manera equitativa y tengan igual acceso a las oportunidades1<\/sup>.<\/p>\r\nLos sistemas basados en humanos a menudo comprenden mucho sesgo y discriminaci\u00f3n. Cada persona tiene su propio conjunto \u00fanico de opiniones y prejuicios. Ellos tambi\u00e9n son cajas negras cuyas decisiones, como la forma en que califican las hojas de respuestas, pueden ser dif\u00edciles de entender. Pero hemos desarrollado estrategias y establecido estructuras para estar atentos y cuestionar tales pr\u00e1cticas.\r\n\r\nLos sistemas automatizados a veces se promocionan como la panacea para la subjetividad humana: los algoritmos se basan en n\u00fameros, \u00bfc\u00f3mo pueden tener sesgos? Los algoritmos basados en datos defectuosos, entre otras cosas, no solo pueden recoger y aprender los sesgos existentes relacionados con el g\u00e9nero, la raza, la cultura o la discapacidad, sino que pueden amplificar los sesgos existentes1,2,3<\/sup>. Incluso si no est\u00e1n protegidos por muros propietarios, no se les puede pedir que expliquen sus acciones debido a la falta inherente de explicabilidad en algunos sistemas, como aquellos basados en Redes Neuronales Profundas.<\/a>\r\n

Ejemplos de c\u00f3mo el sesgo entra en los sistemas AIED<\/h3>\r\n
    \r\n \t
  1. Cuando los programadores codifican sistemas basados en reglas, pueden introducir sus sesgos y estereotipos personales en el sistema1;<\/sup><\/li>\r\n \t
  2. Un algoritmo basado en datos puede concluir no proponer una carrera basada en STEM para las ni\u00f1as, porque las estudiantes femeninas aparecen menos en el conjunto de datos de graduados en STEM. \u00bfEs el menor n\u00famero de matem\u00e1ticas de g\u00e9nero femenino debido a estereotipos existentes y normas sociales o se debe a alguna propiedad inherente de ser mujer? Los algoritmos no tienen forma de distinguir entre las dos situaciones. Dado que los datos existentes reflejan estereotipos existentes, los algoritmos que se entrenan con ellos replican desigualdades existentes y din\u00e1micas sociales4<\/sup>. Adem\u00e1s, si tales recomendaciones se implementan, m\u00e1s ni\u00f1as optar\u00e1n por materias no STEM y los nuevos datos reflejar\u00e1n esto, un caso de profec\u00eda autocumplida3<\/sup>.<\/li>\r\n \t
  3. Los estudiantes de una cultura subrepresentada en el conjunto de datos de entrenamiento podr\u00edan tener diferentes patrones de comportamiento y diferentes formas de mostrar motivaci\u00f3n. \u00bfC\u00f3mo calcular\u00eda una anal\u00edtica de aprendizaje las m\u00e9tricas para ellos? Si los datos no son representativos de todas las categor\u00edas de estudiantes, los sistemas entrenados con estos datos podr\u00edan penalizar a la minor\u00eda cuyas tendencias de comportamiento no son lo que el programa estaba optimizado para recompensar. Si no tenemos cuidado, los algoritmos de aprendizaje generalizar\u00e1n, bas\u00e1ndose en la cultura mayoritaria, lo que lleva a una alta tasa de error para los grupos minoritarios4,5<\/sup>. Tales decisiones podr\u00edan desalentar a aquellos que podr\u00edan aportar diversidad, creatividad y talentos \u00fanicos y aquellos que tienen diferentes experiencias, intereses y motivaciones2;<\/sup><\/li>\r\n \t
  4. Un estudiante brit\u00e1nico juzgado por un software de correcci\u00f3n de ensayos de EEUU ser\u00eda penalizado por sus errores de ortograf\u00eda. El lenguaje local, los cambios en la ortograf\u00eda y el acento, la geograf\u00eda y la cultura locales, siempre ser\u00e1n complicados para sistemas que est\u00e1n dise\u00f1ados y entrenados para otro pa\u00eds y otro contexto.<\/li>\r\n \t
  5. Algunos profesores penalizan frases comunes a una clase o regi\u00f3n, ya sea consciente o debido a asociaciones sociales sesgadas. Si un software de calificaci\u00f3n de ensayos se entrena con ensayos calificados por estos profesores, replicar\u00e1 el mismo sesgo.<\/li>\r\n \t
  6. Los sistemas de aprendizaje autom\u00e1tico necesitan una variable objetivo y proxies para optimizar<\/a>. Digamos que las calificaciones de los ex\u00e1menes de secundaria se tomaron como el proxy para la excelencia acad\u00e9mica. El sistema ahora se entrenar\u00e1 exclusivamente para impulsar patrones que son consistentes con los estudiantes que se desempe\u00f1an bien bajo el estr\u00e9s y los contextos limitados de las aulas de examen. Tales sistemas impulsar\u00e1n las calificaciones de los ex\u00e1menes, y no el conocimiento, al recomendar recursos y ejercicios de pr\u00e1ctica a los estudiantes. Aunque esto tambi\u00e9n puede ser cierto en muchas de las aulas de hoy, el enfoque tradicional al menos hace posible expresar m\u00faltiples objetivos4<\/sup>.<\/li>\r\n \t
  7. Los sistemas de aprendizaje adaptativo sugieren recursos a los estudiantes que resolver\u00e1n una falta de habilidad o conocimiento. Si estos recursos necesitan ser comprados o requieren conexi\u00f3n a internet en casa, entonces no es justo para aquellos estudiantes que no tienen los medios para seguir las recomendaciones: \"Cuando un algoritmo sugiere pistas, pr\u00f3ximos pasos o recursos a un estudiante, tenemos que verificar si la ayuda es injusta porque un grupo sistem\u00e1ticamente no recibe ayuda \u00fatil, lo cual es discriminatorio<\/em>\"2<\/sup>.<\/li>\r\n \t
  8. El concepto de personalizar la educaci\u00f3n seg\u00fan el nivel de conocimiento actual y los gustos de un estudiante podr\u00eda en s\u00ed mismo constituir un sesgo1<\/sup>. \u00bfNo estamos tambi\u00e9n impidiendo que este estudiante explore nuevos intereses y alternativas? \u00bfNo lo har\u00eda esto unidimensional y reducir\u00eda las habilidades generales, el conocimiento y el acceso a oportunidades?<\/li>\r\n<\/ol>\r\n[caption id=\"attachment_638\" align=\"aligncenter\" width=\"1024\"]\"\" \"'Sesgo de datos y algor\u00edtmico en la web'\" por jennychamux Licencia CC BY 2.0. https:\/\/creativecommons.org\/licenses\/by\/2.0\/?ref=openverse<\/a>.[\/caption]\r\n

    \u00bfQu\u00e9 puede hacer el maestro para reducir los efectos de los sesgos AIED?<\/h3>\r\n

    Los investigadores est\u00e1n proponiendo y analizando constantemente diferentes formas de reducir el sesgo. Pero no todos los m\u00e9todos son f\u00e1ciles de implementar: la equidad va m\u00e1s all\u00e1 de mitigar el sesgo.<\/p>\r\n

    Por ejemplo, si los datos existentes est\u00e1n llenos de estereotipos: \"\u00bftenemos la obligaci\u00f3n de cuestionar los datos y dise\u00f1ar nuestros sistemas para que se ajusten a alguna noci\u00f3n de comportamiento equitativo, independientemente de si eso est\u00e1 respaldado o no por los datos actualmente disponibles para<\/em> nosotros?<\/em>\"4<\/sup>. Los m\u00e9todos siempre est\u00e1n en tensi\u00f3n y oposici\u00f3n entre s\u00ed y algunas intervenciones para reducir un tipo de sesgo pueden introducir otro sesgo.<\/p>\r\n

    Entonces, \u00bfqu\u00e9 puede hacer el maestro?<\/p>\r\n\r\n

      \r\n \t
    1. Cuestionar al vendedor. <\/strong>Antes de suscribirse a un sistema AIED, pregunte qu\u00e9 tipo de conjuntos de datos se usaron para entrenarlo, d\u00f3nde, por y para qui\u00e9n fue concebido y dise\u00f1ado, y c\u00f3mo fue evaluado;<\/li>\r\n \t
    2. No tragar las m\u00e9tricas<\/strong> cuando invierta en un sistema AIED. Una precisi\u00f3n general, digamos, del cinco por ciento, podr\u00eda ocultar el hecho de que un modelo funciona mal para un grupo minoritario4<\/sup>;<\/li>\r\n \t
    3. Mirar la documentaci\u00f3n<\/strong>\u00a0\u00bfqu\u00e9 medidas, si las hay, se han tomado para detectar y contrarrestar el sesgo y hacer cumplir la equidad1<\/sup>?;<\/li>\r\n \t
    4. Informarse sobre los desarrolladores<\/strong> \u00bfson exclusivamente expertos en inform\u00e1tica o participaron investigadores en educaci\u00f3n y profesores? \u00bfEl sistema se basa \u00fanicamente en el aprendizaje autom\u00e1tico o se integraron la teor\u00eda y las pr\u00e1cticas de aprendizaje2<\/sup>?<\/li>\r\n \t
    5. Dar preferencia a modelos de aprendizaje abiertos y transparentes que le permitan anular decisiones<\/strong>2<\/sup>\u00a0Muchos modelos AIED tienen dise\u00f1os flexibles mediante los cuales el maestro y el estudiante pueden monitorear el sistema, pedir explicaciones o ignorar las decisiones de la m\u00e1quina.<\/li>\r\n \t
    6. Examinar la accesibilidad del producto<\/strong>. \u00bfPueden todos acceder a \u00e9l por igual, independientemente de su capacidad1<\/sup>?<\/li>\r\n \t
    7. Estar atento a los efectos de usar una tecnolog\u00eda<\/strong>, tanto a largo como a corto plazo, en los estudiantes, y estar listo para ofrecer asistencia cuando sea necesario.<\/li>\r\n<\/ol>\r\n

      A pesar de los problemas de la tecnolog\u00eda basada en IA, podemos ser optimistas sobre el futuro de AIED:<\/p>\r\n\r\n