{"id":101,"date":"2023-11-30T16:30:11","date_gmt":"2023-11-30T16:30:11","guid":{"rendered":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/chapter\/issues-with-data-bias-and-fairness\/"},"modified":"2024-01-31T11:50:49","modified_gmt":"2024-01-31T11:50:49","slug":"issues-with-data-bias-and-fairness","status":"publish","type":"chapter","link":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/chapter\/issues-with-data-bias-and-fairness\/","title":{"raw":"Probl\u00e8mes li\u00e9s aux donn\u00e9es : biais et \u00e9quit\u00e9","rendered":"Probl\u00e8mes li\u00e9s aux donn\u00e9es : biais et \u00e9quit\u00e9"},"content":{"raw":"

Le biais est le pr\u00e9jug\u00e9, favorable ou d\u00e9favorable, intentionnel ou involontaire, que l\u2019on peut nourrir vis-\u00e0-vis d\u2019une certaine identit\u00e91<\/sup>. L\u2019\u00e9quit\u00e9 est le contraire de ce biais et bien plus encore : \u00eatre \u00e9quitable veut dire traiter chacun mani\u00e8re juste, ind\u00e9pendamment de son identit\u00e9 et de sa situation. Des proc\u00e9dures doivent \u00eatre clairement d\u00e9finies et doivent \u00eatre respect\u00e9es pour faire en sorte que chacun soit trait\u00e9 de mani\u00e8re \u00e9quitable et b\u00e9n\u00e9ficie de l\u2019\u00e9galit\u00e9 d\u2019acc\u00e8s aux opportunit\u00e9s1<\/sup>.<\/p>\n

Les syst\u00e8mes bas\u00e9s sur l\u2019\u00eatre humain souffrent souvent de pr\u00e9jug\u00e9s et de discriminations : chaque personne a son propre ensemble de pr\u00e9jug\u00e9s et d\u2019opinions. Eux aussi sont des bo\u00eetes noires, dont les d\u00e9cisions peuvent \u00eatre souvent difficiles \u00e0 comprendre, par exemple leurs crit\u00e8res de notation des r\u00e9ponses aux questionnaires. Mais, nous avons mis en place des strat\u00e9gies et des structures pour d\u00e9tecter ces pratiques et les contester.<\/p>\n

Les syst\u00e8mes automatis\u00e9s sont souvent pr\u00e9sent\u00e9s comme la panac\u00e9e \u00e0 la subjectivit\u00e9 humaine : les algorithmes se fondent sur les nombres, comment pourraient-ils avoir des pr\u00e9jug\u00e9s ? Des algorithmes fond\u00e9s sur des donn\u00e9es erron\u00e9es, entre autres, peuvent non seulement reprendre des pr\u00e9jug\u00e9s existants en mati\u00e8re de genre, race, culture ou handicap, mais ils peuvent aussi les amplifier1,2,3<\/sup>. Et, pour ne rien arranger, bien qu\u2019ils ne soient pas enferm\u00e9s derri\u00e8re des murs de propri\u00e9t\u00e9 intellectuelle\u00a0, ils ne peuvent pas \u00eatre appel\u00e9s \u00e0 expliquer leurs actes en raison du manque intrins\u00e8que d\u2019explicabilit\u00e9 de certains syst\u00e8mes, comme ceux fond\u00e9s sur des R\u00e9seaux Neuronaux Profonds, .<\/p>\n\n

Exemples de biais pr\u00e9sents dans les syst\u00e8mes AIED<\/h3>\n
    \n \t
  1. Lorsque les programmeurs codifient des syst\u00e8mes bas\u00e9s sur des r\u00e8gles, ils peuvent introduire dans les syst\u00e8mes des biais et des st\u00e9r\u00e9otypes1<\/sup>.<\/li>\n \t
  2. Un algorithme bas\u00e9 sur les donn\u00e9es peut d\u00e9cider de ne pas proposer aux filles un parcours de carri\u00e8re bas\u00e9 sur les STIM parce que les \u00e9tudiantes semblent \u00eatre moins nombreuses d\u2019apr\u00e8s les ensembles de donn\u00e9es relatifs aux dipl\u00f4m\u00e9s STIM. Le fait qu\u2019il y ait moins de math\u00e9maticiennes est-il d\u00fb aux st\u00e9r\u00e9otypes existants et aux normes soci\u00e9tales ou \u00e0 des caract\u00e9ristiques inh\u00e9rentes aux femmes ? Les algorithmes n\u2019ont aucune possibilit\u00e9 de distinguer entre ces deux options. Puisque les donn\u00e9es existantes ne font que refl\u00e9ter les st\u00e9r\u00e9otypes existants, les algorithmes bas\u00e9s sur ces donn\u00e9es reproduisent les in\u00e9galit\u00e9s et les dynamiques sociales existantes4<\/sup>. De plus, si ces recommandations sont appliqu\u00e9es, plus de femmes opteront pour des mati\u00e8res autres que les STIM et les nouvelles donn\u00e9es refl\u00e8teront cette situation : un exemple typique de proph\u00e9tie autor\u00e9alisatrice3<\/sup>.<\/li>\n \t
  3. Les \u00e9l\u00e8ves issus d\u2019une culture sous-repr\u00e9sent\u00e9e dans l\u2019ensemble des donn\u00e9es d\u2019entra\u00eenement peuvent avoir des mod\u00e8les de comportement diff\u00e9rents et des mani\u00e8res diff\u00e9rentes de manifester leur motivation. Comment un syst\u00e8me d\u2019analyse de l\u2019apprentissage pourrait-il calculer des indicateurs de performance pour eux ? Si les donn\u00e9es ne sont pas repr\u00e9sentatives de toutes les cat\u00e9gories de clients, les syst\u00e8mes entra\u00een\u00e9s sur ces donn\u00e9es risquent de p\u00e9naliser la minorit\u00e9 dont les tendances comportementales ne correspondent pas \u00e0 ce que le programme a \u00e9t\u00e9 optimis\u00e9 pour r\u00e9compenser. Si nous ne faisons pas attention, les algorithmes d\u2019apprentissage vont g\u00e9n\u00e9raliser leur fonctionnement en fonction de la culture majoritaire, ce qui m\u00e8nera \u00e0 un taux d\u2019erreur tr\u00e8s \u00e9lev\u00e9 pour les minorit\u00e9s4,5<\/sup>. Ces d\u00e9cisions pourraient d\u00e9courager ceux qui sont en mesure d\u2019apporter de la diversit\u00e9, de la cr\u00e9ativit\u00e9 et des talents uniques et ceux qui poss\u00e8dent des exp\u00e9riences, des int\u00e9r\u00eats et des motivations diff\u00e9rents2<\/sup>.<\/li>\n \t
  4. Un \u00e9tudiant britannique qui serait \u00e9valu\u00e9 \u00e0 l\u2019aide d\u2019un logiciel de correction am\u00e9ricain serait p\u00e9nalis\u00e9 pour des fautes d\u2019orthographe. La langue locale, les diff\u00e9rences d\u2019orthographe et d\u2019accent, la g\u00e9ographie et la culture locales seront toujours un pi\u00e8ge pour les syst\u00e8mes qui ont \u00e9t\u00e9 con\u00e7us et entra\u00een\u00e9s pour un autre pays et un autre contexte.<\/li>\n \t
  5. Certains enseignants p\u00e9nalisent \u2013 consciemment ou \u00e0 cause d\u2019associations biais\u00e9es de nature sociale - des expressions typiques d\u2019une certaine classe ou d\u2019une certaine r\u00e9gion. Si un logiciel de notation de dissertations est entra\u00een\u00e9 sur des essais qui ont \u00e9t\u00e9 not\u00e9s par ces enseignants, il reproduira les m\u00eames pr\u00e9jug\u00e9s.<\/li>\n \t
  6. Les syst\u00e8mes d\u2019apprentissage automatique n\u00e9cessitent une variable cible et des variables de substitution pour \u00eatre optimis\u00e9s. Supposons que les notes obtenues aux tests des \u00e9coles secondaires soient utilis\u00e9es comme proxy pour la mesure de l\u2019excellence acad\u00e9mique. Les syst\u00e8mes vont maintenant s\u2019entra\u00eener uniquement \u00e0 mettre en avant les mod\u00e8les conformes aux \u00e9l\u00e8ves qui sont capables d\u2019obtenir de bons r\u00e9sultats sous pression et dans le contexte restreint des salles d\u2019examen. Ces syst\u00e8mes chercheront \u00e0 mettre l\u2019accent sur les r\u00e9sultats des tests et non pas sur le niveau de connaissances g\u00e9n\u00e9ral lorsqu\u2019il s\u2019agira de recommander des ressources et des exercices pratiques pour les \u00e9tudiants. Bien que cela puisse \u00eatre \u00e9galement le cas dans de nombreuses salles de classe, aujourd\u2019hui, l\u2019approche traditionnelle permet, au moins, d\u2019exprimer des objectifs multiples4<\/sup>.<\/li>\n \t
  7. Les syst\u00e8mes d\u2019apprentissage adaptatifs sugg\u00e8rent aux \u00e9l\u00e8ves des ressources utiles pour rem\u00e9dier \u00e0 un manque de connaissances ou de comp\u00e9tences. Si ces ressources doivent \u00eatre achet\u00e9es ou n\u00e9cessitent une connexion internet \u00e0 la maison, ceci cr\u00e9e une injustice par rapport aux \u00e9tudiants qui n\u2019ont pas les moyens de suivre ces recommandations. \u201cQuand un algorithme apporte des conseils ou sugg\u00e8re les prochaines \u00e9tapes \u00e0 suivre ou des ressources \u00e0 un(e) \u00e9l\u00e8ve, nous devons v\u00e9rifier si l\u2019aide propos\u00e9e est \u00e9quitable ou non parce qu\u2019un certain groupe ne b\u00e9n\u00e9ficie syst\u00e9matiquement pas d\u2019une aide utile<\/em>, <\/em>ce qui est discriminatoire <\/em>\u201d2<\/sup>.<\/li>\n \t
  8. L\u2019id\u00e9e qui consiste \u00e0 personnaliser l\u2019\u00e9ducation selon le niveau de connaissances et les go\u00fbts actuels d\u2019un \u00e9tudiant peut constituer, en soi, un biais1<\/sup>. N\u2019emp\u00eachons-nous pas \u00e9galement cet \u00e9l\u00e8ve d\u2019explorer de nouveaux domaines et de nouvelles options ? Cette approche n\u2019est-elle pas r\u00e9ductive en termes de comp\u00e9tences et de connaissances globales et ne restreint-elle pas l\u2019acc\u00e8s \u00e0 d\u2019autres opportunit\u00e9s ?<\/li>\n<\/ol>\n[caption id=\"attachment_100\" align=\"aligncenter\" width=\"1024\"]\"\" \u201cData and algorithmic bias in the web\u201d par jennychamux fait l\u2019objet de la licence CC BY 2.0. Pour afficher une copie de cette licence, visitez le site https:\/\/creativecommons.org\/licenses\/by\/2.0\/?ref=openverse<\/a>.[\/caption]\n

    Qu\u2019est-ce qu\u2019un enseignant peut-il faire pour r\u00e9duire les effets des biais de l\u2019AIED ?<\/h3>\nLes chercheurs ne cessent de proposer diff\u00e9rentes mani\u00e8res de r\u00e9duire les biais, mais toutes les solutions ne sont pas faciles \u00e0 mettre en \u0153uvre. Sans oublier que l\u2019\u00e9quit\u00e9 va bien au-del\u00e0 de la simple att\u00e9nuation des pr\u00e9jug\u00e9s.\n\nPar exemple, si les donn\u00e9es existantes sont remplies de st\u00e9r\u00e9otypes \u201csommes-nous tenus de remettre en question les donn\u00e9es et de concevoir nos propres syst\u00e8mes pour qu\u2019ils soient conformes \u00e0 une certaine notion de comportement \u00e9quitable, m\u00eame si cette notion n\u2019est pas \u00e9tay\u00e9e par les donn\u00e9es actuellement disponibles ?<\/em>\u201d4<\/sup>. Les m\u00e9thodes sont toujours en tension et en opposition les unes avec les autres, et certaines interventions visant \u00e0 att\u00e9nuer un certain type de biais peuvent en cr\u00e9er un autre !\n\nAlors, que peut faire l\u2019enseignant ?\n
      \n \t
    1. Poser une question au vendeur : avant de souscrire un abonnement \u00e0 un syst\u00e8me AIED, demandez quels types d\u2019ensembles de donn\u00e9es ont \u00e9t\u00e9 utilis\u00e9s pour entra\u00eener le syst\u00e8me, o\u00f9, par et pour qui le syst\u00e8me a \u00e9t\u00e9 con\u00e7u et comment il a \u00e9t\u00e9 \u00e9valu\u00e9.<\/li>\n \t
    2. Ne prenez pas pour argent comptant les indicateurs de mesure des performances qui vous sont vendus. Une pr\u00e9cision globale, disons, de \u201c5% d\u2019erreur\u201d peut cacher le fait que le syst\u00e8me fonctionne tr\u00e8s mal pour un groupe minoritaire4<\/sup>.<\/li>\n \t
    3. Examinez la documentation : quelles mesures ont \u00e9t\u00e9 prises pour d\u00e9tecter et contrer les biais et faire valoir un principe d\u2019\u00e9quit\u00e91<\/sup> ?<\/li>\n \t
    4. Obtenez des informations concernant les d\u00e9veloppeurs : s\u2019agit-il seulement d\u2019informaticiens sp\u00e9cialis\u00e9s ou bien des chercheurs en p\u00e9dagogie et des enseignants ont \u00e9galement particip\u00e9 \u00e0 toutes les \u00e9tapes du processus ? Le syst\u00e8me est-il exclusivement bas\u00e9 sur l\u2019Apprentissage Automatique ou bien des th\u00e9ories et des m\u00e9thodes d\u2019apprentissage ont-elles \u00e9galement \u00e9t\u00e9 prises en compte2<\/sup> ?<\/li>\n \t
    5. Privil\u00e9giez des mod\u00e8les d\u2019apprentissage transparents et ouverts, qui vous permettent de passer outre les d\u00e9cisions2<\/sup> : Beaucoup de mod\u00e8les AIED poss\u00e8dent une structure flexible qui permet \u00e0 l\u2019enseignant, et m\u00eame \u00e0 l\u2019\u00e9l\u00e8ve, de contr\u00f4ler, demander des explications ou ignorer compl\u00e8tement la d\u00e9cision automatique.<\/li>\n \t
    6. V\u00e9rifiez l\u2019accessibilit\u00e9 du produit : est-il accessible \u00e0 tout le monde de la m\u00eame fa\u00e7on, en particulier en ce qui concerne les \u00e9l\u00e8ves handicap\u00e9s ou qui pr\u00e9sentent des besoins \u00e9ducatifs particuliers1<\/sup>?<\/li>\n \t
    7. Soyez attentifs aux effets, \u00e0 long et court terme, de l\u2019utilisation d\u2019une technologie, sur vos \u00e9l\u00e8ves et dans la classe et soyez pr\u00eats \u00e0 fournir votre assistance, si n\u00e9cessaire.<\/li>\n<\/ol>\n

      Malgr\u00e9 les probl\u00e8mes li\u00e9s \u00e0 la technologie bas\u00e9e sur l\u2019IA, nous avons aussi des raisons de nous montrer optimistes quant au futur de l\u2019AIED :<\/p>\n\n