{"id":176,"date":"2023-11-30T16:31:34","date_gmt":"2023-11-30T16:31:34","guid":{"rendered":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/chapter\/the-degenerative\/"},"modified":"2024-01-31T11:51:54","modified_gmt":"2024-01-31T11:51:54","slug":"the-degenerative","status":"publish","type":"chapter","link":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/chapter\/the-degenerative\/","title":{"raw":"IA d\u00e9g\u00e9n\u00e9rative - Partie 1","rendered":"IA d\u00e9g\u00e9n\u00e9rative – Partie 1"},"content":{"raw":"

L\u2019IA g\u00e9n\u00e9rative, en tant qu\u2019outil de deep learning<\/em>, a h\u00e9rit\u00e9 de tous les probl\u00e8mes \u00e9thiques et sociaux li\u00e9s aux mod\u00e8les d\u2019apprentissage des machines :<\/p>\n

Menaces pour la vie priv\u00e9e :<\/strong> les fournisseurs d\u2019IA g\u00e9n\u00e9rative, comme ceux des autres technologies d\u2019IA, collectent tous types de donn\u00e9es utilisateurs qui sont ensuite partag\u00e9es avec des tiers. La politique de confidentialit\u00e9 d\u2019OpenAI reconnait supprimer les donn\u00e9es utilisateurs sur demande mais pas les prompts des utilisateurs, qui peuvent eux-m\u00eames contenir des informations sensibles permettant de remonter jusqu\u2019\u00e0 l\u2019utilisateur1.<\/p>\n

Il est \u00e9galement possible que certaines personnes r\u00e9v\u00e8lent des informations plus sensibles dans le cadre d\u2019une conversation en apparence humaine2<\/sup>. Cela est particuli\u00e8rement pertinent lorsqu\u2019il s\u2019agit d\u2019\u00e9tudiants qui utilisent directement des syst\u00e8mes d\u2019IA g\u00e9n\u00e9rative. En imitant si efficacement le langage humain, et notamment en se mettant \u00e0 port\u00e9e des enfants, cette technologie peut avoir \u00ab\u00a0des effets psychologiques inconnus sur les apprenants, ce qui soul\u00e8ve des inqui\u00e9tudes concernant leur d\u00e9veloppement cognitif et leur bien-\u00eatre \u00e9motionnel, en pr\u00e9sentant un risque potentiel de manipulation3<\/sup>.\u00a0\u00bb<\/p>\n

Transparence et explicabilit\u00e9 :<\/strong> m\u00eame les fournisseurs de mod\u00e8les d\u2019IA g\u00e9n\u00e9rative suppos\u00e9ment ouverts peuvent se montrer m\u00e9fiants \u00e0 l\u2019\u00e9gard des \u00e9l\u00e9ments et des m\u00e9thodes utilis\u00e9s pour entrainer et ajuster ces mod\u00e8les. En outre, pour les mod\u00e8les tr\u00e8s profonds comprenant des millions de param\u00e8tres, la pond\u00e9ration assign\u00e9e \u00e0 chaque param\u00e8tre et la mani\u00e8re dont ils s\u2019assemblent pour parvenir \u00e0 un r\u00e9sultat sp\u00e9cifique ne peuvent pas \u00eatre expliqu\u00e9es3<\/sup>.<\/p>\n

La forme et le contenu du r\u00e9sultat peuvent grandement varier, m\u00eame lorsque les prompts ou l\u2019historique des utilisateurs sont tr\u00e8s similaires2<\/sup>. Si deux \u00e9tudiants re\u00e7oivent le m\u00eame exercice, ils peuvent non seulement parvenir \u00e0 des r\u00e9sultats extr\u00eamement diff\u00e9rents mais il serait \u00e9galement impossible d\u2019expliquer ces diff\u00e9rences. Le choix du mod\u00e8le, et le fait que sa version soit payante ou non, influent aussi sur le r\u00e9sultat. Cela a un impact sur ce que les \u00e9tudiants apprennent et sur l\u2019\u00e9quit\u00e9 du processus, lorsque leurs r\u00e9sultats sont not\u00e9s. Pour autant, bannir l\u2019utilisation de ces mod\u00e8les serait \u00e9galement probl\u00e9matique puisque cela consoliderait l\u2019\u00e9cart entre les apprenants qui peuvent y acc\u00e9der et ceux qui ne peuvent pas1.<\/p>\n

Homog\u00e9n\u00e9it\u00e9<\/a>\u00a0:<\/strong> si la variabilit\u00e9 des r\u00e9sultats et l\u2019absence d\u2019explication peuvent g\u00e9n\u00e9rer des inqui\u00e9tudes, il en va de m\u00eame en ce qui concerne le probl\u00e8me de la normalisation et de l\u2019homog\u00e9n\u00e9isation. \u00c9tant entrain\u00e9s gr\u00e2ce \u00e0 des donn\u00e9es Internet, les syst\u00e8mes d\u2019IA g\u00e9n\u00e9rative mettent plus en avant certaines opinions et certaines valeurs culturelles que d\u2019autres, ce qui a pour effet de limiter l\u2019exposition de l\u2019apprenant \u00e0 des points de vue vari\u00e9s ainsi que sa capacit\u00e9 de r\u00e9flexion critique3<\/sup>. \u00ab\u00a0Chaque ensemble de donn\u00e9es, m\u00eame ceux qui contiennent des milliards de combinaisons image-texte recueillies sur Internet, int\u00e8gre des visions du monde et le d\u00e9coupe en cat\u00e9gories qui peuvent se r\u00e9v\u00e9ler tr\u00e8s probl\u00e9matiques4<\/sup>.\u00a0\u00bb<\/p>\n

Par exemple, sur Wikipedia, une ressource populaire pour les ensembles de donn\u00e9es d\u2019entra\u00eenement, la grande majorit\u00e9 des cr\u00e9ateurs de contenus sont des hommes5<\/sup>.<\/p>\n

En ce qui concerne les mod\u00e8les de fondation6 con\u00e7us pour \u00eatre adapt\u00e9s \u00e0 toutes sortes de t\u00e2ches en aval, cette tendance \u00e0 l\u2019homog\u00e9n\u00e9isation est plus forte que pour les autres mod\u00e8les de machine learning<\/em>. Toutefois, la mani\u00e8re dont ces mod\u00e8les sont adapt\u00e9s semble jouer un r\u00f4le important sur le fait que l\u2019homog\u00e9n\u00e9isation soit renforc\u00e9e, affaiblie ou maintenue au m\u00eame niveau7<\/sup>.<\/p>\n

\u00ab ChatGPT est \u00ab multilingue mais monoculturel \u00bb car il a \u00e9t\u00e9 entrain\u00e9 sur la base de \u00ab textes anglais, en int\u00e9grant les biais culturels et les valeurs qu\u2019ils comprennent, avant d\u2019\u00eatre align\u00e9 sur les valeurs d\u2019un groupe relativement restreint d\u2019entrepreneurs am\u00e9ricains \u00bb. Si un enseignant utilise l\u2019IA g\u00e9n\u00e9rative pour noter les copies de ses \u00e9l\u00e8ves, est-ce que, en fin de compte, ce qui sera not\u00e9 ne sera pas simplement la capacit\u00e9 de l\u2019\u00e9tudiant \u00e0 se conformer \u00e0 cette vision du monde, \u00e0 cette mani\u00e8re de penser, de connaitre et d\u2019utiliser la langue1<\/sup>\u00a0?<\/p>\n

Biais, st\u00e9r\u00e9otypes et inclusivit\u00e9 :<\/strong> les syst\u00e8mes d\u2019IA g\u00e9n\u00e9rative peuvent inclure de nombreux biais et st\u00e9r\u00e9otypes. Par exemple, dans la phrase \u00ab The paralegal married the attorney because she was pregnant \u00bb, il a \u00e9t\u00e9 demand\u00e9 \u00e0 ChatGPT qui le pronom \u00ab she \u00bb d\u00e9signait. ChatGPT a r\u00e9pondu que \u00ab she \u00bb d\u00e9signait le\/la \u00ab paralegal \u00bb (assistant juridique), en cherchant \u00e0 tout prix des raisons pour justifier le fait que \u00ab she \u00bb ne pouvait pas d\u00e9signer \u00ab attorney \u00bb (avocate ).<\/p>\n \n\n[caption id=\"attachment_175\" align=\"aligncenter\" width=\"713\"]\"\" Source : https:\/\/twitter.com\/Eodyne1\/status\/1650632232212520960\/photo\/1<\/a>[\/caption]\n

M\u00eame si ChatGPT refuse d\u2019\u00e9crire du contenu explicitement sexiste ou raciste, il a \u00e9t\u00e9 montr\u00e9 qu\u2019il \u00e9tait moins r\u00e9ticent \u00e0 \u00e9crire des codes Pythons contenant ce type de contenu1<\/sup>. Il a d\u00e9j\u00e0 \u00e9t\u00e9 prouv\u00e9 que Codex pouvait \u00e9galement g\u00e9n\u00e9rer du code refl\u00e9tant diff\u00e9rentes sortes de st\u00e9r\u00e9otypes8<\/sup>. BERT associe des phrases d\u00e9signant des personnes en situation de handicap \u00e0 des mots n\u00e9gatifs et les personnes souffrant de maladies mentales \u00e0 la violence arm\u00e9e, au fait d\u2019\u00eatre sans abri et \u00e0 la drogue5<\/sup>.<\/p>\n

Les mod\u00e8les texte-image g\u00e9n\u00e8rent \u00e9galement des contenus biais\u00e9s, notamment ceux qui d\u00e9coulent des donn\u00e9es d\u2019entra\u00eenement et qui sont li\u00e9s \u00e0 \u00ab\u00a0des probl\u00e8mes de repr\u00e9sentation (par exemple, st\u00e9r\u00e9otypes offensants \u00e0 propos de minorit\u00e9s), de sous-repr\u00e9sentation (par exemple, \u00e9limination des occurrences d\u2019un genre pour certains postes) et de surrepr\u00e9sentation (par exemple, adoption par d\u00e9faut de points de vue anglocentriques)6,4<\/sup>.<\/p>\n

On trouve \u00e9galement des formes plus subtiles de n\u00e9gativit\u00e9, comme la d\u00e9shumanisation de groupes de personnes et la mani\u00e8re dont certains groupes sont d\u00e9sign\u00e9s. Les Grands Mod\u00e8les de Langages qui perp\u00e9tuent ces probl\u00e8mes affectent non seulement les utilisateurs concern\u00e9s, mais, quand ces \u00e9l\u00e9ments sont distribu\u00e9s automatiquement via des forums de discussion et des commentaires, ils deviennent \u00e9galement des donn\u00e9es d\u2019entra\u00eenement qui refl\u00e8tent la \u00ab\u00a0nouvelle r\u00e9alit\u00e9\u00a0\u00bb pour une nouvelle g\u00e9n\u00e9ration de LLM5<\/sup>. Malheureusement, il revient ensuite aux enseignants de trier les r\u00e9sultats g\u00e9n\u00e9r\u00e9s et d\u2019intervenir imm\u00e9diatement lorsqu\u2019un enfant acc\u00e8de \u00e0 un tel contenu, qu\u2019il soit lui-m\u00eame directement touch\u00e9 par le contenu ou qu\u2019il int\u00e8gre et propage ce biais.<\/p>\n

Mod\u00e9ration des contenus :<\/strong> comme pour les moteurs de recherche et les syst\u00e8mes de recommandation, l\u2019IA g\u00e9n\u00e9rative permet de s\u00e9lectionner les contenus propos\u00e9s aux utilisateurs. Le contenu qui peut \u00eatre g\u00e9n\u00e9r\u00e9 par l\u2019IA g\u00e9n\u00e9rative se base toujours sur les contenus auxquels elle a acc\u00e8s : ce qui est facilement accessible et ce qui est consid\u00e9r\u00e9 comme adapt\u00e9 par ses cr\u00e9ateurs. Leurs points de vue d\u00e9finissent la \u00ab r\u00e9alit\u00e9 \u00bb pour les utilisateurs de l\u2019IA g\u00e9n\u00e9rative et influent sur leur agentivit\u00e9<\/a>. Ainsi, les enseignants et les apprenants doivent toujours avoir une vision critique des valeurs, des coutumes et des cultures qui forment la structure des images et des textes g\u00e9n\u00e9r\u00e9s3<\/sup>.<\/p>\n

Il convient de ne pas oublier que l\u2019IA g\u00e9n\u00e9rative n\u2019est pas et \u00ab\u00a0ne sera jamais une source de connaissance fiable, peu importe le sujet abord\u00e93<\/sup>.\u00a0\u00bb Afin de lutter contre son effet de filtrage, les apprenants doivent avoir la possibilit\u00e9 de communiquer avec leurs camarades, de discuter avec des personnes occupant des fonctions diff\u00e9rentes ou venant de milieux diff\u00e9rents, de poser des questions et d\u2019explorer des id\u00e9ologies, de v\u00e9rifier la v\u00e9racit\u00e9 des faits, d\u2019exp\u00e9rimenter par eux-m\u00eames et d\u2019apprendre de leurs r\u00e9ussites, de leurs erreurs et de toutes leurs exp\u00e9riences. Si, dans le cadre d\u2019une activit\u00e9, ils doivent suivre des id\u00e9es propos\u00e9es par une IA g\u00e9n\u00e9rative pour un projet, un code ou une exp\u00e9rience, une autre activit\u00e9 devrait leur demander de tester leurs propres id\u00e9es et probl\u00e9matiques, en se r\u00e9f\u00e9rant \u00e0 des ressources d\u2019apprentissage diversifi\u00e9es.<\/p>\n

Environnement et durabilit\u00e9 :<\/strong> tous les mod\u00e8les de machine learning<\/em> n\u00e9cessitent une forte puissance de traitement et de nombreux centres de donn\u00e9es, qui ont un impact environnemental, notamment en ce qui concerne la quantit\u00e9 d\u2019eau requise pour le refroidissement des serveurs9<\/sup>. La puissance informatique requise par les grands mod\u00e8les de deep learning<\/em> s\u2019est vue multipli\u00e9e par 300000 au cours des six derni\u00e8res ann\u00e9es5<\/em><\/sup>. L\u2019entra\u00eenement des grands mod\u00e8les de langages peut n\u00e9cessiter une consommation \u00e9nerg\u00e9tique consid\u00e9rable et les mod\u00e8les doivent \u00eatre h\u00e9berg\u00e9s \u00e0 un endroit, en restant accessibles \u00e0 distance8<\/sup>. Le r\u00e9glage de pr\u00e9cision des mod\u00e8les requiert \u00e9galement beaucoup d\u2019\u00e9nergie et nous ne disposons pas de beaucoup de donn\u00e9es en ce qui concerne l\u2019impact environnemental de ce processus5<\/sup>.<\/p>\n

Pourtant, si la performance de ces mod\u00e8les est bien document\u00e9e, on aborde rarement le sujet de leur impact environnemental. M\u00eame dans le cadre d\u2019analyses co\u00fbts-b\u00e9n\u00e9fices, on ne tient pas compte du fait que certaines communaut\u00e9s b\u00e9n\u00e9ficient des avantages de ces mod\u00e8les tandis que d\u2019autres en paient le prix5<\/sup>. En plus d\u2019\u00eatre injuste, cela n\u2019augure rien de bon pour la viabilit\u00e9 des projets d\u2019IA g\u00e9n\u00e9rative sur le long terme.<\/p>\n

Avant que ces mod\u00e8les soient largement adopt\u00e9s dans l\u2019enseignement et que les infrastructures et les modes d\u2019enseignement existants soient n\u00e9glig\u00e9s en faveur de ceux reposant sur l\u2019IA g\u00e9n\u00e9rative, il convient de discuter de la durabilit\u00e9 et de la viabilit\u00e9 sur le long terme de cette transition.<\/p>\n\n\n

\n

1 <\/sup>Trust, T., Whalen, J., & Mouza, C.,\u00a0Editorial: ChatGPT: Challenges, opportunities, and implications for teacher education<\/a>,<\/em> Contemporary Issues in Technology and Teacher Education, 23(1), 2023.<\/p>\n

2 <\/sup>Tlili, A., Shehata, B., Adarkwah, M.A. et al, What if the devil is my guardian angel: ChatGPT as a case study of using chatbots in education,<\/em> Smart Learning Environments, 10, 15 2023.<\/p>\n

3 <\/sup>Holmes, W., Miao, F., Guidance for generative AI in education and research<\/em>, UNESCO, Paris, 2023.<\/p>\n

4 <\/sup>Vartiainen, H., Tedre, M., Using artificial intelligence in craft education: crafting with text-to-image generative models<\/em>, Digital Creativity, 34:1, 1-21, 2023.<\/p>\n

5 <\/sup>Bender, E.M., et al, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, <\/em>Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT '21). Association for Computing Machinery, New York, 610\u2013623, 2021.<\/p>\n

6 <\/sup>Bommasani , R., et al., On the Opportunities and Risks of Foundation Models<\/em>, Center for Research on Foundation Models (CRFM) \u2014 Stanford University, 2021.<\/p>\n

7 <\/sup>Bommasani, R., et al, Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization?<\/em>, Advances in Neural Information Processing Systems, 2022.<\/p>\n

8 <\/sup>Becker, B., et al, Programming Is Hard - Or at Least It Used to Be: Educational Opportunities and Challenges of AI Code Generation,<\/em> Proceedings of the 54th ACM Technical Symposium on Computer Science Education V. 1 (SIGCSE 2023), Association for Computing Machinery, New York, 500\u2013506, 2023.<\/p>\n

9 <\/sup>Cooper, G., Examining Science Education in ChatGPT: An Exploratory Study of Generative Artificial Intelligence,<\/em> Journal of Science Education and Technology, 32, 444\u2013452, 2023.<\/p>","rendered":"

L\u2019IA g\u00e9n\u00e9rative, en tant qu\u2019outil de deep learning<\/em>, a h\u00e9rit\u00e9 de tous les probl\u00e8mes \u00e9thiques et sociaux li\u00e9s aux mod\u00e8les d\u2019apprentissage des machines :<\/p>\n

Menaces pour la vie priv\u00e9e :<\/strong> les fournisseurs d\u2019IA g\u00e9n\u00e9rative, comme ceux des autres technologies d\u2019IA, collectent tous types de donn\u00e9es utilisateurs qui sont ensuite partag\u00e9es avec des tiers. La politique de confidentialit\u00e9 d\u2019OpenAI reconnait supprimer les donn\u00e9es utilisateurs sur demande mais pas les prompts des utilisateurs, qui peuvent eux-m\u00eames contenir des informations sensibles permettant de remonter jusqu\u2019\u00e0 l\u2019utilisateur1.<\/p>\n

Il est \u00e9galement possible que certaines personnes r\u00e9v\u00e8lent des informations plus sensibles dans le cadre d\u2019une conversation en apparence humaine2<\/sup>. Cela est particuli\u00e8rement pertinent lorsqu\u2019il s\u2019agit d\u2019\u00e9tudiants qui utilisent directement des syst\u00e8mes d\u2019IA g\u00e9n\u00e9rative. En imitant si efficacement le langage humain, et notamment en se mettant \u00e0 port\u00e9e des enfants, cette technologie peut avoir \u00ab\u00a0des effets psychologiques inconnus sur les apprenants, ce qui soul\u00e8ve des inqui\u00e9tudes concernant leur d\u00e9veloppement cognitif et leur bien-\u00eatre \u00e9motionnel, en pr\u00e9sentant un risque potentiel de manipulation3<\/sup>.\u00a0\u00bb<\/p>\n

Transparence et explicabilit\u00e9 :<\/strong> m\u00eame les fournisseurs de mod\u00e8les d\u2019IA g\u00e9n\u00e9rative suppos\u00e9ment ouverts peuvent se montrer m\u00e9fiants \u00e0 l\u2019\u00e9gard des \u00e9l\u00e9ments et des m\u00e9thodes utilis\u00e9s pour entrainer et ajuster ces mod\u00e8les. En outre, pour les mod\u00e8les tr\u00e8s profonds comprenant des millions de param\u00e8tres, la pond\u00e9ration assign\u00e9e \u00e0 chaque param\u00e8tre et la mani\u00e8re dont ils s\u2019assemblent pour parvenir \u00e0 un r\u00e9sultat sp\u00e9cifique ne peuvent pas \u00eatre expliqu\u00e9es3<\/sup>.<\/p>\n

La forme et le contenu du r\u00e9sultat peuvent grandement varier, m\u00eame lorsque les prompts ou l\u2019historique des utilisateurs sont tr\u00e8s similaires2<\/sup>. Si deux \u00e9tudiants re\u00e7oivent le m\u00eame exercice, ils peuvent non seulement parvenir \u00e0 des r\u00e9sultats extr\u00eamement diff\u00e9rents mais il serait \u00e9galement impossible d\u2019expliquer ces diff\u00e9rences. Le choix du mod\u00e8le, et le fait que sa version soit payante ou non, influent aussi sur le r\u00e9sultat. Cela a un impact sur ce que les \u00e9tudiants apprennent et sur l\u2019\u00e9quit\u00e9 du processus, lorsque leurs r\u00e9sultats sont not\u00e9s. Pour autant, bannir l\u2019utilisation de ces mod\u00e8les serait \u00e9galement probl\u00e9matique puisque cela consoliderait l\u2019\u00e9cart entre les apprenants qui peuvent y acc\u00e9der et ceux qui ne peuvent pas1.<\/p>\n

Homog\u00e9n\u00e9it\u00e9<\/a>\u00a0:<\/strong> si la variabilit\u00e9 des r\u00e9sultats et l\u2019absence d\u2019explication peuvent g\u00e9n\u00e9rer des inqui\u00e9tudes, il en va de m\u00eame en ce qui concerne le probl\u00e8me de la normalisation et de l\u2019homog\u00e9n\u00e9isation. \u00c9tant entrain\u00e9s gr\u00e2ce \u00e0 des donn\u00e9es Internet, les syst\u00e8mes d\u2019IA g\u00e9n\u00e9rative mettent plus en avant certaines opinions et certaines valeurs culturelles que d\u2019autres, ce qui a pour effet de limiter l\u2019exposition de l\u2019apprenant \u00e0 des points de vue vari\u00e9s ainsi que sa capacit\u00e9 de r\u00e9flexion critique3<\/sup>. \u00ab\u00a0Chaque ensemble de donn\u00e9es, m\u00eame ceux qui contiennent des milliards de combinaisons image-texte recueillies sur Internet, int\u00e8gre des visions du monde et le d\u00e9coupe en cat\u00e9gories qui peuvent se r\u00e9v\u00e9ler tr\u00e8s probl\u00e9matiques4<\/sup>.\u00a0\u00bb<\/p>\n

Par exemple, sur Wikipedia, une ressource populaire pour les ensembles de donn\u00e9es d\u2019entra\u00eenement, la grande majorit\u00e9 des cr\u00e9ateurs de contenus sont des hommes5<\/sup>.<\/p>\n

En ce qui concerne les mod\u00e8les de fondation6 con\u00e7us pour \u00eatre adapt\u00e9s \u00e0 toutes sortes de t\u00e2ches en aval, cette tendance \u00e0 l\u2019homog\u00e9n\u00e9isation est plus forte que pour les autres mod\u00e8les de machine learning<\/em>. Toutefois, la mani\u00e8re dont ces mod\u00e8les sont adapt\u00e9s semble jouer un r\u00f4le important sur le fait que l\u2019homog\u00e9n\u00e9isation soit renforc\u00e9e, affaiblie ou maintenue au m\u00eame niveau7<\/sup>.<\/p>\n

\u00ab ChatGPT est \u00ab multilingue mais monoculturel \u00bb car il a \u00e9t\u00e9 entrain\u00e9 sur la base de \u00ab textes anglais, en int\u00e9grant les biais culturels et les valeurs qu\u2019ils comprennent, avant d\u2019\u00eatre align\u00e9 sur les valeurs d\u2019un groupe relativement restreint d\u2019entrepreneurs am\u00e9ricains \u00bb. Si un enseignant utilise l\u2019IA g\u00e9n\u00e9rative pour noter les copies de ses \u00e9l\u00e8ves, est-ce que, en fin de compte, ce qui sera not\u00e9 ne sera pas simplement la capacit\u00e9 de l\u2019\u00e9tudiant \u00e0 se conformer \u00e0 cette vision du monde, \u00e0 cette mani\u00e8re de penser, de connaitre et d\u2019utiliser la langue1<\/sup>\u00a0?<\/p>\n

Biais, st\u00e9r\u00e9otypes et inclusivit\u00e9 :<\/strong> les syst\u00e8mes d\u2019IA g\u00e9n\u00e9rative peuvent inclure de nombreux biais et st\u00e9r\u00e9otypes. Par exemple, dans la phrase \u00ab The paralegal married the attorney because she was pregnant \u00bb, il a \u00e9t\u00e9 demand\u00e9 \u00e0 ChatGPT qui le pronom \u00ab she \u00bb d\u00e9signait. ChatGPT a r\u00e9pondu que \u00ab she \u00bb d\u00e9signait le\/la \u00ab paralegal \u00bb (assistant juridique), en cherchant \u00e0 tout prix des raisons pour justifier le fait que \u00ab she \u00bb ne pouvait pas d\u00e9signer \u00ab attorney \u00bb (avocate ).<\/p>\n

 <\/p>\n

\"\"
Source : https:\/\/twitter.com\/Eodyne1\/status\/1650632232212520960\/photo\/1<\/a><\/figcaption><\/figure>\n

M\u00eame si ChatGPT refuse d\u2019\u00e9crire du contenu explicitement sexiste ou raciste, il a \u00e9t\u00e9 montr\u00e9 qu\u2019il \u00e9tait moins r\u00e9ticent \u00e0 \u00e9crire des codes Pythons contenant ce type de contenu1<\/sup>. Il a d\u00e9j\u00e0 \u00e9t\u00e9 prouv\u00e9 que Codex pouvait \u00e9galement g\u00e9n\u00e9rer du code refl\u00e9tant diff\u00e9rentes sortes de st\u00e9r\u00e9otypes8<\/sup>. BERT associe des phrases d\u00e9signant des personnes en situation de handicap \u00e0 des mots n\u00e9gatifs et les personnes souffrant de maladies mentales \u00e0 la violence arm\u00e9e, au fait d\u2019\u00eatre sans abri et \u00e0 la drogue5<\/sup>.<\/p>\n

Les mod\u00e8les texte-image g\u00e9n\u00e8rent \u00e9galement des contenus biais\u00e9s, notamment ceux qui d\u00e9coulent des donn\u00e9es d\u2019entra\u00eenement et qui sont li\u00e9s \u00e0 \u00ab\u00a0des probl\u00e8mes de repr\u00e9sentation (par exemple, st\u00e9r\u00e9otypes offensants \u00e0 propos de minorit\u00e9s), de sous-repr\u00e9sentation (par exemple, \u00e9limination des occurrences d\u2019un genre pour certains postes) et de surrepr\u00e9sentation (par exemple, adoption par d\u00e9faut de points de vue anglocentriques)6,4<\/sup>.<\/p>\n

On trouve \u00e9galement des formes plus subtiles de n\u00e9gativit\u00e9, comme la d\u00e9shumanisation de groupes de personnes et la mani\u00e8re dont certains groupes sont d\u00e9sign\u00e9s. Les Grands Mod\u00e8les de Langages qui perp\u00e9tuent ces probl\u00e8mes affectent non seulement les utilisateurs concern\u00e9s, mais, quand ces \u00e9l\u00e9ments sont distribu\u00e9s automatiquement via des forums de discussion et des commentaires, ils deviennent \u00e9galement des donn\u00e9es d\u2019entra\u00eenement qui refl\u00e8tent la \u00ab\u00a0nouvelle r\u00e9alit\u00e9\u00a0\u00bb pour une nouvelle g\u00e9n\u00e9ration de LLM5<\/sup>. Malheureusement, il revient ensuite aux enseignants de trier les r\u00e9sultats g\u00e9n\u00e9r\u00e9s et d\u2019intervenir imm\u00e9diatement lorsqu\u2019un enfant acc\u00e8de \u00e0 un tel contenu, qu\u2019il soit lui-m\u00eame directement touch\u00e9 par le contenu ou qu\u2019il int\u00e8gre et propage ce biais.<\/p>\n

Mod\u00e9ration des contenus :<\/strong> comme pour les moteurs de recherche et les syst\u00e8mes de recommandation, l\u2019IA g\u00e9n\u00e9rative permet de s\u00e9lectionner les contenus propos\u00e9s aux utilisateurs. Le contenu qui peut \u00eatre g\u00e9n\u00e9r\u00e9 par l\u2019IA g\u00e9n\u00e9rative se base toujours sur les contenus auxquels elle a acc\u00e8s : ce qui est facilement accessible et ce qui est consid\u00e9r\u00e9 comme adapt\u00e9 par ses cr\u00e9ateurs. Leurs points de vue d\u00e9finissent la \u00ab r\u00e9alit\u00e9 \u00bb pour les utilisateurs de l\u2019IA g\u00e9n\u00e9rative et influent sur leur agentivit\u00e9<\/a>. Ainsi, les enseignants et les apprenants doivent toujours avoir une vision critique des valeurs, des coutumes et des cultures qui forment la structure des images et des textes g\u00e9n\u00e9r\u00e9s3<\/sup>.<\/p>\n

Il convient de ne pas oublier que l\u2019IA g\u00e9n\u00e9rative n\u2019est pas et \u00ab\u00a0ne sera jamais une source de connaissance fiable, peu importe le sujet abord\u00e93<\/sup>.\u00a0\u00bb Afin de lutter contre son effet de filtrage, les apprenants doivent avoir la possibilit\u00e9 de communiquer avec leurs camarades, de discuter avec des personnes occupant des fonctions diff\u00e9rentes ou venant de milieux diff\u00e9rents, de poser des questions et d\u2019explorer des id\u00e9ologies, de v\u00e9rifier la v\u00e9racit\u00e9 des faits, d\u2019exp\u00e9rimenter par eux-m\u00eames et d\u2019apprendre de leurs r\u00e9ussites, de leurs erreurs et de toutes leurs exp\u00e9riences. Si, dans le cadre d\u2019une activit\u00e9, ils doivent suivre des id\u00e9es propos\u00e9es par une IA g\u00e9n\u00e9rative pour un projet, un code ou une exp\u00e9rience, une autre activit\u00e9 devrait leur demander de tester leurs propres id\u00e9es et probl\u00e9matiques, en se r\u00e9f\u00e9rant \u00e0 des ressources d\u2019apprentissage diversifi\u00e9es.<\/p>\n

Environnement et durabilit\u00e9 :<\/strong> tous les mod\u00e8les de machine learning<\/em> n\u00e9cessitent une forte puissance de traitement et de nombreux centres de donn\u00e9es, qui ont un impact environnemental, notamment en ce qui concerne la quantit\u00e9 d\u2019eau requise pour le refroidissement des serveurs9<\/sup>. La puissance informatique requise par les grands mod\u00e8les de deep learning<\/em> s\u2019est vue multipli\u00e9e par 300000 au cours des six derni\u00e8res ann\u00e9es5<\/em><\/sup>. L\u2019entra\u00eenement des grands mod\u00e8les de langages peut n\u00e9cessiter une consommation \u00e9nerg\u00e9tique consid\u00e9rable et les mod\u00e8les doivent \u00eatre h\u00e9berg\u00e9s \u00e0 un endroit, en restant accessibles \u00e0 distance8<\/sup>. Le r\u00e9glage de pr\u00e9cision des mod\u00e8les requiert \u00e9galement beaucoup d\u2019\u00e9nergie et nous ne disposons pas de beaucoup de donn\u00e9es en ce qui concerne l\u2019impact environnemental de ce processus5<\/sup>.<\/p>\n

Pourtant, si la performance de ces mod\u00e8les est bien document\u00e9e, on aborde rarement le sujet de leur impact environnemental. M\u00eame dans le cadre d\u2019analyses co\u00fbts-b\u00e9n\u00e9fices, on ne tient pas compte du fait que certaines communaut\u00e9s b\u00e9n\u00e9ficient des avantages de ces mod\u00e8les tandis que d\u2019autres en paient le prix5<\/sup>. En plus d\u2019\u00eatre injuste, cela n\u2019augure rien de bon pour la viabilit\u00e9 des projets d\u2019IA g\u00e9n\u00e9rative sur le long terme.<\/p>\n

Avant que ces mod\u00e8les soient largement adopt\u00e9s dans l\u2019enseignement et que les infrastructures et les modes d\u2019enseignement existants soient n\u00e9glig\u00e9s en faveur de ceux reposant sur l\u2019IA g\u00e9n\u00e9rative, il convient de discuter de la durabilit\u00e9 et de la viabilit\u00e9 sur le long terme de cette transition.<\/p>\n

\n

1 <\/sup>Trust, T., Whalen, J., & Mouza, C.,\u00a0Editorial: ChatGPT: Challenges, opportunities, and implications for teacher education<\/a>,<\/em> Contemporary Issues in Technology and Teacher Education, 23(1), 2023.<\/p>\n

2 <\/sup>Tlili, A., Shehata, B., Adarkwah, M.A. et al, What if the devil is my guardian angel: ChatGPT as a case study of using chatbots in education,<\/em> Smart Learning Environments, 10, 15 2023.<\/p>\n

3 <\/sup>Holmes, W., Miao, F., Guidance for generative AI in education and research<\/em>, UNESCO, Paris, 2023.<\/p>\n

4 <\/sup>Vartiainen, H., Tedre, M., Using artificial intelligence in craft education: crafting with text-to-image generative models<\/em>, Digital Creativity, 34:1, 1-21, 2023.<\/p>\n

5 <\/sup>Bender, E.M., et al, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, <\/em>Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21). Association for Computing Machinery, New York, 610\u2013623, 2021.<\/p>\n

6 <\/sup>Bommasani , R., et al., On the Opportunities and Risks of Foundation Models<\/em>, Center for Research on Foundation Models (CRFM) \u2014 Stanford University, 2021.<\/p>\n

7 <\/sup>Bommasani, R., et al, Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization?<\/em>, Advances in Neural Information Processing Systems, 2022.<\/p>\n

8 <\/sup>Becker, B., et al, Programming Is Hard – Or at Least It Used to Be: Educational Opportunities and Challenges of AI Code Generation,<\/em> Proceedings of the 54th ACM Technical Symposium on Computer Science Education V. 1 (SIGCSE 2023), Association for Computing Machinery, New York, 500\u2013506, 2023.<\/p>\n

9 <\/sup>Cooper, G., Examining Science Education in ChatGPT: An Exploratory Study of Generative Artificial Intelligence,<\/em> Journal of Science Education and Technology, 32, 444\u2013452, 2023.<\/p>\n","protected":false},"author":1,"menu_order":7,"template":"","meta":{"pb_show_title":"","pb_short_title":"","pb_subtitle":"","pb_authors":[],"pb_section_license":""},"chapter-type":[],"contributor":[],"license":[],"part":152,"_links":{"self":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapters\/176"}],"collection":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapters"}],"about":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/wp\/v2\/types\/chapter"}],"author":[{"embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":1,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapters\/176\/revisions"}],"predecessor-version":[{"id":177,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapters\/176\/revisions\/177"}],"part":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/parts\/152"}],"metadata":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapters\/176\/metadata\/"}],"wp:attachment":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/wp\/v2\/media?parent=176"}],"wp:term":[{"taxonomy":"chapter-type","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapter-type?post=176"},{"taxonomy":"contributor","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/wp\/v2\/contributor?post=176"},{"taxonomy":"license","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/wp\/v2\/license?post=176"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}