{"id":171,"date":"2023-11-30T16:31:32","date_gmt":"2023-11-30T16:31:32","guid":{"rendered":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/chapter\/the-gears-of-generative\/"},"modified":"2024-01-31T11:51:53","modified_gmt":"2024-01-31T11:51:53","slug":"the-gears-of-generative","status":"publish","type":"chapter","link":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/chapter\/the-gears-of-generative\/","title":{"raw":"Les rouages de l\u2019IA g\u00e9n\u00e9rative","rendered":"Les rouages de l\u2019IA g\u00e9n\u00e9rative"},"content":{"raw":"<p class=\"no-indent\">L\u2019incroyable popularit\u00e9 atteinte, en tr\u00e8s peu de temps, par les plus r\u00e9cents syst\u00e8mes de conversation \u00e0 langage naturel (comme ChatGPT, Bard et LLAMa2-chat)qui utilisent les grands mod\u00e8les de langages (LLM) a conduit \u00e0 l\u2019\u00e9mergence de d\u00e9bats anim\u00e9s, encore aujourd\u2019hui, sur plusieurs sujets. La question de savoir comment un syst\u00e8me computationnel r\u00e9gi par des \u00e9quations math\u00e9matiques relativement simples peut g\u00e9n\u00e9rer des comportements qui sont consid\u00e9r\u00e9s, par la plupart des gens, comme \u00ab intelligents \u00bb reste \u00e9videmment fascinante.<\/p>\n<p class=\"indent\">Cependant, dans ce chapitre, nous ne chercherons pas \u00e0 savoir si \u00ab\u00a0les mod\u00e8les LLM pr\u00e9sentent des comportements qui peuvent \u00eatre d\u00e9finis comme \u00e9tant intelligents\u00a0\u00bb, \u00ab\u00a0quelle est la v\u00e9ritable nature de l\u2019intelligence humaine\u00a0\u00bb, \u00ab\u00a0comment d\u00e9finir la cr\u00e9ativit\u00e9\u00a0\u00bb ni \u00e0 r\u00e9pondre \u00e0 d\u2019autres questions similaires qui pr\u00e9sentent un certain int\u00e9r\u00eat et qui restent, aujourd\u2019hui et peut-\u00eatre pour longtemps, sans r\u00e9ponse. Ces questions n\u00e9cessitent une r\u00e9flexion bien plus approfondie.<\/p>\n<p class=\"indent\">Nous chercherons plut\u00f4t \u00e0 fournir un aper\u00e7u de ce qui est accessible aux personnes non-expertes pour mieux comprendre les m\u00e9canismes sous-jacents du fonctionnement des grands mod\u00e8les de langages.Ce n\u2019est qu\u2019en connaissant mieux ces m\u00e9canismes que nous pourrons comprendre leur potentiel et les risques qu\u2019ils pr\u00e9sentent et promouvoir leur utilisation correcte, notamment dans le domaine de l\u2019enseignement.<\/p>\n<p class=\"indent\">Une premi\u00e8re id\u00e9e re\u00e7ue, pourtant tr\u00e8s r\u00e9pandue et qui m\u00e9rite d\u2019\u00eatre dissip\u00e9e, concerne le fait que ces syst\u00e8mes sont de grandes bases de donn\u00e9es de combinaisons questions-r\u00e9ponses. Cette id\u00e9e, qui ne correspond pas \u00e0 la r\u00e9alit\u00e9, provient de pratiques plus ou moins communes qui ont \u00e9t\u00e9 \u00e9tablies avec le temps dans le cadre de la construction des syst\u00e8mes de chatbot (nous vous invitons \u00e0 lire le chapitre qui y est consacr\u00e9). En m\u00eame temps, cette id\u00e9e ne rend pas justice au caract\u00e8re g\u00e9n\u00e9ratif des LLM.<\/p>\n<p class=\"indent\">Les mod\u00e8les de langage sont des mod\u00e8les statistiques capables d\u2019assigner une probabilit\u00e9 d\u2019occurrence \u00e0 une portion de texte (habituellement un mot) comme fonction d\u2019un contexte donn\u00e9, habituellement d\u00e9fini par un ensemble de mots qui pr\u00e9disent le mot attendu.<\/p>\n<p class=\"indent\">Les mod\u00e8les d\u00e9velopp\u00e9s sur la base d\u2019une approche purement statistique (par exemple, la Cha\u00eene de Markov, \u00e9galement appel\u00e9e mod\u00e8le n-gramme) ont \u00e9t\u00e9 progressivement compl\u00e9t\u00e9s par des mod\u00e8les de langage s\u2019appuyant sur des r\u00e9seaux de neurones<sup>1<\/sup>. La structure et la taille de ces r\u00e9seaux a connu diff\u00e9rentes \u00e9volutions.<\/p>\n<p class=\"indent\">Aujourd\u2019hui, les grands mod\u00e8les de langages (LLM) d\u00e9signent pr\u00e9cis\u00e9ment ce type de mod\u00e8le de langage reposant sur des grands r\u00e9seaux de neurones, form\u00e9s sur la base de quantit\u00e9s colossales de donn\u00e9es.<\/p>\n&nbsp;\n\nhttps:\/\/youtu.be\/DqfpDhO64-Y?list=PLkm8ZqYSzE3fQBx8zGr4oONlMSO-Cevma\n<p class=\"no-indent\">Par cons\u00e9quent, notre \u00e9tude se base sur le postulat selon lequel les mod\u00e8les de langages g\u00e9n\u00e8rent des textes, au lieu de simplement aller les chercher dans une base de connaissances pr\u00e9existante.<\/p>\n<p class=\"indent\">Cet aspect g\u00e9n\u00e9ratif, et leur nature essentiellement intuitive pour les personnes expertes, rendent impr\u00e9visibles les r\u00e9ponses des syst\u00e8mes LLM \u00e0 la saisie d\u2019un utilisateur. Cette caract\u00e9ristique constitue un des points de m\u00e9fiance habituels \u00e0 l\u2019\u00e9gard de ces syst\u00e8mes, notamment en lien avec leur capacit\u00e9 \u00e0 g\u00e9n\u00e9rer des textes faux ou inexacts.<\/p>\n<p class=\"indent\">Cette fonctionnalit\u00e9 repr\u00e9sente un incroyable accomplissement en ce qui concerne la capacit\u00e9 des machines \u00e0 comprendre et \u00e0 g\u00e9n\u00e9rer des textes, mais elle incarne \u00e9galement un des principaux dangers qui accompagnent ces technologies.<\/p>\n<p class=\"indent\">Penchons-nous toutefois un peu plus sur ces syst\u00e8mes.<\/p>\n<p class=\"indent\">Comme pour toute r\u00e9volution technologique, les facteurs sur lesquels s\u2019appuie cette d\u00e9couverte sont nombreux. Par souci de simplification, nous allons mentionner les principaux facteurs tout en pr\u00e9sentant aux lecteurs des r\u00e9f\u00e9rences qui pourront les guider dans le cadre d\u2019une \u00e9tude plus approfondie :<\/p>\n\n<ul>\n \t<li><strong>La taille du r\u00e9seau :<\/strong> ce facteur se mesure gr\u00e2ce au nombre de param\u00e8tres d\u2019entra\u00eenement du r\u00e9seau. Les grands mod\u00e8les de langage sont des r\u00e9seaux neuronaux profonds, caract\u00e9ris\u00e9s par un nombre impressionnant de n\u0153uds et de couches. Pour donner un ordre de grandeur, certains experts sur le terrain d\u00e9signent les mod\u00e8les de langage comme \u00e9tant \u00ab\u00a0grands\u00a0\u00bb lorsque ceux-ci pr\u00e9sentent plus de 10 milliards de param\u00e8tres. Pour donner une id\u00e9e concr\u00e8te, le mod\u00e8le GPT3 pr\u00e9sente 150 milliards de param\u00e8tres, tandis que la version la plus large de LLAMa v2 en pr\u00e9sente environ 70 milliards.<\/li>\n \t<li><strong>L\u2019architecture du r\u00e9seau :<\/strong> la r\u00e9ussite n\u2019est pas seulement garantie par la taille du r\u00e9seau, mais aussi par la mani\u00e8re dont les n\u0153uds et les diff\u00e9rentes couches du r\u00e9seau neuronal sont interconnect\u00e9s. Encore une fois, par souci de simplification, nous pouvons identifier <a href=\"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/chapter\/transformers\/\" target=\"_blank\" rel=\"noopener\">les transformers et les m\u00e9canismes de l\u2019attention<\/a> en tant que principales innovations architecturales qui aident \u00e0 comprendre l\u2019am\u00e9lioration de l\u2019efficacit\u00e9 de ces r\u00e9seaux.<\/li>\n \t<li><strong>La quantit\u00e9 de donn\u00e9es disponibles pour l\u2019entra\u00eenement :<\/strong> la grande disponibilit\u00e9 des donn\u00e9es est sans aucun doute un \u00e9l\u00e9ment essentiel de l\u2019entra\u00eenement de ces mod\u00e8les mais, en r\u00e9alit\u00e9, cela a \u00e9t\u00e9 \u00e9tabli depuis de nombreuses ann\u00e9es, bien avant l\u2019introduction de ces mod\u00e8les. Le facteur d\u2019innovation principal concerne ainsi les techniques d\u2019entra\u00eenement et le processus de s\u00e9lection et de pr\u00e9paration, des donn\u00e9es jusqu\u2019\u00e0 l\u2019ensemble d\u2019entra\u00eenement, que l\u2019on appelle l\u2019apprentissage auto-supervis\u00e9.<\/li>\n \t<li><strong>La puissance informatique actuelle :<\/strong> de toute \u00e9vidence, l\u2019augmentation de la puissance informatique a jou\u00e9 un r\u00f4le d\u00e9cisif dans l\u2019agrandissement de ces r\u00e9seaux. L\u2019exp\u00e9rience empirique semble montrer que le facteur d\u2019\u00e9chelle est pr\u00e9cis\u00e9ment un des param\u00e8tres essentiels d\u2019\u00e9mergence de ces comportements.<\/li>\n \t<li><strong>Les m\u00e9canismes d\u2019ajustement :<\/strong> les m\u00e9canismes d\u2019ajustement constituent un autre \u00e9l\u00e9ment, souvent ignor\u00e9, qui repr\u00e9sente la derni\u00e8re \u00e9tape du processus de d\u00e9veloppement de ces mod\u00e8les. Plus particuli\u00e8rement, on appelle m\u00e9canismes de renforcement l\u2019apprentissage sur la base d\u2019un retour humain ainsi que le classement qui contribue \u00e0 d\u00e9finir le mod\u00e8le, dans le but de g\u00e9n\u00e9rer des r\u00e9ponses qui correspondent plus pr\u00e9cis\u00e9ment \u00e0 l\u2019intention de l\u2019utilisateur. A ces m\u00e9canismes, on peut ajouter l\u2019ensemble des processus de fine-tuning qui permettent la sp\u00e9cialisation et l\u2019am\u00e9lioration du comportement de ces r\u00e9seaux dans le cadre de l\u2019ex\u00e9cution de t\u00e2ches sp\u00e9cifiques.<\/li>\n \t<li><strong>Un pipeline de s\u00e9curit\u00e9 :<\/strong> en plus du mod\u00e8le de <em>deep learning<\/em>,on trouve des techniques ponctuelles con\u00e7ues pour att\u00e9nuer les vuln\u00e9rabilit\u00e9s du syst\u00e8me sur la base de saisies pr\u00e9sentant des risques et pour \u00e9viter tout comportement ind\u00e9sirable, sur la base de saisies s\u00e9curis\u00e9es ou pr\u00e9sentant des risques.<\/li>\n<\/ul>\n<p class=\"no-indent\">Ayant pris connaissance des diff\u00e9rents facteurs qui caract\u00e9risent les LLM, il ne nous reste plus qu\u2019\u00e0 d\u00e9couvrir le potentiel de ces syst\u00e8mes en les essayant dans un cadre p\u00e9dagogique. Nous pouvons ainsi essayer de discuter avec ChatGPT ou Bard afin de nous aider \u00e0 cr\u00e9er de nouveaux exercices et de les adapter aux besoins sp\u00e9cifiques de nos \u00e9tudiants, de cr\u00e9er de nouveaux programmes de cours, avec les contenus associ\u00e9s, et bien plus encore. Tout d\u00e9pend de votre cr\u00e9ativit\u00e9 et de la mani\u00e8re dont vous apprenez \u00e0 dialoguer avec ces syst\u00e8mes.<\/p>\n<p class=\"no-indent\"><strong>A noter :<\/strong> chacun de ces facteurs m\u00e9riterait d\u2019\u00eatre abord\u00e9 plus en profondeur. Pour les personnes int\u00e9ress\u00e9es, nous proposons une liste de r\u00e9f\u00e9rence.<\/p>\n\n\n<hr>\n<p class=\"hanging-indent\"><sup>1 <\/sup>Bengio, Y., Ducharme, R., &amp; Vincent, P., <em>A neural probabilistic language model<\/em>. Advances in neural information processing systems, 13, 2000.<\/p>\n<p class=\"hanging-indent\"><sup>2<\/sup> Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... &amp; Polosukhin, I., <em>Attention is all you need,<\/em> Advances in neural information processing systems, 30, 2017.<\/p>","rendered":"<p class=\"no-indent\">L\u2019incroyable popularit\u00e9 atteinte, en tr\u00e8s peu de temps, par les plus r\u00e9cents syst\u00e8mes de conversation \u00e0 langage naturel (comme ChatGPT, Bard et LLAMa2-chat)qui utilisent les grands mod\u00e8les de langages (LLM) a conduit \u00e0 l\u2019\u00e9mergence de d\u00e9bats anim\u00e9s, encore aujourd\u2019hui, sur plusieurs sujets. La question de savoir comment un syst\u00e8me computationnel r\u00e9gi par des \u00e9quations math\u00e9matiques relativement simples peut g\u00e9n\u00e9rer des comportements qui sont consid\u00e9r\u00e9s, par la plupart des gens, comme \u00ab intelligents \u00bb reste \u00e9videmment fascinante.<\/p>\n<p class=\"indent\">Cependant, dans ce chapitre, nous ne chercherons pas \u00e0 savoir si \u00ab\u00a0les mod\u00e8les LLM pr\u00e9sentent des comportements qui peuvent \u00eatre d\u00e9finis comme \u00e9tant intelligents\u00a0\u00bb, \u00ab\u00a0quelle est la v\u00e9ritable nature de l\u2019intelligence humaine\u00a0\u00bb, \u00ab\u00a0comment d\u00e9finir la cr\u00e9ativit\u00e9\u00a0\u00bb ni \u00e0 r\u00e9pondre \u00e0 d\u2019autres questions similaires qui pr\u00e9sentent un certain int\u00e9r\u00eat et qui restent, aujourd\u2019hui et peut-\u00eatre pour longtemps, sans r\u00e9ponse. Ces questions n\u00e9cessitent une r\u00e9flexion bien plus approfondie.<\/p>\n<p class=\"indent\">Nous chercherons plut\u00f4t \u00e0 fournir un aper\u00e7u de ce qui est accessible aux personnes non-expertes pour mieux comprendre les m\u00e9canismes sous-jacents du fonctionnement des grands mod\u00e8les de langages.Ce n\u2019est qu\u2019en connaissant mieux ces m\u00e9canismes que nous pourrons comprendre leur potentiel et les risques qu\u2019ils pr\u00e9sentent et promouvoir leur utilisation correcte, notamment dans le domaine de l\u2019enseignement.<\/p>\n<p class=\"indent\">Une premi\u00e8re id\u00e9e re\u00e7ue, pourtant tr\u00e8s r\u00e9pandue et qui m\u00e9rite d\u2019\u00eatre dissip\u00e9e, concerne le fait que ces syst\u00e8mes sont de grandes bases de donn\u00e9es de combinaisons questions-r\u00e9ponses. Cette id\u00e9e, qui ne correspond pas \u00e0 la r\u00e9alit\u00e9, provient de pratiques plus ou moins communes qui ont \u00e9t\u00e9 \u00e9tablies avec le temps dans le cadre de la construction des syst\u00e8mes de chatbot (nous vous invitons \u00e0 lire le chapitre qui y est consacr\u00e9). En m\u00eame temps, cette id\u00e9e ne rend pas justice au caract\u00e8re g\u00e9n\u00e9ratif des LLM.<\/p>\n<p class=\"indent\">Les mod\u00e8les de langage sont des mod\u00e8les statistiques capables d\u2019assigner une probabilit\u00e9 d\u2019occurrence \u00e0 une portion de texte (habituellement un mot) comme fonction d\u2019un contexte donn\u00e9, habituellement d\u00e9fini par un ensemble de mots qui pr\u00e9disent le mot attendu.<\/p>\n<p class=\"indent\">Les mod\u00e8les d\u00e9velopp\u00e9s sur la base d\u2019une approche purement statistique (par exemple, la Cha\u00eene de Markov, \u00e9galement appel\u00e9e mod\u00e8le n-gramme) ont \u00e9t\u00e9 progressivement compl\u00e9t\u00e9s par des mod\u00e8les de langage s\u2019appuyant sur des r\u00e9seaux de neurones<sup>1<\/sup>. La structure et la taille de ces r\u00e9seaux a connu diff\u00e9rentes \u00e9volutions.<\/p>\n<p class=\"indent\">Aujourd\u2019hui, les grands mod\u00e8les de langages (LLM) d\u00e9signent pr\u00e9cis\u00e9ment ce type de mod\u00e8le de langage reposant sur des grands r\u00e9seaux de neurones, form\u00e9s sur la base de quantit\u00e9s colossales de donn\u00e9es.<\/p>\n<p>&nbsp;<\/p>\n<p><iframe loading=\"lazy\" id=\"oembed-1\" title=\"Pourquoi les donn\u00e9es sont-elles si importantes pour l\u2019IA ?\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/DqfpDhO64-Y?list=PLkm8ZqYSzE3fQBx8zGr4oONlMSO-Cevma\" frameborder=\"0\" allowfullscreen=\"allowfullscreen\"><\/iframe><\/p>\n<p class=\"no-indent\">Par cons\u00e9quent, notre \u00e9tude se base sur le postulat selon lequel les mod\u00e8les de langages g\u00e9n\u00e8rent des textes, au lieu de simplement aller les chercher dans une base de connaissances pr\u00e9existante.<\/p>\n<p class=\"indent\">Cet aspect g\u00e9n\u00e9ratif, et leur nature essentiellement intuitive pour les personnes expertes, rendent impr\u00e9visibles les r\u00e9ponses des syst\u00e8mes LLM \u00e0 la saisie d\u2019un utilisateur. Cette caract\u00e9ristique constitue un des points de m\u00e9fiance habituels \u00e0 l\u2019\u00e9gard de ces syst\u00e8mes, notamment en lien avec leur capacit\u00e9 \u00e0 g\u00e9n\u00e9rer des textes faux ou inexacts.<\/p>\n<p class=\"indent\">Cette fonctionnalit\u00e9 repr\u00e9sente un incroyable accomplissement en ce qui concerne la capacit\u00e9 des machines \u00e0 comprendre et \u00e0 g\u00e9n\u00e9rer des textes, mais elle incarne \u00e9galement un des principaux dangers qui accompagnent ces technologies.<\/p>\n<p class=\"indent\">Penchons-nous toutefois un peu plus sur ces syst\u00e8mes.<\/p>\n<p class=\"indent\">Comme pour toute r\u00e9volution technologique, les facteurs sur lesquels s\u2019appuie cette d\u00e9couverte sont nombreux. Par souci de simplification, nous allons mentionner les principaux facteurs tout en pr\u00e9sentant aux lecteurs des r\u00e9f\u00e9rences qui pourront les guider dans le cadre d\u2019une \u00e9tude plus approfondie :<\/p>\n<ul>\n<li><strong>La taille du r\u00e9seau :<\/strong> ce facteur se mesure gr\u00e2ce au nombre de param\u00e8tres d\u2019entra\u00eenement du r\u00e9seau. Les grands mod\u00e8les de langage sont des r\u00e9seaux neuronaux profonds, caract\u00e9ris\u00e9s par un nombre impressionnant de n\u0153uds et de couches. Pour donner un ordre de grandeur, certains experts sur le terrain d\u00e9signent les mod\u00e8les de langage comme \u00e9tant \u00ab\u00a0grands\u00a0\u00bb lorsque ceux-ci pr\u00e9sentent plus de 10 milliards de param\u00e8tres. Pour donner une id\u00e9e concr\u00e8te, le mod\u00e8le GPT3 pr\u00e9sente 150 milliards de param\u00e8tres, tandis que la version la plus large de LLAMa v2 en pr\u00e9sente environ 70 milliards.<\/li>\n<li><strong>L\u2019architecture du r\u00e9seau :<\/strong> la r\u00e9ussite n\u2019est pas seulement garantie par la taille du r\u00e9seau, mais aussi par la mani\u00e8re dont les n\u0153uds et les diff\u00e9rentes couches du r\u00e9seau neuronal sont interconnect\u00e9s. Encore une fois, par souci de simplification, nous pouvons identifier <a href=\"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/chapter\/transformers\/\" target=\"_blank\" rel=\"noopener\">les transformers et les m\u00e9canismes de l\u2019attention<\/a> en tant que principales innovations architecturales qui aident \u00e0 comprendre l\u2019am\u00e9lioration de l\u2019efficacit\u00e9 de ces r\u00e9seaux.<\/li>\n<li><strong>La quantit\u00e9 de donn\u00e9es disponibles pour l\u2019entra\u00eenement :<\/strong> la grande disponibilit\u00e9 des donn\u00e9es est sans aucun doute un \u00e9l\u00e9ment essentiel de l\u2019entra\u00eenement de ces mod\u00e8les mais, en r\u00e9alit\u00e9, cela a \u00e9t\u00e9 \u00e9tabli depuis de nombreuses ann\u00e9es, bien avant l\u2019introduction de ces mod\u00e8les. Le facteur d\u2019innovation principal concerne ainsi les techniques d\u2019entra\u00eenement et le processus de s\u00e9lection et de pr\u00e9paration, des donn\u00e9es jusqu\u2019\u00e0 l\u2019ensemble d\u2019entra\u00eenement, que l\u2019on appelle l\u2019apprentissage auto-supervis\u00e9.<\/li>\n<li><strong>La puissance informatique actuelle :<\/strong> de toute \u00e9vidence, l\u2019augmentation de la puissance informatique a jou\u00e9 un r\u00f4le d\u00e9cisif dans l\u2019agrandissement de ces r\u00e9seaux. L\u2019exp\u00e9rience empirique semble montrer que le facteur d\u2019\u00e9chelle est pr\u00e9cis\u00e9ment un des param\u00e8tres essentiels d\u2019\u00e9mergence de ces comportements.<\/li>\n<li><strong>Les m\u00e9canismes d\u2019ajustement :<\/strong> les m\u00e9canismes d\u2019ajustement constituent un autre \u00e9l\u00e9ment, souvent ignor\u00e9, qui repr\u00e9sente la derni\u00e8re \u00e9tape du processus de d\u00e9veloppement de ces mod\u00e8les. Plus particuli\u00e8rement, on appelle m\u00e9canismes de renforcement l\u2019apprentissage sur la base d\u2019un retour humain ainsi que le classement qui contribue \u00e0 d\u00e9finir le mod\u00e8le, dans le but de g\u00e9n\u00e9rer des r\u00e9ponses qui correspondent plus pr\u00e9cis\u00e9ment \u00e0 l\u2019intention de l\u2019utilisateur. A ces m\u00e9canismes, on peut ajouter l\u2019ensemble des processus de fine-tuning qui permettent la sp\u00e9cialisation et l\u2019am\u00e9lioration du comportement de ces r\u00e9seaux dans le cadre de l\u2019ex\u00e9cution de t\u00e2ches sp\u00e9cifiques.<\/li>\n<li><strong>Un pipeline de s\u00e9curit\u00e9 :<\/strong> en plus du mod\u00e8le de <em>deep learning<\/em>,on trouve des techniques ponctuelles con\u00e7ues pour att\u00e9nuer les vuln\u00e9rabilit\u00e9s du syst\u00e8me sur la base de saisies pr\u00e9sentant des risques et pour \u00e9viter tout comportement ind\u00e9sirable, sur la base de saisies s\u00e9curis\u00e9es ou pr\u00e9sentant des risques.<\/li>\n<\/ul>\n<p class=\"no-indent\">Ayant pris connaissance des diff\u00e9rents facteurs qui caract\u00e9risent les LLM, il ne nous reste plus qu\u2019\u00e0 d\u00e9couvrir le potentiel de ces syst\u00e8mes en les essayant dans un cadre p\u00e9dagogique. Nous pouvons ainsi essayer de discuter avec ChatGPT ou Bard afin de nous aider \u00e0 cr\u00e9er de nouveaux exercices et de les adapter aux besoins sp\u00e9cifiques de nos \u00e9tudiants, de cr\u00e9er de nouveaux programmes de cours, avec les contenus associ\u00e9s, et bien plus encore. Tout d\u00e9pend de votre cr\u00e9ativit\u00e9 et de la mani\u00e8re dont vous apprenez \u00e0 dialoguer avec ces syst\u00e8mes.<\/p>\n<p class=\"no-indent\"><strong>A noter :<\/strong> chacun de ces facteurs m\u00e9riterait d\u2019\u00eatre abord\u00e9 plus en profondeur. Pour les personnes int\u00e9ress\u00e9es, nous proposons une liste de r\u00e9f\u00e9rence.<\/p>\n<hr \/>\n<p class=\"hanging-indent\"><sup>1 <\/sup>Bengio, Y., Ducharme, R., &amp; Vincent, P., <em>A neural probabilistic language model<\/em>. Advances in neural information processing systems, 13, 2000.<\/p>\n<p class=\"hanging-indent\"><sup>2<\/sup> Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., &#8230; &amp; Polosukhin, I., <em>Attention is all you need,<\/em> Advances in neural information processing systems, 30, 2017.<\/p>\n","protected":false},"author":1,"menu_order":5,"template":"","meta":{"pb_show_title":"","pb_short_title":"","pb_subtitle":"","pb_authors":["manuel-gentile-aftvc5yfsu","fabrizio-falchi-gxhlchkagd"],"pb_section_license":""},"chapter-type":[],"contributor":[71,63],"license":[],"part":152,"_links":{"self":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapters\/171"}],"collection":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapters"}],"about":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/wp\/v2\/types\/chapter"}],"author":[{"embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":1,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapters\/171\/revisions"}],"predecessor-version":[{"id":172,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapters\/171\/revisions\/172"}],"part":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/parts\/152"}],"metadata":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapters\/171\/metadata\/"}],"wp:attachment":[{"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/wp\/v2\/media?parent=171"}],"wp:term":[{"taxonomy":"chapter-type","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/pressbooks\/v2\/chapter-type?post=171"},{"taxonomy":"contributor","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/wp\/v2\/contributor?post=171"},{"taxonomy":"license","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/iapourlesenseignants\/wp-json\/wp\/v2\/license?post=171"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}