{"id":186,"date":"2023-11-30T17:01:21","date_gmt":"2023-11-30T17:01:21","guid":{"rendered":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/the-degenerative\/"},"modified":"2024-01-31T11:44:25","modified_gmt":"2024-01-31T11:44:25","slug":"the-degenerative","status":"publish","type":"chapter","link":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/the-degenerative\/","title":{"raw":"Die negative Seite - Teil 1","rendered":"Die negative Seite &#8211; Teil 1"},"content":{"raw":"<p class=\"no-indent\">Die generative KI hat als Deep-Learning-Tool alle ethischen und sozialen Auswirkungen von maschinellen Lernmodellen \u00fcbernommen:<\/p>\n<p class=\"no-indent\"><a href=\"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/behind-the-search-lens-effects-of-search-on-the-individual\/\" target=\"_blank\" rel=\"noopener\"><strong>Bedrohung der Privatsph\u00e4re<\/strong><\/a>: Die Anbieter von generativer KI sammeln, wie viele Anbieter anderer KI-Technologien, alle m\u00f6glichen Nutzerdaten, die dann an Dritte weitergegeben werden. OpenAI r\u00e4umt in seiner Datenschutzerkl\u00e4rung ein, dass es Nutzerdaten auf Wunsch l\u00f6scht, nicht aber Eingaben von Nutzern, die ihrerseits sensible Informationen enthalten k\u00f6nnen, die auf den Nutzer zur\u00fcckgef\u00fchrt werden k\u00f6nnen<sup>1<\/sup>.<\/p>\n<p class=\"indent\">Es besteht auch das Risiko, dass Menschen im Laufe eines Chats mit einem scheinbaren Menschen mehr sensible Informationen preisgeben, als sie es sonst tun w\u00fcrden<sup>2<\/sup>. Dies gilt insbesondere f\u00fcr Sch\u00fclerinnen und Sch\u00fcler, die generative KI-Systeme direkt nutzen. Da es dieser Technologie gelingt, menschliche Sprache zu imitieren, insbesondere im Verst\u00e4ndnis der Kinder, \u201ekann (sie) unbekannte psychologische Auswirkungen auf die Lernenden haben, was Bedenken hinsichtlich ihrer kognitiven Entwicklung und ihres emotionalen Wohlbefindens sowie hinsichtlich des Manipulationspotenzials aufkommen l\u00e4sst<sup>3<\/sup>.\"<\/p>\n<p class=\"no-indent\"><strong>Transparenz und Erkl\u00e4rbarkeit:<\/strong> Selbst die Anbieter vermeintlich offener generativer KI-Modelle halten sich mitunter sehr bedeckt, was das gesamte Material und die Methoden angeht, mit denen sie trainiert und abgestimmt wurden. Da es sich um sehr tiefgehende Modelle mit Millionen von Parametern handelt, kann zudem nicht erkl\u00e4rt werden, wie diese Parameter gewichtet werden und wie sie zusammenspielen, um ein bestimmtes Ergebnis zu erzielen<sup>3<\/sup>.<\/p>\n<p class=\"indent\">Sowohl\u00a0die Form als auch der Inhalt des Outputs k\u00f6nnen stark variieren, selbst wenn sich die Eingabe und die Benutzerhistorie kaum unterscheiden<sup>2<\/sup>. Wenn zwei Lernende dieselbe Aufgabe erhalten, k\u00f6nnten sie nicht nur v\u00f6llig unterschiedliche Antworten geben, sondern es g\u00e4be auch keine M\u00f6glichkeit, diese Unterschiede zu erkl\u00e4ren. Das Modell und die Tatsache, ob die Version bezahlt ist oder nicht, haben ebenfalls Auswirkungen auf das Output. Dies wirkt sich sowohl auf das, was die Sch\u00fclerinnen und Sch\u00fcler lernen, als auch auf die Fairness des Benotungsprozesses ihrer Arbeit aus. Ein Verbot der Nutzung ist jedoch ebenfalls problematisch, da es die Kluft zwischen den Lernenden, die zu Hause Zugang dazu haben, und denjenigen, die dies nicht haben, vergr\u00f6\u00dfern w\u00fcrde<sup>1<\/sup>.<\/p>\n<p class=\"no-indent\"><a href=\"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/homogenisation-invisibility-and-beyond-towards-an-ethical-ai\/\" target=\"_blank\" rel=\"noopener\"><strong>Homogenit\u00e4t<\/strong><\/a>: W\u00e4hrend variable Ergebnisse und ein Erkl\u00e4rungsmangel Anlass zur Sorge geben, erscheint das Problem der Standardisierung und Homogenisierung ebenso besorgniserregend. Als Modelle, die anhand von Internetdaten trainiert werden, bevorzugen generative KI-Systeme bestimmte Ansichten und kulturelle Werte gegen\u00fcber anderen, sie schr\u00e4nken den Zugang der Lernenden zu verschiedenen Perspektiven und ihre F\u00e4higkeit zu kritischem Denken ein<sup>3<\/sup>. \u201eJeder Datensatz - selbst wenn er Milliarden von Bild-Text-Paaren aus dem Internet enth\u00e4lt - beinhaltet eine bestimmte Weltsicht und teilt die Welt in Kategorien ein, die h\u00f6chst problematisch sein k\u00f6nnen<sup>4<\/sup>.\" Wikipedia zum Beispiel, ein beliebtes Beispiel f\u00fcr Trainingsdaten, hat \u00fcberwiegend m\u00e4nnliche Autoren<sup>5<\/sup>.<\/p>\n<p class=\"indent\">Da Basismodelle<sup>6<\/sup> so konzipiert sind, dass sie an alle Arten von Aufgaben angepasst werden k\u00f6nnen, ist diese Tendenz zur Homogenisierung st\u00e4rker ausgepr\u00e4gt als bei anderen Modellen des maschinellen Lernens. Die Art und Weise, wie sie angepasst werden, scheint jedoch eine gro\u00dfe Rolle dabei zu spielen, ob die Homogenisierung verst\u00e4rkt wird, abgeschw\u00e4cht wird oder gleich bleibt<sup>7<\/sup>.<\/p>\n<p class=\"indent\">\u201eChatGPT ist \u201emehrsprachig, aber monokulturell\", weil es \u201eauf Basis englischsprachiger Texte mit den darin eingebetteten kulturellen Vorurteilen und Werten trainiert wird und dann mit den Werten einer recht kleinen Gruppe von in den USA ans\u00e4ssigen Unternehmern abgeglichen wurde\".<\/p>\nWenn eine Lehrerkraft generative KI zur Benotung der schriftlichen Arbeiten ihrer Sch\u00fclerinnen und Sch\u00fcler einsetzt, geht es dann nicht vor allem darum, wie gut die Lernenden diese Weltanschauung, diese Art zu denken, zu wissen und Sprache zu verwenden verinnerlicht haben<sup>1<\/sup>?\n<p class=\"no-indent\"><strong><a href=\"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/issues-with-data-bias-and-fairness\/\" target=\"_blank\" rel=\"noopener\">Vorurteile, Stereotype und Inklusivit\u00e4t<\/a>: <\/strong>In generativen KI-Systemen k\u00f6nnen viele Vorurteile und Stereotypen vorkommen. Zum Beispiel wurde ChatGPT mit \u201eDie Anwaltsgehilfin hat den Anwalt geheiratet, weil sie schwanger war\" gefragt, auf wen sich das Pronomen \u201esie\" bezieht. ChatGPT antwortete, dass \u201esie\" sich auf die Anwaltsgehilfin beziehe, wobei es sich jedoch auch um die Anw\u00e4ltin handeln k\u00f6nne.<\/p>\n\n\n[caption id=\"attachment_185\" align=\"aligncenter\" width=\"713\"]<img class=\"wp-image-185 size-full\" src=\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/13\/2023\/11\/ch6-page-x-Paralegal.png\" alt=\"\" width=\"713\" height=\"582\"> Quelle: <a href=\"https:\/\/twitter.com\/Eodyne1\/status\/1650632232212520960\/photo\/1\">https:\/\/twitter.com\/Eodyne1\/status\/1650632232212520960\/photo\/1<\/a>[\/caption]\n<p class=\"no-indent\">Selbst wenn ChatGPT sich weigert, einen offen sexistischen oder rassistischen Inhalt zu schreiben, ist es nachweislich eher bereit, Python-Code mit solchen Inhalten zu schreiben1. Es hat sich auch gezeigt, dass Codex Programmiercode generiert, der verschiedene Stereotypen widerzuspiegeln scheint<sup>8<\/sup>. Auch bei BERT wurden Ausdr\u00fccke, die sich auf Menschen mit Behinderungen beziehen, mit negativen W\u00f6rtern assoziiert, wie auch solche, die sich auf psychische Erkrankungen beziehen, Waffengewalt, Obdachlosigkeit oder Drogenabh\u00e4ngigkeit<sup>5<\/sup>.<\/p>\n<p class=\"indent\">Text-Bild-Modelle scheinen auch voreingenommene Inhalte zu erzeugen, einschlie\u00dflich solcher, die aus Trainingsdaten stammen, die mit \u201efalscher Repr\u00e4sentation (z. B. sch\u00e4dliche Stereotypisierung von Minderheiten), Unterrepr\u00e4sentation (z. B. Ausschluss eines Geschlechts in bestimmten Berufen) und \u00dcberrepr\u00e4sentation (z. B. Standardisierung von anglozentrischen Perspektiven) in Zusammenhang stehen)<sup>6,4<\/sup>\u201d.<\/p>\n<p class=\"indent\">Es gibt auch subtilere Formen der Negativit\u00e4t wie die Entmenschlichung von Personengruppen und die Art und Weise, wie bestimmte Gruppen dargestellt werden. Large Language Models, die diese Probleme fortbestehen lassen, wirken sich nicht nur auf den betroffenen Nutzer aus, sondern werden, wenn solches Material automatisch auf Messageboards und in Kommentaren verbreitet wird, auch zu Trainingsdaten, die die \u201eneue Realit\u00e4t\" f\u00fcr eine neue Generation von LLMs widerspiegeln<sup>5<\/sup>. Leider liegt es dann in der Verantwortung der Lehrkraft, den generierten Output zu \u00fcberpr\u00fcfen und sofort einzugreifen, wenn ein Kind auf solchen Output st\u00f6\u00dft, unabh\u00e4ngig davon, ob es dadurch direkt verunglimpft wird oder ob es diese Voreingenommenheit erlernen und verbreiten k\u00f6nnte.<\/p>\n<p class=\"no-indent\"><strong>Inhaltliche Regulierung:<\/strong> \u00c4hnlich wie bei Suchmaschinen und Empfehlungssystemen besteht die Aufgabe von generativer KI auch darin, die Inhalte zu kuratieren, die ihre Nutzer sehen. Die Inhalte, die von generativer KI generiert werden k\u00f6nnen, basieren zwangsl\u00e4ufig auf dem, worauf sie Zugriff hat: auf das, was sie praktisch heranziehen kann und was von seinen Sch\u00f6pfern als passend empfunden wird. Ihre Perspektiven definieren dann die \u201eRealit\u00e4t\" der Nutzer der Gen-KI und wirken sich auf ihre <a href=\"https:\/\/pressbooks.pub\/aiforteachers\/chapter\/ai-aied-and-human-agency\/\" target=\"_blank\" rel=\"noopener\">Handlungsf\u00e4higkeit<\/a> aus. Daher sollten Lehrende und Lernende stets einen kritischen Blick auf die Werte, Br\u00e4uche und Kulturen werfen, die das Geflecht der generierten Texte und Bilder bilden<sup>3<\/sup>.<\/p>\n<p class=\"indent\">Man darf nicht vergessen, dass Gen-KI \u201ekeine ma\u00dfgebliche Wissensquelle zu einem bestimmten Thema ist und auch niemals sein kann<sup>3<\/sup>.\u201c Um dem <a href=\"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/behind-the-search-lens-effects-of-search-on-the-individual-on-the-society\/\" target=\"_blank\" rel=\"noopener\">Filtereffekt<\/a> entgegenzuwirken, sollten die Lernenden reichlich Gelegenheit haben, sich mit Gleichaltrigen auszutauschen, mit Menschen aus verschiedenen Berufen und Lebensbereichen zu sprechen, Ideologien zu hinterfragen und Fragen zu stellen, Wahrheiten zu \u00fcberpr\u00fcfen, zu experimentieren und aus ihren Erfolgen, Fehlern und allem, was dazwischen liegt, zu lernen. Wenn sie bei einer Aktivit\u00e4t der von Gen-KI vorgeschlagenen Ideen f\u00fcr ein Projekt, einen Programmiercode oder ein Experiment folgen, sollten sie bei einer anderen Aktivit\u00e4t ihre eigenen Ideen und Probleme ausprobieren und auf verschiedene Lernressourcen zur\u00fcckgreifen.<\/p>\n<p class=\"no-indent\"><strong>Umwelt und Nachhaltigkeit:<\/strong> Alle Modelle f\u00fcr maschinelles Lernen ben\u00f6tigen viel Rechenleistung und Rechenzentren, die mit entsprechenden \u00f6kologischen Kosten verbunden sind, einschlie\u00dflich der f\u00fcr die K\u00fchlung der Server erforderlichen Wassermenge9. Die von gro\u00dfen Deep-Learning-Modellen ben\u00f6tigte Rechenleistung hat sich in den letzten 6 Jahren um das 300.000-fache erh\u00f6ht5. Das Training von Large Language Models kann erheblich Energie verbrauchen, die Modelle m\u00fcssen dar\u00fcber hinaus irgendwo gehostet werden und der Zugriff aus der Ferne muss zudem m\u00f6glich sein<sup>8<\/sup>. Auch die Feinabstimmung der Modelle ist sehr energieaufwendig und es liegen nicht viele Daten \u00fcber die \u00f6kologischen Kosten dieses Prozesses vor<sup>5<\/sup>.<\/p>\n<p class=\"indent\">W\u00e4hrend \u00fcber die Leistung dieser Modelle berichtet wird, wird \u00fcber ihre \u00f6kologischen Kosten nur selten diskutiert. Selbst bei Kosten-Nutzen-Analysen wird nicht ber\u00fccksichtigt, dass eine Gemeinschaft zwar von den Vorteilen profitiert, die Kosten aber von einer ganz anderen Gemeinschaft getragen werden<sup>5<\/sup>. Abgesehen von der Ungerechtigkeit dieser Situation, kann dies keine gute Nachricht f\u00fcr die Realisierbarkeit von Gen-KI-Projekten auf lange Sicht sein.<\/p>\n<p class=\"indent\">Bevor diese Modelle auf breiter Basis in der Bildung eingesetzt werden und bestehende Infrastrukturen und Lernformen zugunsten von solchen, die mit generativer KI generiert wurden, vernachl\u00e4ssigt werden, m\u00fcssten die Nachhaltigkeit und die langfristige Tragf\u00e4higkeit eines solchen Quantensprungs diskutiert werden.<\/p>\n\n\n<hr>\n<p class=\"hanging-indent\"><sup>1 <\/sup>Trust, T., Whalen, J., &amp; Mouza, C.,\u00a0<em><a href=\"https:\/\/citejournal.org\/volume-23\/issue-1-23\/editorial\/editorial-chatgpt-challenges-opportunities-and-implications-for-teacher-education\" target=\"_blank\" rel=\"noopener\">Editorial: ChatGPT: Challenges, opportunities, and implications for teacher education<\/a>,<\/em> Contemporary Issues in Technology and Teacher Education, 23(1), 2023.<\/p>\n<p class=\"hanging-indent\"><sup>2 <\/sup>Tlili, A., Shehata, B., Adarkwah, M.A. et al, <em>What if the devil is my guardian angel: ChatGPT as a case study of using chatbots in education,<\/em> Smart Learning Environments, 10, 15 2023.<\/p>\n<p class=\"hanging-indent\"><sup>3 <\/sup>Holmes, W., Miao, F., <em>Guidance for generative AI in education and research<\/em>, Unesco, Paris, 2023.<\/p>\n<p class=\"hanging-indent\"><sup>4 <\/sup>Vartiainen, H., Tedre, M., <em>Using artificial intelligence in craft education: crafting with text-to-image generative models<\/em>, Digital Creativity, 34:1, 1-21, 2023.<\/p>\n<p class=\"hanging-indent\"><sup>5 <\/sup>Bender, E.M., et al, <em>On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, <\/em>Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT '21). Association for Computing Machinery, New York, 610\u2013623, 2021.<\/p>\n<p class=\"hanging-indent\"><sup>6 <\/sup>Bommasani , R., et al., <em>On the Opportunities and Risks of Foundation Models<\/em>, Center for Research on Foundation Models (CRFM) \u2014 Stanford University, 2021.<\/p>\n<p class=\"hanging-indent\"><sup>7 <\/sup>Bommasani, R., et al, <em>Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization?<\/em>, Advances in Neural Information Processing Systems, 2022.<\/p>\n<p class=\"hanging-indent\"><sup>8 <\/sup>Becker, B., et al, <em>Programming Is Hard - Or at Least It Used to Be: Educational Opportunities and Challenges of AI Code Generation,<\/em> Proceedings of the 54th ACM Technical Symposium on Computer Science Education V. 1 (SIGCSE 2023), Association for Computing Machinery, New York, 500\u2013506, 2023.<\/p>\n<p class=\"hanging-indent\"><sup>9 <\/sup>Cooper, G., <em>Examining Science Education in ChatGPT: An Exploratory Study of Generative Artificial Intelligence,<\/em> Journal of Science Education and Technology, 32, 444\u2013452, 2023.<\/p>","rendered":"<p class=\"no-indent\">Die generative KI hat als Deep-Learning-Tool alle ethischen und sozialen Auswirkungen von maschinellen Lernmodellen \u00fcbernommen:<\/p>\n<p class=\"no-indent\"><a href=\"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/behind-the-search-lens-effects-of-search-on-the-individual\/\" target=\"_blank\" rel=\"noopener\"><strong>Bedrohung der Privatsph\u00e4re<\/strong><\/a>: Die Anbieter von generativer KI sammeln, wie viele Anbieter anderer KI-Technologien, alle m\u00f6glichen Nutzerdaten, die dann an Dritte weitergegeben werden. OpenAI r\u00e4umt in seiner Datenschutzerkl\u00e4rung ein, dass es Nutzerdaten auf Wunsch l\u00f6scht, nicht aber Eingaben von Nutzern, die ihrerseits sensible Informationen enthalten k\u00f6nnen, die auf den Nutzer zur\u00fcckgef\u00fchrt werden k\u00f6nnen<sup>1<\/sup>.<\/p>\n<p class=\"indent\">Es besteht auch das Risiko, dass Menschen im Laufe eines Chats mit einem scheinbaren Menschen mehr sensible Informationen preisgeben, als sie es sonst tun w\u00fcrden<sup>2<\/sup>. Dies gilt insbesondere f\u00fcr Sch\u00fclerinnen und Sch\u00fcler, die generative KI-Systeme direkt nutzen. Da es dieser Technologie gelingt, menschliche Sprache zu imitieren, insbesondere im Verst\u00e4ndnis der Kinder, \u201ekann (sie) unbekannte psychologische Auswirkungen auf die Lernenden haben, was Bedenken hinsichtlich ihrer kognitiven Entwicklung und ihres emotionalen Wohlbefindens sowie hinsichtlich des Manipulationspotenzials aufkommen l\u00e4sst<sup>3<\/sup>.&#8221;<\/p>\n<p class=\"no-indent\"><strong>Transparenz und Erkl\u00e4rbarkeit:<\/strong> Selbst die Anbieter vermeintlich offener generativer KI-Modelle halten sich mitunter sehr bedeckt, was das gesamte Material und die Methoden angeht, mit denen sie trainiert und abgestimmt wurden. Da es sich um sehr tiefgehende Modelle mit Millionen von Parametern handelt, kann zudem nicht erkl\u00e4rt werden, wie diese Parameter gewichtet werden und wie sie zusammenspielen, um ein bestimmtes Ergebnis zu erzielen<sup>3<\/sup>.<\/p>\n<p class=\"indent\">Sowohl\u00a0die Form als auch der Inhalt des Outputs k\u00f6nnen stark variieren, selbst wenn sich die Eingabe und die Benutzerhistorie kaum unterscheiden<sup>2<\/sup>. Wenn zwei Lernende dieselbe Aufgabe erhalten, k\u00f6nnten sie nicht nur v\u00f6llig unterschiedliche Antworten geben, sondern es g\u00e4be auch keine M\u00f6glichkeit, diese Unterschiede zu erkl\u00e4ren. Das Modell und die Tatsache, ob die Version bezahlt ist oder nicht, haben ebenfalls Auswirkungen auf das Output. Dies wirkt sich sowohl auf das, was die Sch\u00fclerinnen und Sch\u00fcler lernen, als auch auf die Fairness des Benotungsprozesses ihrer Arbeit aus. Ein Verbot der Nutzung ist jedoch ebenfalls problematisch, da es die Kluft zwischen den Lernenden, die zu Hause Zugang dazu haben, und denjenigen, die dies nicht haben, vergr\u00f6\u00dfern w\u00fcrde<sup>1<\/sup>.<\/p>\n<p class=\"no-indent\"><a href=\"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/homogenisation-invisibility-and-beyond-towards-an-ethical-ai\/\" target=\"_blank\" rel=\"noopener\"><strong>Homogenit\u00e4t<\/strong><\/a>: W\u00e4hrend variable Ergebnisse und ein Erkl\u00e4rungsmangel Anlass zur Sorge geben, erscheint das Problem der Standardisierung und Homogenisierung ebenso besorgniserregend. Als Modelle, die anhand von Internetdaten trainiert werden, bevorzugen generative KI-Systeme bestimmte Ansichten und kulturelle Werte gegen\u00fcber anderen, sie schr\u00e4nken den Zugang der Lernenden zu verschiedenen Perspektiven und ihre F\u00e4higkeit zu kritischem Denken ein<sup>3<\/sup>. \u201eJeder Datensatz &#8211; selbst wenn er Milliarden von Bild-Text-Paaren aus dem Internet enth\u00e4lt &#8211; beinhaltet eine bestimmte Weltsicht und teilt die Welt in Kategorien ein, die h\u00f6chst problematisch sein k\u00f6nnen<sup>4<\/sup>.&#8221; Wikipedia zum Beispiel, ein beliebtes Beispiel f\u00fcr Trainingsdaten, hat \u00fcberwiegend m\u00e4nnliche Autoren<sup>5<\/sup>.<\/p>\n<p class=\"indent\">Da Basismodelle<sup>6<\/sup> so konzipiert sind, dass sie an alle Arten von Aufgaben angepasst werden k\u00f6nnen, ist diese Tendenz zur Homogenisierung st\u00e4rker ausgepr\u00e4gt als bei anderen Modellen des maschinellen Lernens. Die Art und Weise, wie sie angepasst werden, scheint jedoch eine gro\u00dfe Rolle dabei zu spielen, ob die Homogenisierung verst\u00e4rkt wird, abgeschw\u00e4cht wird oder gleich bleibt<sup>7<\/sup>.<\/p>\n<p class=\"indent\">\u201eChatGPT ist \u201emehrsprachig, aber monokulturell&#8221;, weil es \u201eauf Basis englischsprachiger Texte mit den darin eingebetteten kulturellen Vorurteilen und Werten trainiert wird und dann mit den Werten einer recht kleinen Gruppe von in den USA ans\u00e4ssigen Unternehmern abgeglichen wurde&#8221;.<\/p>\n<p>Wenn eine Lehrerkraft generative KI zur Benotung der schriftlichen Arbeiten ihrer Sch\u00fclerinnen und Sch\u00fcler einsetzt, geht es dann nicht vor allem darum, wie gut die Lernenden diese Weltanschauung, diese Art zu denken, zu wissen und Sprache zu verwenden verinnerlicht haben<sup>1<\/sup>?<\/p>\n<p class=\"no-indent\"><strong><a href=\"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/issues-with-data-bias-and-fairness\/\" target=\"_blank\" rel=\"noopener\">Vorurteile, Stereotype und Inklusivit\u00e4t<\/a>: <\/strong>In generativen KI-Systemen k\u00f6nnen viele Vorurteile und Stereotypen vorkommen. Zum Beispiel wurde ChatGPT mit \u201eDie Anwaltsgehilfin hat den Anwalt geheiratet, weil sie schwanger war&#8221; gefragt, auf wen sich das Pronomen \u201esie&#8221; bezieht. ChatGPT antwortete, dass \u201esie&#8221; sich auf die Anwaltsgehilfin beziehe, wobei es sich jedoch auch um die Anw\u00e4ltin handeln k\u00f6nne.<\/p>\n<figure id=\"attachment_185\" aria-describedby=\"caption-attachment-185\" style=\"width: 713px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-185 size-full\" src=\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/13\/2023\/11\/ch6-page-x-Paralegal.png\" alt=\"\" width=\"713\" height=\"582\" srcset=\"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-content\/uploads\/sites\/13\/2023\/11\/ch6-page-x-Paralegal.png 713w, https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-content\/uploads\/sites\/13\/2023\/11\/ch6-page-x-Paralegal-300x245.png 300w, https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-content\/uploads\/sites\/13\/2023\/11\/ch6-page-x-Paralegal-65x53.png 65w, https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-content\/uploads\/sites\/13\/2023\/11\/ch6-page-x-Paralegal-225x184.png 225w, https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-content\/uploads\/sites\/13\/2023\/11\/ch6-page-x-Paralegal-350x286.png 350w\" sizes=\"(max-width: 713px) 100vw, 713px\" \/><figcaption id=\"caption-attachment-185\" class=\"wp-caption-text\">Quelle: <a href=\"https:\/\/twitter.com\/Eodyne1\/status\/1650632232212520960\/photo\/1\">https:\/\/twitter.com\/Eodyne1\/status\/1650632232212520960\/photo\/1<\/a><\/figcaption><\/figure>\n<p class=\"no-indent\">Selbst wenn ChatGPT sich weigert, einen offen sexistischen oder rassistischen Inhalt zu schreiben, ist es nachweislich eher bereit, Python-Code mit solchen Inhalten zu schreiben1. Es hat sich auch gezeigt, dass Codex Programmiercode generiert, der verschiedene Stereotypen widerzuspiegeln scheint<sup>8<\/sup>. Auch bei BERT wurden Ausdr\u00fccke, die sich auf Menschen mit Behinderungen beziehen, mit negativen W\u00f6rtern assoziiert, wie auch solche, die sich auf psychische Erkrankungen beziehen, Waffengewalt, Obdachlosigkeit oder Drogenabh\u00e4ngigkeit<sup>5<\/sup>.<\/p>\n<p class=\"indent\">Text-Bild-Modelle scheinen auch voreingenommene Inhalte zu erzeugen, einschlie\u00dflich solcher, die aus Trainingsdaten stammen, die mit \u201efalscher Repr\u00e4sentation (z. B. sch\u00e4dliche Stereotypisierung von Minderheiten), Unterrepr\u00e4sentation (z. B. Ausschluss eines Geschlechts in bestimmten Berufen) und \u00dcberrepr\u00e4sentation (z. B. Standardisierung von anglozentrischen Perspektiven) in Zusammenhang stehen)<sup>6,4<\/sup>\u201d.<\/p>\n<p class=\"indent\">Es gibt auch subtilere Formen der Negativit\u00e4t wie die Entmenschlichung von Personengruppen und die Art und Weise, wie bestimmte Gruppen dargestellt werden. Large Language Models, die diese Probleme fortbestehen lassen, wirken sich nicht nur auf den betroffenen Nutzer aus, sondern werden, wenn solches Material automatisch auf Messageboards und in Kommentaren verbreitet wird, auch zu Trainingsdaten, die die \u201eneue Realit\u00e4t&#8221; f\u00fcr eine neue Generation von LLMs widerspiegeln<sup>5<\/sup>. Leider liegt es dann in der Verantwortung der Lehrkraft, den generierten Output zu \u00fcberpr\u00fcfen und sofort einzugreifen, wenn ein Kind auf solchen Output st\u00f6\u00dft, unabh\u00e4ngig davon, ob es dadurch direkt verunglimpft wird oder ob es diese Voreingenommenheit erlernen und verbreiten k\u00f6nnte.<\/p>\n<p class=\"no-indent\"><strong>Inhaltliche Regulierung:<\/strong> \u00c4hnlich wie bei Suchmaschinen und Empfehlungssystemen besteht die Aufgabe von generativer KI auch darin, die Inhalte zu kuratieren, die ihre Nutzer sehen. Die Inhalte, die von generativer KI generiert werden k\u00f6nnen, basieren zwangsl\u00e4ufig auf dem, worauf sie Zugriff hat: auf das, was sie praktisch heranziehen kann und was von seinen Sch\u00f6pfern als passend empfunden wird. Ihre Perspektiven definieren dann die \u201eRealit\u00e4t&#8221; der Nutzer der Gen-KI und wirken sich auf ihre <a href=\"https:\/\/pressbooks.pub\/aiforteachers\/chapter\/ai-aied-and-human-agency\/\" target=\"_blank\" rel=\"noopener\">Handlungsf\u00e4higkeit<\/a> aus. Daher sollten Lehrende und Lernende stets einen kritischen Blick auf die Werte, Br\u00e4uche und Kulturen werfen, die das Geflecht der generierten Texte und Bilder bilden<sup>3<\/sup>.<\/p>\n<p class=\"indent\">Man darf nicht vergessen, dass Gen-KI \u201ekeine ma\u00dfgebliche Wissensquelle zu einem bestimmten Thema ist und auch niemals sein kann<sup>3<\/sup>.\u201c Um dem <a href=\"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/behind-the-search-lens-effects-of-search-on-the-individual-on-the-society\/\" target=\"_blank\" rel=\"noopener\">Filtereffekt<\/a> entgegenzuwirken, sollten die Lernenden reichlich Gelegenheit haben, sich mit Gleichaltrigen auszutauschen, mit Menschen aus verschiedenen Berufen und Lebensbereichen zu sprechen, Ideologien zu hinterfragen und Fragen zu stellen, Wahrheiten zu \u00fcberpr\u00fcfen, zu experimentieren und aus ihren Erfolgen, Fehlern und allem, was dazwischen liegt, zu lernen. Wenn sie bei einer Aktivit\u00e4t der von Gen-KI vorgeschlagenen Ideen f\u00fcr ein Projekt, einen Programmiercode oder ein Experiment folgen, sollten sie bei einer anderen Aktivit\u00e4t ihre eigenen Ideen und Probleme ausprobieren und auf verschiedene Lernressourcen zur\u00fcckgreifen.<\/p>\n<p class=\"no-indent\"><strong>Umwelt und Nachhaltigkeit:<\/strong> Alle Modelle f\u00fcr maschinelles Lernen ben\u00f6tigen viel Rechenleistung und Rechenzentren, die mit entsprechenden \u00f6kologischen Kosten verbunden sind, einschlie\u00dflich der f\u00fcr die K\u00fchlung der Server erforderlichen Wassermenge9. Die von gro\u00dfen Deep-Learning-Modellen ben\u00f6tigte Rechenleistung hat sich in den letzten 6 Jahren um das 300.000-fache erh\u00f6ht5. Das Training von Large Language Models kann erheblich Energie verbrauchen, die Modelle m\u00fcssen dar\u00fcber hinaus irgendwo gehostet werden und der Zugriff aus der Ferne muss zudem m\u00f6glich sein<sup>8<\/sup>. Auch die Feinabstimmung der Modelle ist sehr energieaufwendig und es liegen nicht viele Daten \u00fcber die \u00f6kologischen Kosten dieses Prozesses vor<sup>5<\/sup>.<\/p>\n<p class=\"indent\">W\u00e4hrend \u00fcber die Leistung dieser Modelle berichtet wird, wird \u00fcber ihre \u00f6kologischen Kosten nur selten diskutiert. Selbst bei Kosten-Nutzen-Analysen wird nicht ber\u00fccksichtigt, dass eine Gemeinschaft zwar von den Vorteilen profitiert, die Kosten aber von einer ganz anderen Gemeinschaft getragen werden<sup>5<\/sup>. Abgesehen von der Ungerechtigkeit dieser Situation, kann dies keine gute Nachricht f\u00fcr die Realisierbarkeit von Gen-KI-Projekten auf lange Sicht sein.<\/p>\n<p class=\"indent\">Bevor diese Modelle auf breiter Basis in der Bildung eingesetzt werden und bestehende Infrastrukturen und Lernformen zugunsten von solchen, die mit generativer KI generiert wurden, vernachl\u00e4ssigt werden, m\u00fcssten die Nachhaltigkeit und die langfristige Tragf\u00e4higkeit eines solchen Quantensprungs diskutiert werden.<\/p>\n<hr \/>\n<p class=\"hanging-indent\"><sup>1 <\/sup>Trust, T., Whalen, J., &amp; Mouza, C.,\u00a0<em><a href=\"https:\/\/citejournal.org\/volume-23\/issue-1-23\/editorial\/editorial-chatgpt-challenges-opportunities-and-implications-for-teacher-education\" target=\"_blank\" rel=\"noopener\">Editorial: ChatGPT: Challenges, opportunities, and implications for teacher education<\/a>,<\/em> Contemporary Issues in Technology and Teacher Education, 23(1), 2023.<\/p>\n<p class=\"hanging-indent\"><sup>2 <\/sup>Tlili, A., Shehata, B., Adarkwah, M.A. et al, <em>What if the devil is my guardian angel: ChatGPT as a case study of using chatbots in education,<\/em> Smart Learning Environments, 10, 15 2023.<\/p>\n<p class=\"hanging-indent\"><sup>3 <\/sup>Holmes, W., Miao, F., <em>Guidance for generative AI in education and research<\/em>, Unesco, Paris, 2023.<\/p>\n<p class=\"hanging-indent\"><sup>4 <\/sup>Vartiainen, H., Tedre, M., <em>Using artificial intelligence in craft education: crafting with text-to-image generative models<\/em>, Digital Creativity, 34:1, 1-21, 2023.<\/p>\n<p class=\"hanging-indent\"><sup>5 <\/sup>Bender, E.M., et al, <em>On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, <\/em>Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT &#8217;21). Association for Computing Machinery, New York, 610\u2013623, 2021.<\/p>\n<p class=\"hanging-indent\"><sup>6 <\/sup>Bommasani , R., et al., <em>On the Opportunities and Risks of Foundation Models<\/em>, Center for Research on Foundation Models (CRFM) \u2014 Stanford University, 2021.<\/p>\n<p class=\"hanging-indent\"><sup>7 <\/sup>Bommasani, R., et al, <em>Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization?<\/em>, Advances in Neural Information Processing Systems, 2022.<\/p>\n<p class=\"hanging-indent\"><sup>8 <\/sup>Becker, B., et al, <em>Programming Is Hard &#8211; Or at Least It Used to Be: Educational Opportunities and Challenges of AI Code Generation,<\/em> Proceedings of the 54th ACM Technical Symposium on Computer Science Education V. 1 (SIGCSE 2023), Association for Computing Machinery, New York, 500\u2013506, 2023.<\/p>\n<p class=\"hanging-indent\"><sup>9 <\/sup>Cooper, G., <em>Examining Science Education in ChatGPT: An Exploratory Study of Generative Artificial Intelligence,<\/em> Journal of Science Education and Technology, 32, 444\u2013452, 2023.<\/p>\n","protected":false},"author":1,"menu_order":7,"template":"","meta":{"pb_show_title":"","pb_short_title":"","pb_subtitle":"","pb_authors":[],"pb_section_license":""},"chapter-type":[],"contributor":[],"license":[],"part":162,"_links":{"self":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapters\/186"}],"collection":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapters"}],"about":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/wp\/v2\/types\/chapter"}],"author":[{"embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":1,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapters\/186\/revisions"}],"predecessor-version":[{"id":187,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapters\/186\/revisions\/187"}],"part":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/parts\/162"}],"metadata":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapters\/186\/metadata\/"}],"wp:attachment":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/wp\/v2\/media?parent=186"}],"wp:term":[{"taxonomy":"chapter-type","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapter-type?post=186"},{"taxonomy":"contributor","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/wp\/v2\/contributor?post=186"},{"taxonomy":"license","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/wp\/v2\/license?post=186"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}