{"id":111,"date":"2023-11-30T17:00:01","date_gmt":"2023-11-30T17:00:01","guid":{"rendered":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/issues-with-data-bias-and-fairness\/"},"modified":"2024-01-31T11:43:19","modified_gmt":"2024-01-31T11:43:19","slug":"issues-with-data-bias-and-fairness","status":"publish","type":"chapter","link":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/issues-with-data-bias-and-fairness\/","title":{"raw":"Probleme mit Daten: Vorurteile und Fairness","rendered":"Probleme mit Daten: Vorurteile und Fairness"},"content":{"raw":"

Bei Vorurteilen handelt es sich um Voreingenommenheiten gegen\u00fcber einer Identit\u00e4t. Egal ob gut oder schlecht, absichtlich oder unabsichtlich1. Fairness ist das Gegengewicht zu diesen Vorurteilen - und mehr als das: Sie ist dann gegeben, wenn jeder Mensch unabh\u00e4ngig von seiner Identit\u00e4t und seiner Situation fair behandelt wird. Es m\u00fcssen klare Verfahren festgelegt und befolgt werden, um sicherzustellen, dass jeder gleich behandelt wird und gleichen Zugang zu Chancen hat1<\/sup>.<\/p>\n

Menschenbasierte Systeme sind oft mit Vorurteilen und Diskriminierung behaftet: Jeder Mensch hat seine eigenen, einzigartigen Meinungen und Vorurteile. Auch sie sind Black Boxes<\/em>, deren Entscheidungen und Meinungen schwer zu verstehen sein k\u00f6nnen. Aber wir haben Strategien entwickelt und Strukturen geschaffen, um auf solche Praktiken zu achten und diese zu hinterfragen.<\/p>\n

Automatisierte Systeme werden manchmal als das Allheilmittel gegen menschliche Subjektivit\u00e4t angepriesen: Algorithmen beruhen auf Zahlen, wie k\u00f6nnen sie da Vorurteile haben? Algorithmen, die unter anderem auf fehlerhaften Daten beruhen, k\u00f6nnen nicht nur bestehende Vorurteile in Bezug auf Geschlecht, ethnische Herkunft, Kultur oder Behinderung aufgreifen und erlernen, sondern sie k\u00f6nnen bestehende Vorurteile sogar noch verst\u00e4rken1,2,3<\/sup>. Erschwerend kommt hinzu, dass sie selbst dann, wenn sie nicht hinter Firmenmauern eingesperrt sind, nicht zur Erkl\u00e4rung ihres Handelns herangezogen werden k\u00f6nnen, da einige Systeme wie die auf tiefen neuronalen Netzen (Deep Neural Networks<\/em>) basierenden Systeme von Natur aus nicht erkl\u00e4rbar sind.<\/p>\n\n

Beispiele f\u00fcr Vorurteile in KI-Systemen in der Bildung<\/h3>\n
    \n \t
  1. Wenn Programmierende regelbasierte Systeme programmieren, k\u00f6nnen sie ihre pers\u00f6nlichen Vorurteile und Stereotypen in das System einbringen1<\/sup>.<\/li>\n \t
  2. Ein datengest\u00fctzter Algorithmus kann zu dem Schluss kommen, einem M\u00e4dchen keine MINT-Karriere vorzuschlagen, weil die Zahl der weiblichen Studierenden in den Daten \u00fcber MINT-Absolventen geringer ist. Ist die geringere Anzahl von Mathematikerinnen auf vorhandene Stereotypen und gesellschaftliche Normen zur\u00fcckzuf\u00fchren oder liegt es an einer inh\u00e4renten Eigenschaft des Frauseins? Algorithmen haben keine M\u00f6glichkeit, zwischen diesen beiden Situationen zu unterscheiden. Da die vorhandenen Daten vorhandene Stereotypen widerspiegeln, reproduzieren die Algorithmen, mit denen sie trainiert werden, die bestehenden Ungleichheiten und soziale Dynamik4<\/sup>. Wenn solche Empfehlungen umgesetzt werden, werden sich au\u00dferdem mehr M\u00e4dchen f\u00fcr Nicht-MINT-F\u00e4cher entscheiden, und die neuen Daten werden dies widerspiegeln - ein Fall von selbsterf\u00fcllender Prophezeiung3<\/sup>.<\/li>\n \t
  3. Sch\u00fclerinnen und Sch\u00fcler aus einer Kultur, die im Trainingsdatensatz unterrepr\u00e4sentiert ist, haben m\u00f6glicherweise unterschiedliche Verhaltensmuster und unterschiedliche Arten, Motivation zu zeigen. Wie w\u00fcrde ein Learning Analytics-System Statistiken f\u00fcr sie berechnen? Wenn die Daten nicht f\u00fcr alle Kategorien von Lernenden repr\u00e4sentativ sind, k\u00f6nnten Systeme, die basierend auf diesen Daten trainiert wurden, die Minderheiten benachteiligen, deren Verhaltenstendenzen nicht dem entsprechen, worauf das Programm optimiert wurde. Wenn wir nicht aufpassen, werden Lernalgorithmen auf der Grundlage der Mehrheitskultur verallgemeinern, was zu einer hohen Fehlerquote bei Minderheitengruppen f\u00fchrt4,5<\/sup>. Solche Entscheidungen k\u00f6nnten diejenigen entmutigen, die sowohl Diversit\u00e4t, Kreativit\u00e4t und einzigartige Talente einbringen k\u00f6nnten, als auch diejenigen, die andere Erfahrungen, Interessen und Motivationen haben2<\/sup>.<\/li>\n \t
  4. Ein britischer Lernender, der von einer amerikanischen Aufsatzkorrektur-Software beurteilt wird, w\u00fcrde f\u00fcr seine Rechtschreibfehler bestraft werden. Die lokale Sprache, \u00c4nderungen in der Rechtschreibung und im Akzent, die lokale Geografie und Kultur sind f\u00fcr Systeme, die f\u00fcr ein anderes Land und einen anderen Kontext entwickelt und trainiert wurden, immer problematisch.<\/li>\n \t
  5. Manche Lehrkr\u00e4fte verbieten Ausdr\u00fccke, die in einer bestimmten Klasse oder Region gebr\u00e4uchlich sind, entweder absichtlich oder aufgrund voreingenommener sozialer Assoziationen. Wenn eine Software f\u00fcr die Bewertung von Aufs\u00e4tzen mit Aufs\u00e4tzen trainiert wird, die von diesen Lehrkr\u00e4ften benotet wurden, wird sie die gleichen Voreingenommenheiten aufweisen.<\/li>\n \t
  6. Systeme f\u00fcr maschinelles Lernen ben\u00f6tigen eine Zielvariable und Proxys, f\u00fcr die sie optimiert werden m\u00fcssen. Nehmen wir an, die Pr\u00fcfungsergebnisse in der weiterf\u00fchrenden Schule w\u00fcrden stellvertretend f\u00fcr die akademischen Leistungen herangezogen werden. Die Systeme werden nun ausschlie\u00dflich darauf trainiert, Muster zu verst\u00e4rken, die mit Sch\u00fclerinnen und Sch\u00fclern \u00fcbereinstimmen, die unter dem Stress und in dem eingeschr\u00e4nkten Kontext von Pr\u00fcfungssituationen gute Leistungen erbringen. Diese Systeme werden versuchen, die Testergebnisse und nicht das Gesamtwissen zu verbessern, wenn sie den Lernenden Ressourcen und \u00dcbungsaufgaben empfehlen. Auch wenn dies in vielen heutigen Klassenzimmern der Fall sein mag, erm\u00f6glicht der traditionelle Lehransatz zumindest mehrere Ziele zu verfolgen4<\/sup>.<\/li>\n \t
  7. Adaptive Lernsysteme schlagen den Sch\u00fclerinnen und Sch\u00fclern Ressourcen vor, um einen Mangel an F\u00e4higkeiten oder Wissen zu beheben. Wenn diese Ressourcen gekauft werden m\u00fcssen oder eine Internetverbindung zu Hause erfordern, dann ist das nicht fair gegen\u00fcber den Lernenden, die nicht die Mittel haben, den Empfehlungen zu folgen: \u201eWenn ein Algorithmus einem Sch\u00fcler oder einer Sch\u00fclerin Tipps, n\u00e4chste Ma\u00dfnahmen oder Ressourcen vorschl\u00e4gt, m\u00fcssen wir pr\u00fcfen, ob die Hilfeleistung nicht unfair ist, weil eine Gruppe systematisch keine n\u00fctzliche Hilfe erh\u00e4lt, was diskriminierend ist\"<\/em>2<\/em><\/sup>.<\/em><\/li>\n \t
  8. Das Konzept der Personalisierung des Unterrichts entsprechend dem aktuellen Wissensstand und den Vorlieben des Lernenden k\u00f6nnte an sich schon eine Verzerrung darstellen1<\/sup>. Halten wir diesen Sch\u00fcler oder diese Sch\u00fclerin nicht auch davon ab, neue Interessen zu entwickeln und Alternativen zu erkunden? W\u00fcrde sie das nicht eindimensional machen und ihre allgemeinen F\u00e4higkeiten und ihr Wissen sowie ihren Zugang zu M\u00f6glichkeiten einschr\u00e4nken?<\/li>\n<\/ol>\n[caption id=\"attachment_110\" align=\"aligncenter\" width=\"1024\"]\"\" \u201eData and algorithmic bias in the web'\" von jennychamux ist lizenziert unter CC BY 2.0. Informationen zu dieser Lizenz finden Sie unter: https:\/\/creativecommons.org\/licenses\/by\/2.0\/?ref=openverse<\/a>.[\/caption]\n

    Was kann die Lehrkraft tun, um die Auswirkungen von KI-Voreingenommenheit zu verringern?<\/h3>\n

    Wissenschaftlerinnen und Wissenschaftler schlagen verschiedene M\u00f6glichkeiten zur Verringerung von Vorurteilen vor und analysieren sie. Aber nicht alle Methoden sind einfach umzusetzen. Hinzu kommt, dass es bei Fairness um viel mehr geht, als nur um den Abbau von Vorurteilen.<\/p>\n

    Wenn beispielsweise die vorhandenen Daten voller Stereotypen sind, \u201esind wir dann verpflichtet, die Daten zu hinterfragen und unsere Systeme so zu gestalten, dass sie einer bestimmten Vorstellung von gerechtem Verhalten entsprechen, unabh\u00e4ngig davon, ob diese Vorstellung durch die uns derzeit zur Verf\u00fcgung stehenden Daten gest\u00fctzt wird oder nicht?\u201c<\/em>4<\/sup>. Methoden stehen immer in einem Spannungs- und Widerspruchsverh\u00e4ltnis zueinander, und einige Ma\u00dfnahmen, die eine Art von Verzerrung reduzieren, k\u00f6nnen eine andere Verzerrung verursachen!<\/p>\n

    Was kann eine Lehrkraft also tun?<\/p>\n\n

      \n \t
    1. Fragen Sie die Verk\u00e4ufer: Bevor Sie sich f\u00fcr ein KI-System entscheiden, sollten Sie sich erkundigen, mit welchen Datens\u00e4tzen das System trainiert wurde, wo, von wem und f\u00fcr wen das System konzipiert und entwickelt wurde und wie es bewertet wurde.<\/li>\n \t
    2. Akzeptieren Sie nicht einfach die Statistiken, die Ihnen pr\u00e4sentiert werden. Eine Gesamtgenauigkeit von z. B. \u201e5 % Fehler\" kann dar\u00fcber hinwegt\u00e4uschen, dass ein Modell f\u00fcr eine Minderheitengruppe erschreckend schlecht abschneidet4<\/sup>.<\/li>\n \t
    3. Sehen Sie sich die Dokumentation an: Welche Ma\u00dfnahmen wurden ergriffen, um Vorurteile zu erkennen und zu bek\u00e4mpfen und Fairness zu gew\u00e4hrleisten1<\/sup>?<\/li>\n \t
    4. Informieren Sie sich \u00fcber die Entwicklerfirma: Handelt es sich ausschlie\u00dflich um Informatik-Expertinnen und -Experten oder waren Bildungsforschende und Lehrkr\u00e4fte an allen Schritten des Prozesses beteiligt? Basiert das System ausschlie\u00dflich auf maschinellem Lernen oder wurden Lerntheorie und -praxis integriert2<\/sup>?<\/li>\n \t
    5. Bevorzugen Sie transparente, offene Lernmodelle, die Ihnen die M\u00f6glichkeit geben, Entscheidungen zu \u00fcberstimmen2<\/sup>: Viele KI-Modelle f\u00fcr Bildungskontexte haben ein flexibles Design, bei dem Lehrendenen oder sogar Lernenden die Entscheidungen der Maschine \u00fcberwachen, um Erkl\u00e4rungen bitten oder sie komplett ignorieren k\u00f6nnen.<\/li>\n \t
    6. Achten Sie auf die Zug\u00e4nglichkeit des Produkts: Ist es f\u00fcr jeden in gleicher Weise zug\u00e4nglich, insbesondere auch f\u00fcr Lernende mit Behinderungen oder besonderen p\u00e4dagogischen Bed\u00fcrfnissen1<\/sup>?<\/li>\n \t
    7. Achten Sie auf die kurz- und langfristigen Auswirkungen des Einsatzes einer Technologie auf Ihre Sch\u00fclerinnen und Sch\u00fclern und den Unterricht und seien Sie bereit, Hilfe anzubieten, wenn dies notwendig ist.<\/li>\n<\/ol>\n

      Trotz dieser Probleme KI-basierter Technologien gibt es Grund, optimistisch in die Zukunft der KI in Bildungskontexten zu blicken:<\/p>\n\n