{"id":112,"date":"2023-11-30T17:18:25","date_gmt":"2023-11-30T17:18:25","guid":{"rendered":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/chapter\/issues-with-data-bias-and-fairness\/"},"modified":"2024-01-31T11:38:38","modified_gmt":"2024-01-31T11:38:38","slug":"issues-with-data-bias-and-fairness","status":"publish","type":"chapter","link":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/chapter\/issues-with-data-bias-and-fairness\/","title":{"raw":"Problemi con i dati: pregiudizi e imparzialit\u00e0","rendered":"Problemi con i dati: pregiudizi e imparzialit\u00e0"},"content":{"raw":"

Un bias \u00e8 un pregiudizio nei confronti di un\u2019identit\u00e0 o una dimostrazione di avversione verso di essa, in positivo o in negativo, intenzionalmente o meno1<\/sup>. L\u2019imparzialit\u00e0 \u00e8 il contrario del pregiudizio e qualcosa in pi\u00f9: \u00e8 trattare chiunque correttamente indipendentemente dalla sua identit\u00e0 e dalla sua situazione. Per avere la certezza che ognuno sia trattato con equanimit\u00e0 e viga un accesso paritario alle opportunit\u00e0 devono essere impostati e rispettati dei processi chiari1<\/sup>.<\/p>\n

Sistemi basati sull\u2019agire umano spesso manifestano una notevole dose di pregiudizio e discriminazione dal momento che ciascun individuo ha un proprio esclusivo insieme di opinioni e di pregiudizi. Anch\u2019essi sono delle black box le cui decisioni, come il modo in cui valutano i fogli di risposta, possono rivelarsi difficili da comprendere. Abbiamo per\u00f2 sviluppato delle strategie e creato delle strutture per prestare attenzione a queste pratiche e metterle in discussione.<\/p>\n

Talvolta si pubblicizzano i sistemi automatizzati come la panacea alla soggettivit\u00e0 umana: gli algoritmi sono basati su numeri, come possono avere dei pregiudizi? Degli algoritmi basati, tra le altre cose, su dati poco affidabili, possono non solo raccogliere e apprendere dei pregiudizi esistenti concernenti genere, razza, cultura o disabilit\u00e0, ma addirittura amplificarli1,2,3<\/sup>. A peggiorare la situazione, anche se essi non sono bloccati in sistemi chiusi e proprietari, non possono essere interrogati per spiegare le proprie azioni per via di una intrinseca mancanza di spiegabilit\u00e0 propria di alcuni sistemi come quelli basati sulle reti neurali profonde<\/a>.<\/p>\n\n

Esempi di pregiudizi interessanti i sistemi che applicano l\u2019IA all\u2019istruzione<\/h3>\n
    \n \t
  1. Quando i programmatori codificano dei sistemi basati su regole, possono inserire pregiudizi e stereotipi personali all\u2019interno del sistema1<\/sup>.<\/li>\n \t
  2. Un algoritmo basato su dati pu\u00f2 concludere di non proporre un percorso di carriera in ambito STEM per ragazze per via del fatto che le studentesse appaiono in numero minore negli insiemi di dati relativi ai laureati in materie STEM. Il fatto che vi siano meno donne matematiche \u00e8 dovuto a stereotipi e norme sociali esistenti o \u00e8 dovuto ad alcune propriet\u00e0 intrinseche all\u2019appartenenza al sesso femminile? Gli algoritmi non hanno la capacit\u00e0 di distinguere tra le due situazioni. Dal momento che i dati esistenti riflettono degli stereotipi esistenti, gli algoritmi addestrati su di essi replicano delle disuguglianze e delle dinamiche sociali esistenti4<\/sup>. Inoltre, se si adottassero tali raccomandazioni, pi\u00f9 ragazze sceglierebbero di studiare materie non-STEM e i nuovi dati lo rifletterebbero, si verificherebbe un caso di una profezia che si autoavvera3<\/sup>.<\/li>\n \t
  3. Gli studenti appartenenti a una cultura sottorappresentata nelle serie di dati di addestramento potrebbero avere schemi comportamentali e modi differenti per mostrare la propria motivazione. Come calcolerebbe i parametri inerenti a loro un\u2019analisi dell\u2019apprendimento? Se i dati non sono rappresentativi di tutte le categorie di studenti, i sistemi addestrati su questi dati potrebbero penalizzare la minoranza le cui tendenze comportamentali non sono ci\u00f2 che il programma era stato ottimizzato a premiare. Se non siamo attenti, gli algoritmi di apprendimento generalizzeranno basandosi sulla cultura maggioritaria, portando a elevate percentuali di errore per quanto concerne i gruppi minoritari4,5<\/sup>. Decisioni di tal genere potrebbero scoraggiare quanti potrebbero apportare diversit\u00e0, creativit\u00e0 e doti uniche e quanti hanno esperienze, interessi e motivazioni diversi2<\/sup>.<\/li>\n \t
  4. Uno studente di origine britannica giudicato da un software di correzione temi statunitense sarebbe penalizzato per via di quelli che verrebbero considerati errori di ortografia. La lingua locale, variazioni di ortografia e accento, la geografia e la cultura locali saranno sempre un\u2019insidia per sistemi ideati e addestrati per altri Paesi e altri contesti.<\/li>\n \t
  5. Alcuni insegnanti penalizzano delle frasi comuni a una categoria o a una zona, consciamente o per via di associazioni sociali viziate da pregiudizi. Se un software per la valutazione di temi si forma su temi valutati da questi insegnanti applicher\u00e0 i medesimi pregiudizi.<\/li>\n \t
  6. I sistemi di apprendimento automatico necessitano di un target variabile e di valori indicativi per essere ottimizzati<\/a>. Supponiamo che dei risultati di test della scuola secondaria siano stati utilizzati come valori indicativi dei meriti accademici. I sistemi ora saranno addestrati esclusivamente per migliorare schemi compatibili con studenti che ottengono buoni risultati in situazioni di stress e nei ristretti contesti delle aule d\u2019esame. Saranno i risultati dei test, e non le conoscenze complessive, che questi sistemi cercheranno di ottimizzare consigliando risorse ed esercizi agli studenti. Anche se ci\u00f2 potrebbe valere in molte aule al momento, l\u2019approccio tradizionale rende almeno possibile formulare molteplici obiettivi4<\/sup>.<\/li>\n \t
  7. I sistemi di apprendimento adattivo suggeriscono agli studenti delle risorse per porre rimedio a lacune nelle competenze o nelle conoscenze. Se queste risorse devono essere acquistate o necessitano di una connessione domestica a Internet, ci\u00f2 non \u00e8 corretto nei confronti di quegli studenti che non hanno gli strumenti per mettere in pratica i consigli. \u00abQuando un algoritmo d\u00e0 degli spunti, suggerisce passi successivi o risorse a uno studente, dobbiamo verificare se l\u2019aiuto fornito non \u00e8 imparziale dal momento che un gruppo sistematicamente non ottiene un aiuto utile, cosa che costituisce una discriminazione<\/em>\u00bb2<\/sup>.<\/li>\n \t
  8. Il concetto di personalizzazione dell\u2019istruzione conformemente all\u2019attuale livello di conoscenze e ai gusti del momento di uno studente potrebbe in s\u00e9 costituire un pregiudizio1. Non stiamo forse anche impedendo a questo studente di esplorare nuovi interessi e nuove alternative? Il nostro approccio lo renderebbe monodimensionale, riducendone competenze e conoscenze complessive e l\u2019accesso alle opportunit\u00e0?<\/li>\n<\/ol>\n \n\n[caption id=\"attachment_111\" align=\"aligncenter\" width=\"1024\"]\"\" \u201cData and algorithmic bias in the web\u201d di jennychamux \u00e8 pubblicato con licenza CC BY 2.0. Per visualizzare una copia di questa licenza, visitare: https:\/\/creativecommons.org\/licenses\/by\/2.0\/?ref=openverse<\/a>.[\/caption]\n

    Cosa possono fare gli insegnanti per ridurre gli effetti prodotti dai pregiudizi insiti nell\u2019IA applicata all\u2019istruzione?<\/p>\n

    I ricercatori stanno costantemente proponendo e analizzando modi diversi per ridurre i pregiudizi. Non tutti i metodi per\u00f2 sono semplici da applicare. Oltre a ci\u00f2, l\u2019imparzialit\u00e0 \u00e8 qualcosa di molto pi\u00f9 complesso della mitigazione dei pregiudizi.<\/p>\n

    Per esempio, se i dati esistenti sono pieni di stereotipi, \u00ababbiamo l\u2019obbligo di mettere in discussione i dati e di programmare i nostri sistemi in modo che si conformino direttamente a un concetto di comportamento equo, indipendentemente dal fatto se ci\u00f2 sia supportato o meno dai dati di cui attualmente disponiamo?\u00bb<\/em>4<\/sup>. I metodi sono sempre confliggenti e contrapposti e alcuni interventi messi in atto per arginare un tipo di pregiudizio ne possono generare un altro!<\/p>\n

    Dunque, cosa possono fare gli insegnanti?<\/p>\n\n

      \n \t
    1. Porre domande alle societ\u00e0 venditrici: prima di adottare un sistema AIED, chiedere quali tipi di insiemi di dati sono stati usati per addestrare il sistema, dove, da chi e per chi il sistema \u00e8 stato concepito e ideato e come \u00e8 stato valutato.<\/li>\n \t
    2. Non accettare passivamente i parametri che vengono loro venduti. Una precisione complessiva del, diciamo, \u201c5% di errore\u201d potrebbe celare il fatto che un modello funziona malissimo per un gruppo minoritario4<\/sup>.<\/li>\n \t
    3. Leggere la documentazione: quali misure sono state assunte per rilevare e contrastare i pregiudizi e agire in modo imparziale1<\/sup>?<\/li>\n \t
    4. Ottenere informazioni sugli sviluppatori: sono unicamente degli esperti di informatica oppure anche dei ricercatori nel campo della didattica e degli insegnanti sono stati coinvolti in tutte le fasi del processo? Il sistema si basa unicamente sull\u2019apprendimento automatico o vi sono state integrate teorie e pratiche di apprendimento2<\/sup>?<\/li>\n \t
    5. Preferire modelli di apprendimento trasparenti e aperti che conferiscono la facolt\u00e0 di ignorare delle decisioni2: molti modelli di IA applicata all\u2019istruzione hanno una struttura flessibile, in cui il docente, o anche il discente, pu\u00f2 controllare la decisione della macchina, chiedere spiegazioni in proposito oppure ignorarla totalmente.<\/li>\n \t
    6. Verificare l\u2019accessibilit\u00e0 del prodotto: \u00e8 accessibile da chiunque allo stesso modo, soprattutto per i discenti con disabilit\u00e0 o particolari esigenze didattiche1?<\/li>\n \t
    7. Fare attenzione agli effetti prodotti, tanto a lungo quanto a breve termine, dall\u2019uso di una tecnologia sui propri studenti e in classe ed essere pronti a offrire assistenza quando necessario.<\/li>\n<\/ol>\n

      Nonostante questi problemi legati alla tecnologia basata sull\u2019IA, ci sono ragioni per essere ottimisti riguardo al futuro del suo impiego nel settore dell\u2019istruzione:<\/p>\n\n