{"id":110,"date":"2023-11-30T17:30:39","date_gmt":"2023-11-30T17:30:39","guid":{"rendered":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/chapter\/issues-with-data-bias-and-fairness\/"},"modified":"2024-01-31T11:47:48","modified_gmt":"2024-01-31T11:47:48","slug":"issues-with-data-bias-and-fairness","status":"publish","type":"chapter","link":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/chapter\/issues-with-data-bias-and-fairness\/","title":{"raw":"Te\u017eave s podatki: pristranskost in po\u0161tenost","rendered":"Te\u017eave s podatki: pristranskost in po\u0161tenost"},"content":{"raw":"

Pristranskost pomeni imeti predsodke v odnosu do dolo\u010dene identitete, v pozitivnem ali negativnem smislu, namerno ali nenamerno1<\/sup>. Po\u0161tenost je nasprotje pristranskosti in se nana\u0161a na pravi\u010dno obravnavo vseh ljudi, ne glede na njihovo identiteto ali polo\u017eaj. Zato je treba vzpostaviti in slediti jasno dolo\u010denim postopkom, \u010de \u017eelimo zagotoviti, da bodo vsi obravnavani enako in da bodo imeli enake mo\u017enosti1<\/sup>.<\/p>\n

Sistemi, ki jih je zasnoval \u010dlovek, pogosto vsebujejo veliko mero pristranskosti in diskriminacije. Vsi ljudje imamo svoja mnenja in tudi predsodke. Lahko bi rekli, da smo tudi ljudje (in s tem seveda u\u010ditelji) \"\u010drne skrinjice\", katerih odlo\u010ditve je v\u010dasih te\u017eko razumeti<\/span> (na primer, kako je nekdo to\u010dkoval re\u0161itve \u0161olskega testa). Toda razvili <\/span>smo t<\/span>udi strategije in vzpostavili strukture, ki nam pomagajo, da smo pozorni na tak\u0161ne prakse in o njih kriti\u010dno razprav<\/span>ljamo.<\/span><\/p>\n

Avtomatizirane sisteme v\u010dasih dojemamo kot \u010dude\u017eno zdravilo za \u010dlove\u0161ko subjektivnost: algoritmi temeljijo na \u0161tevilkah, le kako bi lahko bili pristranski? Toda algoritmi, ki temeljijo na napa\u010dnih podatkih, ne le zaznajo in se nau\u010dijo obstoje\u010dih predsodkov v zvezi s spolom, raso, kulturo ali invalidnostjo, temve\u010d jih lahko dejansko okrepijo1,2,3<\/sup>. In tudi \u010de govorimo o sistemih, za\u0161\u010ditenih z lastni\u0161tvom, od njih ne moremo pri\u010dakovati, da bodo odgovarjali za svoja dejanja (odlo\u010ditve), zaradi inherentnega pomanjkanja razlo\u017eljivosti v nekaterih sistemih (npr. sistemih, ki temeljijo na globokih nevronskih mre\u017eah<\/a>).<\/p>\n\n

Primeri pristranskosti v sistemih AIED<\/h3>\n
    \n \t
  1. Ko programerji kodirajo sisteme, ki temeljijo na pravilih, lahko v sistem vnesejo svoje osebne predsodke in stereotipe1<\/sup>.<\/li>\n \t
  2. Na podatkih temelje\u010d algoritem se lahko odlo\u010di, da dekletom ne predlaga poklicne poti na podro\u010dju STEM, ker sklop podatkov o diplomantih STEM vsebuje manj deklet kot fantov. Ali je manj\u0161e \u0161tevilo \u017eensk v matematiki posledica obstoje\u010dih stereotipov in dru\u017ebenih norm, ali pa je to posledica neke prirojene lastnosti \u017eenskega spola? Algoritmi ne razlikujejo med temi zna\u010dilnostmi. Ker obstoje\u010di podatki odra\u017eajo obstoje\u010de stereotipe, algoritmi, ki se na njih u\u010dijo, posnemajo obstoje\u010de neenakosti in dru\u017ebeno dinamiko4<\/sup>. In \u010de bodo priporo\u010dila tak\u0161nega sistema <\/span>upo\u0161tevana, se bo \u0161e ve\u010d deklet odlo\u010dilo za predmete zunaj podro\u010dja STEM, in novi podatki bodo kasneje to spet odra\u017eali \u2013 to je primer samouresni\u010dujo\u010de se prerokbe3<\/sup>.<\/li>\n \t
  3. U\u010denci iz kulturnih okolij, ki so premalo zastopana v sklopu u\u010dnih podatkov, imajo lahko druga\u010dne vedenjske vzorce in druga\u010dne na\u010dine izkazovanja motivacije. Kako bi u\u010dna analitika izra\u010dunala vrednosti zanje? \u010ce podatki niso reprezentativni za vse kategorije u\u010dencev, lahko sistemi, ki so se u\u010dili na teh podatkih, kaznujejo manj\u0161ine z vedenjskimi te\u017enjami druga\u010dnimi od tistih, za katere je bil program optimiziran, da jih nagradi. \u010ce ne bomo previdni, bodo u\u010dni algoritmi za\u010deli posplo\u0161evati na podlagi ve\u010dinske kulture, kar bo povzro\u010dilo visoko stopnjo napak za manj\u0161inske skupine4,5<\/sup>. Tak\u0161ne odlo\u010ditve bodo nemara odvrnile tiste, ki bi sicer v skupino lahko vnesli raznolikost, ustvarjalnost ali izjemne talente, pa tudi tiste z druga\u010dnimi izku\u0161njami, interesi in motivacijo2<\/sup>.<\/li>\n \t
  4. Britanski u\u010denec, \u010digar pisni sestavek oceni ameri\u0161ka programska oprema za popravljanje esejev, je lahko kaznovan zaradi napak v \u010drkovanju. Za sisteme, ki so zasnovani in usposobljeni za delovanje v to\u010dno dolo\u010deni dr\u017eavi ali kontekstu, so l<\/span>okalne razli\u010dice jezika, razlike v \u010drkovanju in nagla\u0161evanju besed ter lokalna geografija in kultura vedno problemati\u010dni.<\/li>\n \t
  5. Nekateri u\u010ditelji kaznujejo izraze, ki so obi\u010dajni v dolo\u010deni skupini ali regiji, pa naj to po\u010dnejo zavestno, ali zaradi nezavednih asociacij, ki vsebujejo predsodke. \u010ce se programska oprema za ocenjevanje esejev u\u010di na esejih, ki so jih ocenili tak\u0161ni u\u010ditelji, potem bodo isti predsodki vsebovani tudi v njej.<\/li>\n \t
  6. Sistemi strojnega u\u010denja potrebujejo ciljno spremenljivko in pribli\u017eke, h katerim stremijo z optimizacijo<\/a>. Recimo, da so bili rezultati srednje\u0161olskih testov vzeti kot pribli\u017eek akademske odli\u010dnosti. Sistem se bo zdaj u\u010dil\u00a0spodbujati <\/span>izklju\u010dno vzorce, skladne z u\u010denci, ki se dobro znajdejo pod stresom, oz. v specifi\u010dnih okoli\u0161\u010dinah re\u0161evanja testov. Ko bodo u\u010dencem priporo\u010dali vire in prakti\u010dne vaje, bodo tak\u0161ni sistemi promovirali rezultate testov in ne splo\u0161nega znanja. \u010ceprav se to dogaja tudi v \u0161tevilnih dana\u0161njih u\u010dilnicah, pa je tradicionalni pristop vsaj omogo\u010dal izra\u017eanje ve\u010d razli\u010dnih ciljev4<\/sup>.<\/li>\n \t
  7. Prilagodljivi u\u010dni sistemi u\u010dencem predlagajo vire za odpravo pomanjkanja ve\u0161\u010din ali znanja. \u010ce je treba te vire kupiti ali zahtevajo doma\u010do internetno povezavo, potem to ni po\u0161teno do tistih u\u010dencev, ki nimajo sredstev za upo\u0161tevanje priporo\u010dil. \"Kadar algoritem u\u010dencem predlaga namige, naslednje korake ali vire, moramo preveriti, ali je tak\u0161na pomo\u010d pravi\u010dna. \u010ce dolo\u010dena skupina sistemati\u010dno ne dobiva pomo\u010di, je tak\u0161no ravnanje diskriminatorno<\/em>\"2<\/sup>.<\/li>\n \t
  8. Ideja o personaliziranem izobra\u017eevanju glede na u\u010den\u010devo trenutno raven znanja in preference nemara \u017ee sama po sebi vsebuje predsodek1<\/sup>. Ali s tem u\u010denca hkrati ne oviramo pri raziskovanju novih interesov in alternativ? Ali to u\u010denca pravzaprav ne zreducira na enodimenzionalnost in s tem okrni njegove splo\u0161ne ve\u0161\u010dine, znanje in pravico do enakih mo\u017enosti?<\/li>\n<\/ol>\n[caption id=\"attachment_109\" align=\"aligncenter\" width=\"300\"]\"\" \"Podatkovna in algoritemska pristranskost v spletu.\" Avtor: jennychamux. Licenca: CC BY 2.0. \u010ce si \u017eelite ogledati kopijo te licence, obi\u0161\u010dite https:\/ creativecommons.org\/licenses\/by\/2.0\/?ref=openverse<\/a>.[\/caption]\n

    Kaj lahko u\u010ditelj stori, da zmanj\u0161a u\u010dinke pristranskosti AIED?<\/p>\n

    Raziskovalci nenehno predlagajo in analizirajo razli\u010dne na\u010dine za zmanj\u0161anje pristranskosti. Vendar pa vseh metod ni enostavno uvesti v praksi: po\u0161tenost je veliko ve\u010d kot le zmanj\u0161anje pristranskosti.<\/p>\n

    Na primer, \u010de obstoje\u010di podatki vsebujejo veliko stereotipov, \"ali nas obvezuje odgovornost, da dvomimo o podatkih in oblikujemo na\u0161e sisteme tako, da bodo v skladu z neko idejo pravi\u010dnosti, ne glede na to, ali podatki, ki so nam trenutno na voljo,\u00a0<\/em>to podpirajo <\/em>ali ne?<\/em>\"<\/span>4<\/sup>. Metode so vedno konkuren\u010dne in v nasprotju druga z drugo; ukrepi za zmanj\u0161anje ene vrste pristranskosti lahko povzro\u010dijo druge vrste pristranskost!<\/span><\/p>\n

    Kaj lahko torej stori u\u010ditelj?<\/p>\n\n

      \n \t
    1. Preverite prodajalca: preden se odlo\u010dite za naro\u010dnino za dolo\u010den sistem AIED, se vpra\u0161ajte, na kak\u0161nih podatkih se je sistem u\u010dil, kje in kdo je ta sistem zasnoval in za koga ter kako je bil sistem ocenjen.<\/li>\n \t
    2. Ne zaupajte na prvi pogled. Na primer, ocena splo\u0161ne zanesljivosti z do 5-odstotno napako lahko prikrije dejstvo, da je model slabo u\u010dinkovit za dolo\u010deno manj\u0161insko skupino4<\/sup>.<\/li>\n \t
    3. Podrobno preberite dokumentacijo: katere ukrepe izvaja sistem za odkrivanje in prepre\u010devanje pristranskosti ter zagotavljanje po\u0161tenosti1<\/sup>?<\/li>\n \t
    4. Pridobite informacije o razvijalcih: ali so sistem razvili izklju\u010dno programerji, ali pa so bili v proces vklju\u010deni tudi izobra\u017eevalni delavci in raziskovalci? Ali sistem temelji izklju\u010dno na strojnem u\u010denju, ali pa so vanj vklju\u010dene tudi u\u010dne teorije in prakse2<\/sup>?<\/li>\n \t
    5. Dajte prednost transparentnim, odprtim modelom u\u010denja, <\/span>ki vam omogo\u010dajo, da preglasite njihove odlo\u010ditve2<\/sup>: veliko modelov AIED ima prilagodljivo zasnovo, ki omogo\u010da, da u\u010ditelji ali u\u010denci spremljajo, zahtevajo razlago, ali popolnoma prezrejo odlo\u010ditev sistema.<\/li>\n \t
    6. Prepri\u010dajte se o dostopnosti: ali je sistem dostopen vsem na enak na\u010din, ne glede na njihove zmo\u017enosti1<\/sup>?<\/li>\n \t
    7. Bodite pozorni na u\u010dinke uporabe tehnologije na u\u010dence, tako dolgoro\u010dne kot kratkoro\u010dne, in bodite pripravljeni ponuditi pomo\u010d, ko je to potrebno.<\/li>\n<\/ol>\n

      Kljub izzivom, ki jih prina\u0161ajo na UI utemeljene tehnologije, smo lahko optimisti\u010dni glede prihodnosti AIED:<\/p>\n\n