Strojno u\u010denje naj bi to po\u010delo z iskanjem vzorcev v velikih koli\u010dinah podatkov. Prej pa so morali programerji ro\u010dno kodirati, dolo\u010diti katere zna\u010dilnosti podatkov so pomembne za obravnavani problem, in jih posredovati stroju v obliki \"parametrov\"2,3<\/sup>. Kot smo \u017ee povedali, je delovanje sistema mo\u010dno odvisno od kakovosti podatkov in parametrov, ki jih ni vedno enostavno natan\u010dno dolo\u010diti.<\/p>\n Globoke nevronske mre\u017ee ali globoko u\u010denje predstavlja vejo strojnega u\u010denja, ki omenjeno premaguje:<\/p>\n\n Vse ve\u010d zmogljivih aplikacij strojnega u\u010denja se vedno bolj zana\u0161a na globoko u\u010denje. Sem spadajo iskalniki, sistemi priporo\u010dil, transkripcija govora in tudi prevod tega priro\u010dnika iz angle\u0161\u010dine v sloven\u0161\u010dino. Brez pretiravanja lahko re\u010demo, da je prav globoko u\u010denje omogo\u010dilo uspeh UI pri \u0161tevilnih nalogah.<\/p>\n\n\n[caption id=\"attachment_61\" align=\"aligncenter\" width=\"300\"] Izraz \"globoke\" (globoke nevronske mre\u017ee) se nana\u0161a na to, kako se plasti nalagajo ena na drugo, da ustvarijo mre\u017eo. Izraz \"nevronske\" odra\u017ea dejstvo, da so dolo\u010dene vidike njihove zasnove navdihnili biolo\u0161ki mo\u017egani. Kljub temu pa, in \u010deprav zagotavljajo vpogled v na\u0161e lastne miselne procese, so to strogo matemati\u010dni modeli, ki v resnici niso podobni nobenemu biolo\u0161kemu elementu ali procesu2<\/sup>.<\/p>\n\n Ko ljudje gledamo sliko, na njej avtomati\u010dno prepoznamo predmete in obraze. Za algoritem p<\/span>a slika ni ni\u010d drugega, kot le zbirka pikslov. Med me\u0161anico barv in razli\u010dnimi stopnjami svetlosti ter prepoznavanjem obrazov je velikanski preskok, ki ga je preve\u010d zapleteno izvesti.<\/span><\/p>\n Globoka nevrosnka mre\u017ea to dose\u017ee tako, da proces razdeli na zelo preproste reprezentacije v prvi plasti \u2013 na primer tako, da primerja svetlost dveh sosednjih pikslov in tako ugotovi prisotnost ali odsotnost robov na razli\u010dnih predelih slike. Naslednja plast na podlagi robov i\u0161\u010de bolj kompleksne entitete \u2013 na primer, vogale in obrobe, pri \u010demer zanemari majhna odstopanja pri polo\u017eajih robov2,3<\/sup>. Naslednja plast i\u0161\u010de dele predmetov z uporabo obrob in vogalov. Postopoma se kompleksnost pove\u010duje do to\u010dke, ko lahko zadnja plast zdru\u017ei razli\u010dne dele dovolj dobro, da prepozna obraz ali identificira predmet.<\/p>\n Tega, kar je treba upo\u0161tevati v vsaki plasti, ne dolo\u010dajo p<\/span>rogramerji, temve\u010d se tega sistem nau\u010di iz podatkov v procesu u\u010denja3<\/sup>. S primerjanjem napovedi z dejanskimi rezultati v u\u010dnem sklopu podatkov se delovanje vsake plasti uravna na nekoliko druga\u010den na\u010din, kar obrodi vsaki\u010d nekoliko bolj\u0161i rezultat. \u010ce je vse to izvedeno pravilno in pod pogojem, da je na voljo dovolj kakovostnih podatkov, bi se morala mre\u017ea razviti tako, da bo prezrla nepomembne dele slike, npr. natan\u010dno lokacijo entitet, kot in osvetlitev, ter se osredoto\u010dila na tiste dele, ki ji omogo\u010dajo prepoznavanje.<\/p>\n Tukaj je treba opozoriti na dejstvo, da je kljub na\u0161i uporabi robov in obrob za razumevanje procesa tisto, kar je dejansko predstavljeno v plasteh, niz \u0161tevilk, ki lahko ustrezajo stvarem, ki jih razumemo, ali pa tudi ne. Kar se pri tem ne spremeni, je vse ve\u010dja abstraktnost in kompleksnost.<\/p>\n\n Ko se programer odlo\u010di za uporabo globokega u\u010denja in pripravi podatke, mora najprej zasnovati tako imenovano arhitekturo svoje nevronske mre\u017ee. Dolo\u010diti mora \u0161tevilo plasti (globina mre\u017ee) in \u0161tevilo parametrov na plast (\u0161irina mre\u017ee). Nato se mora odlo\u010diti, kako vzpostaviti povezave med plastmi \u2013 ali bo vsaka enota plasti povezana z vsako enoto prej\u0161nje plasti ali ne.<\/p>\n Idealna arhitektura za dolo\u010deno nalogo pogosto se pogosto izka\u017ee kot posledica eksperimentiranja. Ve\u010dje kot je \u0161tevilo plasti, manj parametrov je potrebnih na vsaki plasti. Mre\u017ee delujejo bolje s splo\u0161nimi podatki, \u010deprav jih je zato te\u017eje optimizirati. Manj povezav bi pomenilo manj parametrov in manj ra\u010dunanja, vendar bi to zmanj\u0161alo prilagodljivost mre\u017ee2<\/sup>.<\/p>\n\n Vzemimo primer usmerjene nevronske mre\u017ee z nadzorovanim u\u010denjem. Informacije te\u010dejo naprej od ene plasti k naslednji, globlji plasti, brez povratnih zank. Kot pri vseh tehnikah strojnega u\u010denja je tudi tukaj cilj ugotoviti, kako so vhodi povezani z izhodi \u2013 kateri parametri se zdru\u017eijo in kako se zdru\u017eijo, preden ustvarijo rezultat. Predpostavimo razmerje f, ki povezuje vhod x z izhodom y. Nato uporabimo mre\u017eo, da poi\u0161\u010demo niz parametrov \u03b8, ki dajejo najbolj\u0161e ujemanje za napovedane in dejanske izhodne vrednosti.<\/p>\n\n Klju\u010dno vpra\u0161anje: Napovedani y je f (x, \u03b8), za kateri \u03b8?<\/p>\n\n<\/div>\n Pri tem je napoved za y kon\u010dni rezultat, sklop podatkov x pa je vhod. Pri prepoznavanju obraza je x obi\u010dajno sklop pikslov na sliki. y je lahko ime osebe. V mre\u017ei plasti delujejo podobno kot delavci v proizvodni liniji, kjer se vsak delavec loti tistega, kar mu je bilo dodeljeno, potem pa to posreduje naprej naslednjemu delavcu. Prvi delavec vzame vhodno vrednost in jo malo preoblikuje, nato jo da drugemu v liniji. Drugi naredi isto, nato preda tretjemu in tako naprej, dokler se vhodna vrednost ne preoblikuje v kon\u010dni rezultat.<\/p>\n Matemati\u010dno je funkcija f razdeljena na ve\u010d funkcij f1, f2, f3\u2026 pri \u010demer je f = \u2026.f3(f2(f1(x))). Plast poleg vhoda preoblikuje parametre vhoda z uporabo f1, naslednja plast z uporabo f2 in tako naprej. Programer lahko pri tem posreduje, tako da pomaga izbrati pravilno dru\u017eino funkcij na podlagi poznavanja problema.<\/p>\n Naloga vsake plasti je, da dodeli raven pomembnosti \u2013 ute\u017e, ki jo dodeli vsakemu prejetemu parametru. Ute\u017ei so kot stikala, ki na koncu opredelijo razmerje med predvidenim izhodom in vhodom v dolo\u010deni plasti3<\/sup>. V povpre\u010dnem sistemu globokega u\u010denja je tak\u0161nih \"stikal\" na stotine milijonov, kot je tudi na stotine milijonov u\u010dnih primerov. Ker ne dolo\u010damo, niti ne moremo videti izhodnih vrednosti in ute\u017ei v plasteh med vhodno in izhodno vrednostjo, se tak\u0161ne plasti imenujejo skrite<\/em> plasti.<\/p>\n Pri zgornjem primeru prepoznavanja predmeta je naloga prvega \"delavca\" v globoki nevronski mre\u017ei, da zazna robove in jih preda drugemu delavcu, ki bo zaznal obrobe, in tako naprej.<\/p>\n V fazi u\u010denja se napovedana izhodna vrednost primerja z dejansko izhodno vrednostjo. \u010ce med njima obstaja velika razlika, je treba toliko bolj spremeniti ute\u017ei, dodeljene v vsaki plasti. \u010ce je razlika majhna, je potrebno le malo prilagoditi vrednosti ute\u017ei. Ta proces poteka v dveh delih. Najprej se izra\u010duna razlika med napovedjo in rezultatom (izhodom), nato pa drug algoritem izra\u010duna, kako prilagoditi ute\u017ei v vsaki plasti, za\u010den\u0161i z izhodno plastjo (v tem primeru informacije te\u010dejo nazaj iz globljih plasti). Tako je na koncu procesa u\u010denja mre\u017ea z vsemi svojimi\u00a0ute\u017emi in funkcijami <\/span>pripravljena za \"napad\" na testne podatke. Preostali del procesa je enak kot pri klasi\u010dnem strojnem u\u010denju.<\/span><\/p>\n 1 <\/sup>Chomsky, N., Roberts, I., Watumull, J., Noam Chomsky: The False Promise of ChatGPT,\u00a0<\/em>The New York Times, 2023.<\/p>\n 2 <\/sup>Goodfellow, I.J., Bengio, Y., Courville, A., Deep Learning, <\/em>MIT Press, 2016.<\/p>\n 3 <\/sup>LeCun, Y., Bengio, Y., Hinton, G., Deep learning,<\/em>\u00a0Nature\u00a0521<\/b>, 436\u2013444 (2015).<\/p>","rendered":" \u010clove\u0161ko znanje je obse\u017eno, spremenljivo in te\u017eko opredeljivo. \u010clove\u0161ki um je sposoben absorbirati in uporabljati znanje, ker je, kot so zapisali Chomsky, Roberts in Watumull, “…presenetljivo u\u010dinkovit, celo eleganten sistem, ki obdeluje majhne koli\u010dine informacij. Ne stremi k sklepanju o surovih povezavah med podatki, ampak k razlaganju1<\/sup>.”<\/p>\n Strojno u\u010denje naj bi to po\u010delo z iskanjem vzorcev v velikih koli\u010dinah podatkov. Prej pa so morali programerji ro\u010dno kodirati, dolo\u010diti katere zna\u010dilnosti podatkov so pomembne za obravnavani problem, in jih posredovati stroju v obliki “parametrov”2,3<\/sup>. Kot smo \u017ee povedali, je delovanje sistema mo\u010dno odvisno od kakovosti podatkov in parametrov, ki jih ni vedno enostavno natan\u010dno dolo\u010diti.<\/p>\n Globoke nevronske mre\u017ee ali globoko u\u010denje predstavlja vejo strojnega u\u010denja, ki omenjeno premaguje:<\/p>\n Vse ve\u010d zmogljivih aplikacij strojnega u\u010denja se vedno bolj zana\u0161a na globoko u\u010denje. Sem spadajo iskalniki, sistemi priporo\u010dil, transkripcija govora in tudi prevod tega priro\u010dnika iz angle\u0161\u010dine v sloven\u0161\u010dino. Brez pretiravanja lahko re\u010demo, da je prav globoko u\u010denje omogo\u010dilo uspeh UI pri \u0161tevilnih nalogah.<\/p>\n Izraz “globoke” (globoke nevronske mre\u017ee) se nana\u0161a na to, kako se plasti nalagajo ena na drugo, da ustvarijo mre\u017eo. Izraz “nevronske” odra\u017ea dejstvo, da so dolo\u010dene vidike njihove zasnove navdihnili biolo\u0161ki mo\u017egani. Kljub temu pa, in \u010deprav zagotavljajo vpogled v na\u0161e lastne miselne procese, so to strogo matemati\u010dni modeli, ki v resnici niso podobni nobenemu biolo\u0161kemu elementu ali procesu2<\/sup>.<\/p>\n Ko ljudje gledamo sliko, na njej avtomati\u010dno prepoznamo predmete in obraze. Za algoritem p<\/span>a slika ni ni\u010d drugega, kot le zbirka pikslov. Med me\u0161anico barv in razli\u010dnimi stopnjami svetlosti ter prepoznavanjem obrazov je velikanski preskok, ki ga je preve\u010d zapleteno izvesti.<\/span><\/p>\n Globoka nevrosnka mre\u017ea to dose\u017ee tako, da proces razdeli na zelo preproste reprezentacije v prvi plasti \u2013 na primer tako, da primerja svetlost dveh sosednjih pikslov in tako ugotovi prisotnost ali odsotnost robov na razli\u010dnih predelih slike. Naslednja plast na podlagi robov i\u0161\u010de bolj kompleksne entitete \u2013 na primer, vogale in obrobe, pri \u010demer zanemari majhna odstopanja pri polo\u017eajih robov2,3<\/sup>. Naslednja plast i\u0161\u010de dele predmetov z uporabo obrob in vogalov. Postopoma se kompleksnost pove\u010duje do to\u010dke, ko lahko zadnja plast zdru\u017ei razli\u010dne dele dovolj dobro, da prepozna obraz ali identificira predmet.<\/p>\n Tega, kar je treba upo\u0161tevati v vsaki plasti, ne dolo\u010dajo p<\/span>rogramerji, temve\u010d se tega sistem nau\u010di iz podatkov v procesu u\u010denja3<\/sup>. S primerjanjem napovedi z dejanskimi rezultati v u\u010dnem sklopu podatkov se delovanje vsake plasti uravna na nekoliko druga\u010den na\u010din, kar obrodi vsaki\u010d nekoliko bolj\u0161i rezultat. \u010ce je vse to izvedeno pravilno in pod pogojem, da je na voljo dovolj kakovostnih podatkov, bi se morala mre\u017ea razviti tako, da bo prezrla nepomembne dele slike, npr. natan\u010dno lokacijo entitet, kot in osvetlitev, ter se osredoto\u010dila na tiste dele, ki ji omogo\u010dajo prepoznavanje.<\/p>\n Tukaj je treba opozoriti na dejstvo, da je kljub na\u0161i uporabi robov in obrob za razumevanje procesa tisto, kar je dejansko predstavljeno v plasteh, niz \u0161tevilk, ki lahko ustrezajo stvarem, ki jih razumemo, ali pa tudi ne. Kar se pri tem ne spremeni, je vse ve\u010dja abstraktnost in kompleksnost.<\/p>\n Ko se programer odlo\u010di za uporabo globokega u\u010denja in pripravi podatke, mora najprej zasnovati tako imenovano arhitekturo svoje nevronske mre\u017ee. Dolo\u010diti mora \u0161tevilo plasti (globina mre\u017ee) in \u0161tevilo parametrov na plast (\u0161irina mre\u017ee). Nato se mora odlo\u010diti, kako vzpostaviti povezave med plastmi \u2013 ali bo vsaka enota plasti povezana z vsako enoto prej\u0161nje plasti ali ne.<\/p>\n Idealna arhitektura za dolo\u010deno nalogo pogosto se pogosto izka\u017ee kot posledica eksperimentiranja. Ve\u010dje kot je \u0161tevilo plasti, manj parametrov je potrebnih na vsaki plasti. Mre\u017ee delujejo bolje s splo\u0161nimi podatki, \u010deprav jih je zato te\u017eje optimizirati. Manj povezav bi pomenilo manj parametrov in manj ra\u010dunanja, vendar bi to zmanj\u0161alo prilagodljivost mre\u017ee2<\/sup>.<\/p>\n Vzemimo primer usmerjene nevronske mre\u017ee z nadzorovanim u\u010denjem. Informacije te\u010dejo naprej od ene plasti k naslednji, globlji plasti, brez povratnih zank. Kot pri vseh tehnikah strojnega u\u010denja je tudi tukaj cilj ugotoviti, kako so vhodi povezani z izhodi \u2013 kateri parametri se zdru\u017eijo in kako se zdru\u017eijo, preden ustvarijo rezultat. Predpostavimo razmerje f, ki povezuje vhod x z izhodom y. Nato uporabimo mre\u017eo, da poi\u0161\u010demo niz parametrov \u03b8, ki dajejo najbolj\u0161e ujemanje za napovedane in dejanske izhodne vrednosti.<\/p>\n Klju\u010dno vpra\u0161anje: Napovedani y je f (x, \u03b8), za kateri \u03b8?<\/p>\n<\/div>\n Pri tem je napoved za y kon\u010dni rezultat, sklop podatkov x pa je vhod. Pri prepoznavanju obraza je x obi\u010dajno sklop pikslov na sliki. y je lahko ime osebe. V mre\u017ei plasti delujejo podobno kot delavci v proizvodni liniji, kjer se vsak delavec loti tistega, kar mu je bilo dodeljeno, potem pa to posreduje naprej naslednjemu delavcu. Prvi delavec vzame vhodno vrednost in jo malo preoblikuje, nato jo da drugemu v liniji. Drugi naredi isto, nato preda tretjemu in tako naprej, dokler se vhodna vrednost ne preoblikuje v kon\u010dni rezultat.<\/p>\n Matemati\u010dno je funkcija f razdeljena na ve\u010d funkcij f1, f2, f3\u2026 pri \u010demer je f = \u2026.f3(f2(f1(x))). Plast poleg vhoda preoblikuje parametre vhoda z uporabo f1, naslednja plast z uporabo f2 in tako naprej. Programer lahko pri tem posreduje, tako da pomaga izbrati pravilno dru\u017eino funkcij na podlagi poznavanja problema.<\/p>\n Naloga vsake plasti je, da dodeli raven pomembnosti \u2013 ute\u017e, ki jo dodeli vsakemu prejetemu parametru. Ute\u017ei so kot stikala, ki na koncu opredelijo razmerje med predvidenim izhodom in vhodom v dolo\u010deni plasti3<\/sup>. V povpre\u010dnem sistemu globokega u\u010denja je tak\u0161nih “stikal” na stotine milijonov, kot je tudi na stotine milijonov u\u010dnih primerov. Ker ne dolo\u010damo, niti ne moremo videti izhodnih vrednosti in ute\u017ei v plasteh med vhodno in izhodno vrednostjo, se tak\u0161ne plasti imenujejo skrite<\/em> plasti.<\/p>\n Pri zgornjem primeru prepoznavanja predmeta je naloga prvega “delavca” v globoki nevronski mre\u017ei, da zazna robove in jih preda drugemu delavcu, ki bo zaznal obrobe, in tako naprej.<\/p>\n V fazi u\u010denja se napovedana izhodna vrednost primerja z dejansko izhodno vrednostjo. \u010ce med njima obstaja velika razlika, je treba toliko bolj spremeniti ute\u017ei, dodeljene v vsaki plasti. \u010ce je razlika majhna, je potrebno le malo prilagoditi vrednosti ute\u017ei. Ta proces poteka v dveh delih. Najprej se izra\u010duna razlika med napovedjo in rezultatom (izhodom), nato pa drug algoritem izra\u010duna, kako prilagoditi ute\u017ei v vsaki plasti, za\u010den\u0161i z izhodno plastjo (v tem primeru informacije te\u010dejo nazaj iz globljih plasti). Tako je na koncu procesa u\u010denja mre\u017ea z vsemi svojimi\u00a0ute\u017emi in funkcijami <\/span>pripravljena za “napad” na testne podatke. Preostali del procesa je enak kot pri klasi\u010dnem strojnem u\u010denju.<\/span><\/p>\n 1 <\/sup>Chomsky, N., Roberts, I., Watumull, J., Noam Chomsky: The False Promise of ChatGPT,\u00a0<\/em>The New York Times, 2023.<\/p>\n 2 <\/sup>Goodfellow, I.J., Bengio, Y., Courville, A., Deep Learning, <\/em>MIT Press, 2016.<\/p>\n 3 <\/sup>LeCun, Y., Bengio, Y., Hinton, G., Deep learning,<\/em>\u00a0Nature\u00a0521<\/b>, 436\u2013444 (2015).<\/p>\n","protected":false},"author":1,"menu_order":3,"template":"","meta":{"pb_show_title":"","pb_short_title":"","pb_subtitle":"","pb_authors":[],"pb_section_license":""},"chapter-type":[],"contributor":[],"license":[],"part":142,"_links":{"self":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapters\/151"}],"collection":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapters"}],"about":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/wp\/v2\/types\/chapter"}],"author":[{"embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":1,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapters\/151\/revisions"}],"predecessor-version":[{"id":152,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapters\/151\/revisions\/152"}],"part":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/parts\/142"}],"metadata":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapters\/151\/metadata\/"}],"wp:attachment":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/wp\/v2\/media?parent=151"}],"wp:term":[{"taxonomy":"chapter-type","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapter-type?post=151"},{"taxonomy":"contributor","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/wp\/v2\/contributor?post=151"},{"taxonomy":"license","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/wp\/v2\/license?post=151"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}\n \t
![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/14\/2023\/11\/ch6-page-5-AI-ML-DL-300x251.png\")
Vir: Goodfellow, I.J., Bengio, Y., Courville, A., Deep Learning, MIT Press, 2016.[\/caption]\nOsnove globokega u\u010denja<\/h3>\n
![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/14\/2024\/01\/ch5-page3-Deep-learning-300x251.png\")
\nOblikovanje globoke nevronske mre\u017ee<\/h3>\n
U\u010denje globoke nevronske mre\u017ee<\/h3>\n
![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/14\/2024\/01\/ch5-page3-DL-function-300x251.png\")
\n![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/14\/2024\/01\/ch2-page3-traintestuse-e1697823763965-300x142.png\")
\n\n
\nStrojno u\u010denje sega globoko<\/h3>\n
\n
Osnove globokega u\u010denja<\/h3>\n
<\/p>\nOblikovanje globoke nevronske mre\u017ee<\/h3>\n
U\u010denje globoke nevronske mre\u017ee<\/h3>\n
<\/p>\n<\/p>\n
\n