V zadnjem \u010dasu imajo na vseh podro\u010djih \u017eivljenja velik vpliv predvsem klepetalni roboti, pametni\/hi\u0161ni\/osebni\u00a0asistenti in\u00a0prevajalniki.<\/p>\n\n\n[caption id=\"attachment_154\" align=\"alignleft\" width=\"394\"] Dolgo \u010dasa je raziskave in industrijo na tem podro\u010dju upo\u010dasnjevala imanentna kompleksnost jezika. Ob koncu 20. stoletja so slovnice (rezultat dela podro\u010dnih strokovnjakov) razli\u010dnih jezikov vsebovale tudi do 50.000 pravil. Tak\u0161ni\u00a0ekspertni sistemi <\/strong>so nakazovali mo\u017enost izbolj\u0161av s pomo\u010djo tehnologije, vendar so bile zanesljive (univerzalne) re\u0161itve prezapletene za razvoj.<\/p>\n Po drugi strani je tehnologija\u00a0prepoznavanja\u00a0govora<\/strong> zahtevala obdelavo akusti\u010dnih podatkov in njihovo pretvorbo v besedilo. Ob vsej raznolikosti govorcev\u00a0je bil\u00a0to zares trd oreh.<\/p>\n Raziskovalci so dojeli, da bo to la\u017eje izvedljivo s pomo\u010djo\u00a0modela jezika. \u010ce model pozna besedi\u0161\u010de izbranega jezika in\u00a0pravila za\u00a0tvorjenje stavkov, bo iz serije predlogov\u00a0la\u017eje izbral tisti pravi stavek, ki bo ustrezal zapisanemu\/izre\u010denemu, oz., la\u017eje bo izbral prevodno ustreznico\u00a0izmed niza mo\u017enih zaporedij besed.<\/p>\n Drug\u00a0klju\u010dni\u00a0vidik pri tem je\u00a0semantika <\/strong>(pomenoslovje). Najve\u010d, kar lahko tehnologija stori pri\u00a0re\u0161evanju jezikovnih vpra\u0161anj, je pravzaprav povr\u0161inske narave: algoritem\u00a0predlaga\u00a0odgovor na podlagi dolo\u010denih skladenjskih pravil. Ni\u010d zato, \u010de na koncu besedilo nima nobenega smisla.\u00a0Podobno bi se lahko zgodilo\u00a0pri branju besedil\u00a0u\u010dencev - \u010de bi\u00a0samo popravljali\u00a0napake, ne da bi zares razumeli, o \u010dem besedilo govori.\u00a0Bistvo je v seveda v pomenu, ki ga pripi\u0161emo besedilom oz. izre\u010denim besedam.<\/p>\nhttps:\/\/www.youtube.com\/watch?v=XDgLAJGkMes&list=PLkm8ZqYSzE3fv8uQT7zz1I_Tvelj0U2vd&index=13&pp=iAQB\n Leta 2008 je pri\u0161lo do preboja1<\/sup>: ustvarjen je bil edinstven jezikovni model, ki se je u\u010dil iz velikanske koli\u010dine podatkov in ga je postalo mogo\u010de uporabiti za razli\u010dne jezikovne naloge. Dejansko je deloval bolje kot modeli, ki so bili nau\u010deni izvajati posamezne od teh nalog.<\/p>\n Ta model je bil globoka nevronska mre\u017ea.\u00a0\u010ceprav\u00a0ni bila niti pribli\u017eno tako globoka kot mre\u017ee, ki se uporabljajo danes,\u00a0so bili rezultati dovolj prepri\u010dljivi, da so raziskovalci\u00a0pri\u010deli verjeti, da bo\u00a0strojno u\u010denje, natan\u010dneje globoko u\u010denje, odgovor na \u0161tevilna vpra\u0161anja glede\u00a0NLP.<\/p>\n Od takrat tehnologije NLP\u00a0niso ve\u010d sledile\u00a0pristopu na osnovi modelov, temve\u010d se je uveljavil\u00a0pristop, ki temelji na podatkih.<\/p>\n Jezikovne naloge v tem smislu razdelimo na dva sklopa: tiste, ki vklju\u010dujejo ustvarjanje modelov, in tiste, ki vklju\u010dujejo dekodiranje.<\/p>\n\n \u010ce \u017eelite\u00a0prepis (transkripcijo), odgovor\u00a0na vpra\u0161anje, dialog\u00a0ali prevod,\u00a0morate najprej vedeti, ali je npr. stavek \u201cJe parle Fran\u00e7ais\u201d<\/em> res legitimen stavek v franco\u0161\u010dini ali ne. In ker pri govorjenem jeziku slovni\u010dna pravila\u00a0niso vedno natan\u010dno upo\u0161tevana, bo odgovor izra\u017een z verjetnostjo: stavek je bolj ali manj <\/em>francoski. Na podlagi tega tudi sistem pripravi razli\u010dne predloge stavkov (transkripcijo sli\u0161anega, prevod stavka itd.), in verjetnost ustreznosti tudi razvrsti (oceni). Uporabnik nato lahko izbere stavek z najvi\u0161jo oceno (tj. z najvi\u0161jo verjetnostjo ustreznosti) ali pa to informacijo kombinira z drugimi viri informacij (pomen stavka).<\/p>\n Prav to po\u010dnejo jezikovni modeli: verjetnosti izra\u010dunajo na podlagi algoritmov strojnega u\u010denja. In seveda, \u010dim ve\u010d podatkov je na voljo, tem bolje. Za nekatere jezike je na voljo veliko podatkov, na podlagi katerih lahko ustvarimo jezikovne modele, pri drugih jezikih pa ni tako.<\/p>\n Za nalogo prevajanja nista potrebna dva, temve\u010d trije\u00a0modeli: jezikovni model za vsakega izmed obeh jezikov\u00a0in \u0161e en model za prevode, ki nam pove, kateri prevodi fragmentov jezika\u00a0so bolj\u0161i oz., ustreznej\u0161i. Tak\u0161ne modele je te\u017eko izdelati, \u010de je podatkov malo. Medtem, ko je modele za pogoste \"jezikovne pare\" la\u017eje izdelati, to ne velja\u00a0za jezike, ki se ne uporabljajo pogosto \"v paru\" (npr., portugal\u0161\u010dina in sloven\u0161\u010dina). Tipi\u010dna re\u0161itev pri tem je uporaba\/prevajanje preko\u00a0vmesnega jezika<\/em> (obi\u010dajno angle\u0161\u010dine): iz portugal\u0161\u010dine v angle\u0161\u010dino in nato iz angle\u0161\u010dine v sloven\u0161\u010dino. To seveda vodi do manj ustreznih rezultatov, saj se napake kopi\u010dijo.<\/p>\n\n Dekodiranje je proces, pri katerem algoritem sprejme vhodno zaporedje (v obliki signala ali besedila) in na podlagi informacij, ki jih vsebuje model,\u00a0sprejme odlo\u010ditev, pogosto v obliki izhodnega\u00a0besedila. Pri tem je treba upo\u0161tevati dolo\u010dene zakonitostmi\u00a0algoritmov: transkripcija in prevajanje morata obi\u010dajno potekati v realnem \u010dasu, zato je pri tem klju\u010dno vpra\u0161anje zmanj\u0161evanje \u010dasovnega zaostanka. Prostora za delovanje UI je tu veliko.<\/p>\n\n Procese lo\u010denega ustvarjanja in kasneje kombiniranja teh komponent je danes nadomestil celovit pristop, pri katerem sistem zapi\u0161e\/prevede\/interpretira\u00a0vhodne podatke s pomo\u010djo edinstvenega modela. Trenutno se taki modeli u\u010dijo s pomo\u010djo izjemno zapletenih\u00a0globokih\u00a0nevronskih\u00a0mre\u017e: najve\u010dji model GPT3 naj bi obsegal ve\u010d sto milijonov parametrov.<\/p>\n\n\n[caption id=\"attachment_154\" align=\"alignleft\" width=\"357\"] Poskusimo poenostaviti: predpostavimo, da imamo dolo\u010dene podatke. Te surove podatke lahko na poljuben na\u010din zakodiramo. Toda kodiranje je lahko redundantno in morda celo zelo drago. Zato izdelamo posebno napravo, samodejni kodirnik (slika desno). Stroj prvotno\u00a0besedilo prenese v majhen vektor (kodirnik), nato pa vektor raz\u0161iri (dekodirnik) in ponovno vzpostavi\u00a0besedilo, ki je nekako blizu prvotnemu besedilu. Ideja je v tem, da ta mehanizem ustvari zelo koristen\u00a0vmesni<\/em> vektor - zaradi dveh za\u017eelenih lastnosti: je majhen, in \"vsebuje\" informacije o prvotnem besedilu.<\/p>\n\n Verjetno bodo tak\u0161ni celoviti pristopi kmalu omogo\u010dali, da bo vmesnik\u00a0(1) sli\u0161al in prepoznal, kateri jezik govorite, (2) zapisal izgovorjeno besedilo, (3) ga prevedel v jezik, ki ga ne poznate, (4) usposobil sistem za sintezo govora za prepoznavanje va\u0161ega glasu in (5) z va\u0161im glasom prebral ustrezno prevedeno besedilo v drugem jeziku. Na posnetkih spodaj si oglejte dva primera, ki so ju zasnovali\u00a0raziskovalci na Universidad Politecnica de Valencia v \u0160paniji, v katerih je za sinhronizacijo uporabljen model lastnega glasu govorca.<\/p>\n[embed]https:\/\/www.youtube.com\/embed\/MIwBWUF334E[\/embed]\n\n[embed]https:\/\/www.youtube.com\/embed\/VBevQ77PQzw[\/embed]\n Stalen napredek obdelave naravnega jezika je izjemen. \u010ce smo se \u0161e samo deset let nazaj smejali neumnim prevodom, ki jih je predlagala UI, danes pri tem vse te\u017eje najdemo grobe napake. Hitro se izbolj\u0161ujejo tudi tehnike prepoznavanja govora in znakov.<\/p>\n Semanti\u010dni izzivi so \u0161e vedno prisotni in odgovarjanje UI na vpra\u0161anja, ki zahtevajo poglobljeno razumevanje besedila, \u0161e vedno ne deluje pravilno. Vendar gredo stvari v pravo smer. To pomeni, da morajo u\u010ditelji pri\u010dakovati, da bodo nekatere od naslednjih trditev kmalu postale resni\u010dne, \u010de \u017ee niso.<\/p>\n\n Jasno je, da UI pri teh opravilih vsaj na za\u010detku \u0161e zdale\u010d ne bo popolna in da bo strokovnjak vedno odkril, da \u010detudi je raba jezika pravilna, tok misli morda ni (koherenten). Toda povejmo po\u0161teno: koliko \u010dasa pa za to v celotnem procesu izobra\u017eevanja potrebujejo na\u0161i dijaki in \u0161tudenti?<\/p>\n\n\n 1<\/sup> Collobert, Ronan, and Jason Weston. \u201cA unified architecture for natural language processing: Deep neural networks with multitask learning.\u201d Proceedings of the 25th international conference on Machine learning. 2008. http:\/\/machinelearning.org\/archive\/icml2008\/papers\/391.pdf<\/a>. Note: this reference is given for historical reasons. But it is difficult to read!<\/p>","rendered":" Obdelava naravnega jezika je tema \u0161tevilnih raziskav\u00a0\u017ee zadnjih 50 let. Nekatera izmed raziskovalnih prizadevanj na tem podro\u010dju so privedla\u00a0do razvoja orodij, ki jih uporabljamo vsak dan:<\/p>\n V zadnjem \u010dasu imajo na vseh podro\u010djih \u017eivljenja velik vpliv predvsem klepetalni roboti, pametni\/hi\u0161ni\/osebni\u00a0asistenti in\u00a0prevajalniki.<\/p>\n Dolgo \u010dasa je raziskave in industrijo na tem podro\u010dju upo\u010dasnjevala imanentna kompleksnost jezika. Ob koncu 20. stoletja so slovnice (rezultat dela podro\u010dnih strokovnjakov) razli\u010dnih jezikov vsebovale tudi do 50.000 pravil. Tak\u0161ni\u00a0ekspertni sistemi <\/strong>so nakazovali mo\u017enost izbolj\u0161av s pomo\u010djo tehnologije, vendar so bile zanesljive (univerzalne) re\u0161itve prezapletene za razvoj.<\/p>\n Po drugi strani je tehnologija\u00a0prepoznavanja\u00a0govora<\/strong> zahtevala obdelavo akusti\u010dnih podatkov in njihovo pretvorbo v besedilo. Ob vsej raznolikosti govorcev\u00a0je bil\u00a0to zares trd oreh.<\/p>\n Raziskovalci so dojeli, da bo to la\u017eje izvedljivo s pomo\u010djo\u00a0modela jezika. \u010ce model pozna besedi\u0161\u010de izbranega jezika in\u00a0pravila za\u00a0tvorjenje stavkov, bo iz serije predlogov\u00a0la\u017eje izbral tisti pravi stavek, ki bo ustrezal zapisanemu\/izre\u010denemu, oz., la\u017eje bo izbral prevodno ustreznico\u00a0izmed niza mo\u017enih zaporedij besed.<\/p>\n Drug\u00a0klju\u010dni\u00a0vidik pri tem je\u00a0semantika <\/strong>(pomenoslovje). Najve\u010d, kar lahko tehnologija stori pri\u00a0re\u0161evanju jezikovnih vpra\u0161anj, je pravzaprav povr\u0161inske narave: algoritem\u00a0predlaga\u00a0odgovor na podlagi dolo\u010denih skladenjskih pravil. Ni\u010d zato, \u010de na koncu besedilo nima nobenega smisla.\u00a0Podobno bi se lahko zgodilo\u00a0pri branju besedil\u00a0u\u010dencev – \u010de bi\u00a0samo popravljali\u00a0napake, ne da bi zares razumeli, o \u010dem besedilo govori.\u00a0Bistvo je v seveda v pomenu, ki ga pripi\u0161emo besedilom oz. izre\u010denim besedam.<\/p>\n![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/14\/2023\/11\/ch5-page-3-sign-language-scaled-1.jpg\")
\"Learning sign language\" by daveynin je licenciran pod CC BY 2.0. \u010ce si \u017eelite ogledati kopijo te licence, obi\u0161\u010dite https:\/\/creativecommons.org\/licenses\/by\/2.0\/?ref=openverse<\/a>.[\/caption]\nUstvarjanje modelov<\/h3>\n
Dekodiranje<\/h3>\n
Celovit pristop<\/h3>\n
![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/14\/2024\/01\/ch5-page-3-Autoencoder.png\")
Chervinskii, Wikimedia Commons je licenciran pod CC BY-SA 4.0. \u010ce si \u017eelite ogledati kopijo te licence, obi\u0161\u010ditehttps:\/\/creativecommons.org\/licenses\/by\/2.0\/?ref=openverse<\/a>.[\/caption]\nPrihodnost<\/h3>\n
Vpliv na izobra\u017eevanje<\/h3>\n
\n \t
\n\n