{"id":180,"date":"2023-11-30T17:31:53","date_gmt":"2023-11-30T17:31:53","guid":{"rendered":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/chapter\/the-gears-of-generative\/"},"modified":"2024-01-31T11:48:53","modified_gmt":"2024-01-31T11:48:53","slug":"the-gears-of-generative","status":"publish","type":"chapter","link":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/chapter\/the-gears-of-generative\/","title":{"raw":"Orodja generativne UI","rendered":"Orodja generativne UI"},"content":{"raw":"<p class=\"no-indent\">Velika priljubljenost, ki so jo v kratkem obdobju dosegli najnovej\u0161i modeli UI za obdelavo naravnega jezika (npr. ChatGPT, Bard in LLAMa2-chat), zasnovani na uporabi velikih jezikovnih modelov, je povzro\u010dila burne debate, ki so s stali\u0161\u010da razli\u010dnih vidikov \u0161e vedno odprte. Nedvomno nas fascinira vpra\u0161anje, kako lahko ra\u010dunalni\u0161ki sistem, ki ga upravljajo relativno preproste matemati\u010dne ena\u010dbe, ustvari \"inteligentno\" vedenje.<\/p>\n<p class=\"indent\">Vendar pa to poglavje ne bo posku\u0161alo odgovoriti na vpra\u0161anja, kot so \"<em>Ali je za velike jezikovne modele zna\u010dilno vedenje, ki ga lahko opredelimo kot inteligentno?<\/em>\", \"<em>Kak\u0161na je resni\u010dna narava \u010dlove\u0161ke inteligence?<\/em>\", ali \"<em>Kako opredelimo ustvarjalnost?<\/em>\" Ta vpra\u0161anja so nedvomno zanimiva, vendar bi iskanje odgovorov nanje zahtevalo veliko bolj obse\u017ene in poglobljene raziskave.<\/p>\n<p class=\"indent\">Namesto tega bomo posku\u0161ali ponuditi pregledne in laikom razumljive razlage ter s tem omogo\u010diti razumevanje mehanizmov, ki so v ozadju delovanja velikih jezikovnih modelov. \u0160ele z ve\u010djo ozave\u0161\u010denostjo o na\u010dinu delovanja teh mehanizmov je mogo\u010de razumeti njihov potencial in tveganja ter spodbujati njihovo pravilno rabo, zlasti v izobra\u017eevanju.<\/p>\n<p class=\"indent\">Prva in zelo raz\u0161irjena napa\u010dna predstava, ki jo je treba ovre\u010di, je, da so tak\u0161ni sistemi v bistvu velike baze podatkov, sestavljene iz parov vpra\u0161anj in odgovorov. To zmotno prepri\u010danje izhaja iz praks, ki so se v preteklih letih uveljavile pri gradnji sistemov klepetalnih robotov (vabimo vas, da preberete poglavje na to temo). Vendar pa tak\u0161no prepri\u010danje ne upo\u0161teva generativnega zna\u010daja velikih jezikovnih modelov (LLM).<\/p>\n<p class=\"indent\">Jezikovni modeli so statisti\u010dni modeli, ki napovejo verjetnost pojava dela besedila (najve\u010dkrat besede) kot funkcijo dolo\u010denega konteksta, ki je obi\u010dajno opredeljen kot niz besed pred napovedano besedo.<\/p>\n<p class=\"indent\">Modelom, zgrajenim s strogo statisti\u010dnim pristopom (npr. Markove verige, imenovane tudi n-gramski modeli), so se s\u010dasoma pridru\u017eili jezikovni modeli, zgrajeni iz nevronskih mre\u017e<sup>1<\/sup>. Postajali so vse bolj razviti v smislu strukture in velikosti nevronskih mre\u017e.<\/p>\n<p class=\"indent\">Veliki jezikovni modeli so tak\u0161no ime dobili zato, ker temeljijo na velikih nevronskih mre\u017eah, ki se u\u010dijo na ogromnih koli\u010dinah podatkov.<\/p>\nhttps:\/\/youtu.be\/UOgkg1uNXec?list=PLkm8ZqYSzE3fv8uQT7zz1I_Tvelj0U2vd\n<p class=\"no-indent\">Za\u010denjamo torej s trditvijo, da jezikovni modeli <em>generirajo<\/em> besedila in pri tem ne gre le za preprost priklic besedil iz vnaprej sestavljenih baz znanja.<\/p>\n<p class=\"indent\">Zaradi generativne in intuitivne narave jezikovnih modelov je te\u017eko predvideti, kako se bo sistem velikega jezikovnega modela odzval na uporabni\u0161ke vnose. Ta zna\u010dilnost odra\u017ea nezaupanje do tak\u0161nih sistemov v zvezi z njihovo potencialno zmo\u017enostjo ustvarjanja napa\u010dnega ali neto\u010dnega besedila.<\/p>\n<p class=\"indent\">Ta zna\u010dilnost je tako velik tehnolo\u0161ki dose\u017eek v smislu zmo\u017enosti stroja, da razume in proizvede besedilo, hkrati pa ena glavnih nevarnosti tovrstnih tehnologij.<\/p>\nPoglejmo podrobneje tak\u0161ne sisteme.\n\nKot z vsako tehnolo\u0161ko revolucijo je tudi s tem prebojem povezanih ve\u010d dejavnikov. Tukaj omenjamo nekatere, hkrati pa bralca usmerjamo k bolj poglobljenemu branju:\n<ul>\n \t<li><strong>Velikost mre\u017ee:<\/strong> meri se s \u0161tevilom u\u010djivih parametrov znotraj mre\u017ee. Veliki jezikovni modeli so globoke nevronske mre\u017ee, za katere je zna\u010dilno osupljivo \u0161tevilo vozli\u0161\u010d in plasti. Za la\u017ejo predstavo: nekateri strokovnjaki na tem podro\u010dju jezikovne modele ozna\u010dijo kot \"velike\", \u010de vsebujejo ve\u010d kot 10 milijard parametrov. Model GPT3 ima 150 milijard parametrov, najve\u010dja razli\u010dica LLAMa v2 pa pribli\u017eno 70 milijard.<\/li>\n \t<li><strong>Arhitektura mre\u017ee:<\/strong> uspe\u0161nosti ne zagotavlja le velikost mre\u017ee, ampak tudi na\u010din, kako so vozli\u0161\u010da in razli\u010dne plasti nevronske mre\u017ee medsebojno povezani. Tudi tukaj lahko na preprost na\u010din opi\u0161emo <a href=\"https:\/\/pressbooks.pub\/umetnaintelligenca\/chapter\/transformers\/\">transformatorske mre\u017ee in mehanizme pozornosti <\/a>kot glavne arhitekturne inovacije, ki pomagajo razumeti izbolj\u0161ano u\u010dinkovitost teh mre\u017e.<\/li>\n \t<li><strong>Koli\u010dina u\u010dnih podatkov:<\/strong> razpolo\u017eljivost velike koli\u010dine podatkov je nedvomno bistven element pri u\u010denju tak\u0161nih modelov, kar je sicer znano \u017ee dolgo \u010dasa. Klju\u010dni dejavnik inovacije je v tehnikah u\u010denja ter v procesu izbire in priprave, ki vodi od podatkov do u\u010dnega niza (samonadzorovano u\u010denje).<\/li>\n \t<li><strong>Aktualna ra\u010dunalni\u0161ka zmogljivost:<\/strong> pove\u010dana ra\u010dunalni\u0161ka zmogljivost je seveda igrala odlo\u010dilno vlogo pri razvoju mre\u017e. Empiri\u010dne izku\u0161nje ka\u017eejo, da je prav faktor pove\u010danja eden bistvenih parametrov za pojav omenjenih tehnologij.<\/li>\n \t<li><strong>Mehanizmi za uravnavanje<\/strong> predstavljajo zadnji korak v procesu izgradnje takih modelov. Govorimo predvsem o mehanizmih spodbujevalnega u\u010denja, ki vklju\u010dujejo \u010dlove\u0161ke povratne informacije in razvr\u0161\u010danje. To prispeva k opredelitvi modela in omogo\u010da generiranje odgovorov, ki so bolj usklajeni z namenom uporabnika. Drugi procesi uravnavanja pa omogo\u010dajo specializacijo in izbolj\u0161anje vedenja nevronskih mre\u017e pri izvajanju specifi\u010dnih nalog.<\/li>\n \t<li><strong>Varnostni ukrepi:<\/strong> poleg modela globokega u\u010denja obstajajo ad hoc tehnike, namenjene ubla\u017eitvi ranljivosti sistema pri nevarnih vnosih in prepre\u010devanju ne\u017eelenega vedenja pri varnih in nevarnih vnosih.<\/li>\n<\/ul>\n<p class=\"no-indent\">Ko se seznanimo z razli\u010dnimi dejavniki velikih jezikovnih modelov, nam ostane le \u0161e raziskovanje potenciala tak\u0161nih sistemov tako, da jih preizkusimo v svojem izobra\u017eevalnem kontekstu. Zato vas spodbujamo, da preizkusite klepet s ChatGPT ali Bardom; naj vam pomagata generirati nove naloge za u\u010dence in jih prilagoditi specifiki va\u0161e u\u010dilnice, ali ustvariti nove na\u010drte u\u010dnih ur itd. Vse je odvisno od va\u0161e ustvarjalnosti in od tega, kako komunicirate s tak\u0161nimi sistemi.<\/p>\n<p class=\"no-indent\"><strong>Opomba:<\/strong> ve\u010d o opisanih dejavnikih si preberite s pomo\u010djo seznama virov.<\/p>\n\n\n<hr>\n<p class=\"hanging-indent\"><sup>1 <\/sup>Bengio, Y., Ducharme, R., &amp; Vincent, P., A neural probabilistic language model. Advances in neural information processing systems, 13, 2000.<\/p>\n<p class=\"hanging-indent\"><sup>2<\/sup> Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... &amp; Polosukhin, I., <em>Attention is all you need,<\/em> Advances in neural information processing systems, 30, 2017.<\/p>","rendered":"<p class=\"no-indent\">Velika priljubljenost, ki so jo v kratkem obdobju dosegli najnovej\u0161i modeli UI za obdelavo naravnega jezika (npr. ChatGPT, Bard in LLAMa2-chat), zasnovani na uporabi velikih jezikovnih modelov, je povzro\u010dila burne debate, ki so s stali\u0161\u010da razli\u010dnih vidikov \u0161e vedno odprte. Nedvomno nas fascinira vpra\u0161anje, kako lahko ra\u010dunalni\u0161ki sistem, ki ga upravljajo relativno preproste matemati\u010dne ena\u010dbe, ustvari &#8220;inteligentno&#8221; vedenje.<\/p>\n<p class=\"indent\">Vendar pa to poglavje ne bo posku\u0161alo odgovoriti na vpra\u0161anja, kot so &#8220;<em>Ali je za velike jezikovne modele zna\u010dilno vedenje, ki ga lahko opredelimo kot inteligentno?<\/em>&#8220;, &#8220;<em>Kak\u0161na je resni\u010dna narava \u010dlove\u0161ke inteligence?<\/em>&#8220;, ali &#8220;<em>Kako opredelimo ustvarjalnost?<\/em>&#8221; Ta vpra\u0161anja so nedvomno zanimiva, vendar bi iskanje odgovorov nanje zahtevalo veliko bolj obse\u017ene in poglobljene raziskave.<\/p>\n<p class=\"indent\">Namesto tega bomo posku\u0161ali ponuditi pregledne in laikom razumljive razlage ter s tem omogo\u010diti razumevanje mehanizmov, ki so v ozadju delovanja velikih jezikovnih modelov. \u0160ele z ve\u010djo ozave\u0161\u010denostjo o na\u010dinu delovanja teh mehanizmov je mogo\u010de razumeti njihov potencial in tveganja ter spodbujati njihovo pravilno rabo, zlasti v izobra\u017eevanju.<\/p>\n<p class=\"indent\">Prva in zelo raz\u0161irjena napa\u010dna predstava, ki jo je treba ovre\u010di, je, da so tak\u0161ni sistemi v bistvu velike baze podatkov, sestavljene iz parov vpra\u0161anj in odgovorov. To zmotno prepri\u010danje izhaja iz praks, ki so se v preteklih letih uveljavile pri gradnji sistemov klepetalnih robotov (vabimo vas, da preberete poglavje na to temo). Vendar pa tak\u0161no prepri\u010danje ne upo\u0161teva generativnega zna\u010daja velikih jezikovnih modelov (LLM).<\/p>\n<p class=\"indent\">Jezikovni modeli so statisti\u010dni modeli, ki napovejo verjetnost pojava dela besedila (najve\u010dkrat besede) kot funkcijo dolo\u010denega konteksta, ki je obi\u010dajno opredeljen kot niz besed pred napovedano besedo.<\/p>\n<p class=\"indent\">Modelom, zgrajenim s strogo statisti\u010dnim pristopom (npr. Markove verige, imenovane tudi n-gramski modeli), so se s\u010dasoma pridru\u017eili jezikovni modeli, zgrajeni iz nevronskih mre\u017e<sup>1<\/sup>. Postajali so vse bolj razviti v smislu strukture in velikosti nevronskih mre\u017e.<\/p>\n<p class=\"indent\">Veliki jezikovni modeli so tak\u0161no ime dobili zato, ker temeljijo na velikih nevronskih mre\u017eah, ki se u\u010dijo na ogromnih koli\u010dinah podatkov.<\/p>\n<p><iframe loading=\"lazy\" id=\"oembed-1\" title=\"Zakaj so podatki tako pomembni za UI?\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/UOgkg1uNXec?list=PLkm8ZqYSzE3fv8uQT7zz1I_Tvelj0U2vd\" frameborder=\"0\" allowfullscreen=\"allowfullscreen\"><\/iframe><\/p>\n<p class=\"no-indent\">Za\u010denjamo torej s trditvijo, da jezikovni modeli <em>generirajo<\/em> besedila in pri tem ne gre le za preprost priklic besedil iz vnaprej sestavljenih baz znanja.<\/p>\n<p class=\"indent\">Zaradi generativne in intuitivne narave jezikovnih modelov je te\u017eko predvideti, kako se bo sistem velikega jezikovnega modela odzval na uporabni\u0161ke vnose. Ta zna\u010dilnost odra\u017ea nezaupanje do tak\u0161nih sistemov v zvezi z njihovo potencialno zmo\u017enostjo ustvarjanja napa\u010dnega ali neto\u010dnega besedila.<\/p>\n<p class=\"indent\">Ta zna\u010dilnost je tako velik tehnolo\u0161ki dose\u017eek v smislu zmo\u017enosti stroja, da razume in proizvede besedilo, hkrati pa ena glavnih nevarnosti tovrstnih tehnologij.<\/p>\n<p>Poglejmo podrobneje tak\u0161ne sisteme.<\/p>\n<p>Kot z vsako tehnolo\u0161ko revolucijo je tudi s tem prebojem povezanih ve\u010d dejavnikov. Tukaj omenjamo nekatere, hkrati pa bralca usmerjamo k bolj poglobljenemu branju:<\/p>\n<ul>\n<li><strong>Velikost mre\u017ee:<\/strong> meri se s \u0161tevilom u\u010djivih parametrov znotraj mre\u017ee. Veliki jezikovni modeli so globoke nevronske mre\u017ee, za katere je zna\u010dilno osupljivo \u0161tevilo vozli\u0161\u010d in plasti. Za la\u017ejo predstavo: nekateri strokovnjaki na tem podro\u010dju jezikovne modele ozna\u010dijo kot &#8220;velike&#8221;, \u010de vsebujejo ve\u010d kot 10 milijard parametrov. Model GPT3 ima 150 milijard parametrov, najve\u010dja razli\u010dica LLAMa v2 pa pribli\u017eno 70 milijard.<\/li>\n<li><strong>Arhitektura mre\u017ee:<\/strong> uspe\u0161nosti ne zagotavlja le velikost mre\u017ee, ampak tudi na\u010din, kako so vozli\u0161\u010da in razli\u010dne plasti nevronske mre\u017ee medsebojno povezani. Tudi tukaj lahko na preprost na\u010din opi\u0161emo <a href=\"https:\/\/pressbooks.pub\/umetnaintelligenca\/chapter\/transformers\/\">transformatorske mre\u017ee in mehanizme pozornosti <\/a>kot glavne arhitekturne inovacije, ki pomagajo razumeti izbolj\u0161ano u\u010dinkovitost teh mre\u017e.<\/li>\n<li><strong>Koli\u010dina u\u010dnih podatkov:<\/strong> razpolo\u017eljivost velike koli\u010dine podatkov je nedvomno bistven element pri u\u010denju tak\u0161nih modelov, kar je sicer znano \u017ee dolgo \u010dasa. Klju\u010dni dejavnik inovacije je v tehnikah u\u010denja ter v procesu izbire in priprave, ki vodi od podatkov do u\u010dnega niza (samonadzorovano u\u010denje).<\/li>\n<li><strong>Aktualna ra\u010dunalni\u0161ka zmogljivost:<\/strong> pove\u010dana ra\u010dunalni\u0161ka zmogljivost je seveda igrala odlo\u010dilno vlogo pri razvoju mre\u017e. Empiri\u010dne izku\u0161nje ka\u017eejo, da je prav faktor pove\u010danja eden bistvenih parametrov za pojav omenjenih tehnologij.<\/li>\n<li><strong>Mehanizmi za uravnavanje<\/strong> predstavljajo zadnji korak v procesu izgradnje takih modelov. Govorimo predvsem o mehanizmih spodbujevalnega u\u010denja, ki vklju\u010dujejo \u010dlove\u0161ke povratne informacije in razvr\u0161\u010danje. To prispeva k opredelitvi modela in omogo\u010da generiranje odgovorov, ki so bolj usklajeni z namenom uporabnika. Drugi procesi uravnavanja pa omogo\u010dajo specializacijo in izbolj\u0161anje vedenja nevronskih mre\u017e pri izvajanju specifi\u010dnih nalog.<\/li>\n<li><strong>Varnostni ukrepi:<\/strong> poleg modela globokega u\u010denja obstajajo ad hoc tehnike, namenjene ubla\u017eitvi ranljivosti sistema pri nevarnih vnosih in prepre\u010devanju ne\u017eelenega vedenja pri varnih in nevarnih vnosih.<\/li>\n<\/ul>\n<p class=\"no-indent\">Ko se seznanimo z razli\u010dnimi dejavniki velikih jezikovnih modelov, nam ostane le \u0161e raziskovanje potenciala tak\u0161nih sistemov tako, da jih preizkusimo v svojem izobra\u017eevalnem kontekstu. Zato vas spodbujamo, da preizkusite klepet s ChatGPT ali Bardom; naj vam pomagata generirati nove naloge za u\u010dence in jih prilagoditi specifiki va\u0161e u\u010dilnice, ali ustvariti nove na\u010drte u\u010dnih ur itd. Vse je odvisno od va\u0161e ustvarjalnosti in od tega, kako komunicirate s tak\u0161nimi sistemi.<\/p>\n<p class=\"no-indent\"><strong>Opomba:<\/strong> ve\u010d o opisanih dejavnikih si preberite s pomo\u010djo seznama virov.<\/p>\n<hr \/>\n<p class=\"hanging-indent\"><sup>1 <\/sup>Bengio, Y., Ducharme, R., &amp; Vincent, P., A neural probabilistic language model. Advances in neural information processing systems, 13, 2000.<\/p>\n<p class=\"hanging-indent\"><sup>2<\/sup> Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., &#8230; &amp; Polosukhin, I., <em>Attention is all you need,<\/em> Advances in neural information processing systems, 30, 2017.<\/p>\n","protected":false},"author":1,"menu_order":5,"template":"","meta":{"pb_show_title":"","pb_short_title":"","pb_subtitle":"","pb_authors":["fabrizio-falchi","manuel-gentile"],"pb_section_license":""},"chapter-type":[],"contributor":[71,63],"license":[],"part":161,"_links":{"self":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapters\/180"}],"collection":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapters"}],"about":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/wp\/v2\/types\/chapter"}],"author":[{"embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":1,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapters\/180\/revisions"}],"predecessor-version":[{"id":181,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapters\/180\/revisions\/181"}],"part":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/parts\/161"}],"metadata":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapters\/180\/metadata\/"}],"wp:attachment":[{"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/wp\/v2\/media?parent=180"}],"wp:term":[{"taxonomy":"chapter-type","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/pressbooks\/v2\/chapter-type?post=180"},{"taxonomy":"contributor","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/wp\/v2\/contributor?post=180"},{"taxonomy":"license","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/umetnainteligenca\/wp-json\/wp\/v2\/license?post=180"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}