La grande popolarit\u00e0 ottenuta in un periodo di tempo breve dai sistemi di dialogo in linguaggio naturale comparsi recentemente (come ChatGPT, Bard e LLAMa2-chat) che utilizzano modelli linguistici di grandi dimensioni ha generato dibattiti accesi tuttora aperti su svariati aspetti. \u00c8 indubbiamente affascinante chiedersi come un sistema informatico regolato da equazioni matematiche relativamente semplici sia in grado di generare comportamenti che molti definirebbero \u2018intelligenti\u2019.<\/p>\n
Tuttavia, questo capitolo non cercher\u00e0 di fornire risposte a interrogativi come: \u00abI modelli LLM hanno comportamenti che possiamo definire intelligenti?\u00bb, \u00abQual \u00e8 la vera natura dell\u2019intelligenza umana?\u00bb, \u00abCome possiamo definire la creativit\u00e0?\u00bb<\/em> e ad altre domande analoghe di sicuro interesse che rimangono e continueranno forse a rimanere per lungo tempo senza risposta e pertanto richiederebbero indagini molto pi\u00f9 approfondite.<\/p>\n Invece, cercheremo di presentare una panoramica accessibile ai non esperti per promuovere la comprensione dei meccanismi alla base del funzionamento dei modelli linguistici di grandi dimensioni. \u00c8 soltanto attraverso una consapevolezza accresciuta di questi meccanismi che \u00e8 possibile comprenderne potenziale e rischi e promuoverne l\u2019uso corretto, soprattutto nel campo dell\u2019istruzione.<\/p>\n Un primo fraintendimento molto diffuso da fugare \u00e8 che questi sistemi siano fondamentalmente delle grandi banche dati costituite da coppie di domande-risposte. Questa idea, che non corrisponde alla realt\u00e0, deriva da pratiche pi\u00f9 o meno diffuse che si sono attestate nel corso degli anni per la creazione dei sistemi chatbot (vi rimandiamo al capitolo pertinente). Nello stesso tempo, questa idea non rende giustizia al carattere generativo dei LLM.<\/p>\n I modelli linguistici sono dei modelli statistici in grado di attribuire una probabilit\u00e0 di ricorrenza ad una porzione di testo (di norma una parola) come funzione di un contesto dato, che di solito \u00e8 definito dalla serie di parole che precede la parola prevista.<\/p>\n Ai modelli elaborati utilizzando un approccio puramente statistico (per es., le catene di Markov, definite anche modelli n-gram) si sono aggiunti nel corso del tempo anche i modelli linguistici ricavati dalle reti neurali1<\/sup>. Questi sono evoluti sia per quanto concerne la struttura delle reti sia per quanto concerne la dimensione di quelle reti.<\/p>\n Oggi definiamo modelli linguistici di grandi dimensioni (LLM) precisamente questo tipo di modelli linguistici basati su reti neurali di grandi dimensioni addestrate su ingenti quantitativi di dati.<\/p>\nhttps:\/\/youtu.be\/FgWUnqT7laE?list=PLkm8ZqYSzE3cAymh6B9HHNoQluFEDQXkq\n Di conseguenza, diamo inizio alla nostra indagine sostenendo che i modelli linguistici generano testi piuttosto che limitarsi a recuperarli da una base di conoscenza precostituita.<\/p>\n L\u2019aspetto generativo e la sua natura essenzialmente fondata sulle intuizioni degli esperti rendono imprevedibile come un sistema LLM potrebbe reagire agli input di un utente. Questa caratteristica pertanto porta a diffidare di questi sistemi in relazione alla loro potenziale capacit\u00e0 di generare testi falsi o imprecisi.<\/p>\n Pertanto, questo attributo \u00e8 sia un traguardo tecnologico notevole per quanto concerne la capacit\u00e0 della macchina di comprendere e produrre testi sia, e contestualmente, uno dei principali pericoli di queste tecnologie.<\/p>\n Cerchiamo per\u00f2 di conoscere meglio questi sistemi.<\/p>\n Come accade per qualsiasi rivoluzione tecnologica, i fattori dietro a questa scoperta sono molteplici. Semplificando, citiamo i principali offrendo al lettore dei riferimenti in grado di guidarlo in successivi studi approfonditi:<\/p>\n\n A questo punto, consapevoli dei diversi fattori che caratterizzano i LLM, dobbiamo solo esaminare il potenziale di tali sistemi mettendoli alla prova nel nostro contesto didattico. Cerchiamo di parlare a ChatGPT o a Bard in modo che ci aiutino a elaborare nuovi esercizi e ad adattarli alle esigenze specifiche dei nostri studenti, a creare nuovi piani didattici con contenuti correlati e molto altro ancora. Dipende tutto dalla vostra creativit\u00e0 e dal modo in cui imparate a dialogare con questi sistemi.<\/p>\n Nota:<\/strong> ognuno di questi fattori richiede il dovuto approfondimento. Possiamo fornire un elenco di riferimenti agli interessati.<\/p>\n \n\n 1 <\/sup>Bengio, Y., Ducharme, R., & Vincent, P., A neural probabilistic language model. Advances in neural information processing systems, 13, 2000.<\/p>\n 2<\/sup> Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I., Attention is all you need,<\/em> Advances in neural information processing systems, 30, 2017.<\/p>","rendered":" La grande popolarit\u00e0 ottenuta in un periodo di tempo breve dai sistemi di dialogo in linguaggio naturale comparsi recentemente (come ChatGPT, Bard e LLAMa2-chat) che utilizzano modelli linguistici di grandi dimensioni ha generato dibattiti accesi tuttora aperti su svariati aspetti. \u00c8 indubbiamente affascinante chiedersi come un sistema informatico regolato da equazioni matematiche relativamente semplici sia in grado di generare comportamenti che molti definirebbero \u2018intelligenti\u2019.<\/p>\n Tuttavia, questo capitolo non cercher\u00e0 di fornire risposte a interrogativi come: \u00abI modelli LLM hanno comportamenti che possiamo definire intelligenti?\u00bb, \u00abQual \u00e8 la vera natura dell\u2019intelligenza umana?\u00bb, \u00abCome possiamo definire la creativit\u00e0?\u00bb<\/em> e ad altre domande analoghe di sicuro interesse che rimangono e continueranno forse a rimanere per lungo tempo senza risposta e pertanto richiederebbero indagini molto pi\u00f9 approfondite.<\/p>\n Invece, cercheremo di presentare una panoramica accessibile ai non esperti per promuovere la comprensione dei meccanismi alla base del funzionamento dei modelli linguistici di grandi dimensioni. \u00c8 soltanto attraverso una consapevolezza accresciuta di questi meccanismi che \u00e8 possibile comprenderne potenziale e rischi e promuoverne l\u2019uso corretto, soprattutto nel campo dell\u2019istruzione.<\/p>\n Un primo fraintendimento molto diffuso da fugare \u00e8 che questi sistemi siano fondamentalmente delle grandi banche dati costituite da coppie di domande-risposte. Questa idea, che non corrisponde alla realt\u00e0, deriva da pratiche pi\u00f9 o meno diffuse che si sono attestate nel corso degli anni per la creazione dei sistemi chatbot (vi rimandiamo al capitolo pertinente). Nello stesso tempo, questa idea non rende giustizia al carattere generativo dei LLM.<\/p>\n I modelli linguistici sono dei modelli statistici in grado di attribuire una probabilit\u00e0 di ricorrenza ad una porzione di testo (di norma una parola) come funzione di un contesto dato, che di solito \u00e8 definito dalla serie di parole che precede la parola prevista.<\/p>\n Ai modelli elaborati utilizzando un approccio puramente statistico (per es., le catene di Markov, definite anche modelli n-gram) si sono aggiunti nel corso del tempo anche i modelli linguistici ricavati dalle reti neurali1<\/sup>. Questi sono evoluti sia per quanto concerne la struttura delle reti sia per quanto concerne la dimensione di quelle reti.<\/p>\n Oggi definiamo modelli linguistici di grandi dimensioni (LLM) precisamente questo tipo di modelli linguistici basati su reti neurali di grandi dimensioni addestrate su ingenti quantitativi di dati.<\/p>\n\n \t
\n