Pi\u00f9 di recente, i chatbot, gli assistenti domestici e gli strumenti di traduzione automatica hanno avuto un enorme impatto in tutti i settori.<\/p>\n\n\n[caption id=\"attachment_146\" align=\"alignleft\" width=\"394\"]![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/12\/2023\/11\/ch5-page-3-sign-language-scaled-2.jpg\")
\"Learning sign language\" by daveynin pubblicato con licenza CC BY 2.0. Per visualizzare una copia di questa licenza, visitare https:\/\/creativecommons.org\/licenses\/by\/2.0\/?ref=openverse.[\/caption]\n
Per molto tempo, la ricerca e l'industria sono state bloccate dalla complessit\u00e0 intrinseca del linguaggio. Alla fine del XX secolo, le grammatiche di una lingua, scritte da esperti, potevano avere fino a 50.000 regole. Questi sistemi esperti<\/strong> dimostravano che la tecnologia poteva fare la differenza, ma le soluzioni robuste erano troppo complesse da sviluppare.<\/p>\n D'altra parte, il riconoscimento vocale <\/strong>doveva essere in grado di utilizzare i dati acustici e trasformarli in testo. Con la variet\u00e0 di parlanti che si possono trovare, un compito davvero difficile!<\/p>\n I ricercatori hanno capito che se avessimo avuto un modello della lingua desiderata, le cose sarebbero state pi\u00f9 facili: se avessimo saputo quali erano le parole della lingua, come si formavano le frasi, allora sarebbe stato pi\u00f9 facile trovare la frase giusta da un insieme di candidati che corrispondesse a un dato enunciato, o produrre una traduzione valida da un insieme di possibili sequenze di parole.<\/p>\n Un altro tema cruciale \u00e8 stato quello della semantica<\/strong>. La maggior parte del lavoro che possiamo fare per risolvere questioni linguistiche \u00e8 superficiale: gli algoritmi produrranno una risposta basata su alcune regole sintattiche locali. Se alla fine il testo non significa nulla, cos\u00ec sia. Una cosa simile pu\u00f2 accadere quando leggiamo un testo di qualche alunno: possiamo correggere gli errori senza capire veramente di cosa parla il testo! La vera sfida \u00e8 associare il significato al testo e, quando possibile, alle frasi pronunciate.<\/p>\nhttps:\/\/www.youtube.com\/watch?v=bU-EgArpNBQ&list=PLkm8ZqYSzE3cAymh6B9HHNoQluFEDQXkq&index=13&pp=iAQB\n Nel 2008 \u00e8 stato raggiunto un risultato sorprendente1<\/sup>: un unico modello linguistico poteva essere appreso da una grande quantit\u00e0 di dati e utilizzato per una variet\u00e0 di compiti linguistici. In effetti, quel modello unico aveva prestazioni migliori rispetto ai modelli addestrati per i compiti specifici.<\/p>\n Il modello era una rete neurale profonda. Non cos\u00ec profonda come i modelli usati oggi! Ma abbastanza da convincere la ricerca e l'industria che l'apprendimento automatico, e pi\u00f9 specificamente l'apprendimento profondo, sarebbe stato la risposta a molte domande in NLP (Natural Language Processing).<\/p>\n Da allora, l'elaborazione del linguaggio naturale (NLP) ha smesso di seguire un approccio basato sui modelli e si \u00e8 quasi sempre basata su un approccio basato sui dati.<\/p>\n Tradizionalmente, i principali compiti linguistici possono essere suddivisi in due famiglie: quelli che riguardano la costruzione di modelli e quelli che riguardano la decodifica.<\/p>\n\n Per trascrivere, rispondere a domande, generare dialoghi o tradurre, \u00e8 necessario essere in grado di sapere se \"Je parle Fran\u00e7ais\" \u00e8 effettivamente una frase in francese oppure no. E poich\u00e9 nel linguaggio parlato la grammatica non \u00e8 sempre seguita con precisione, la risposta dovr\u00e0 essere probabilistica: una frase \u00e8 pi\u00f9 o meno<\/em> francese.Questo permette al sistema di produrre diverse frasi candidate (come la trascrizione di un suono, la traduzione di una frase, ...) e la probabilit\u00e0 pu\u00f2 essere un punteggio. Si pu\u00f2 prendere la frase pi\u00f9 alta in classifica o combinare il punteggio con altre fonti di informazione (si pu\u00f2 anche essere interessati all'argomento della frase).<\/p>\n I modelli linguistici fanno questo: le probabilit\u00e0 sono costruite da algoritmi di apprendimento automatico. Naturalmente, pi\u00f9 dati ci sono, meglio \u00e8. Per alcune lingue ci sono molti dati su cui costruire i modelli linguistici. Per altre non \u00e8 cos\u00ec: si tratta di lingue con poche risorse.<\/p>\n Nel caso della traduzione, vogliamo non 2 ma 3 modelli: un modello linguistico per ogni lingua e un altro modello per le traduzioni, che ci informi su quali possano essere le migliori traduzioni di frammenti di lingua. Questi modelli sono difficili da produrre quando i dati sono scarsi. Se i modelli per le coppie di lingue comuni sono pi\u00f9 facili da costruire, non sar\u00e0 cos\u00ec per le lingue che non sono frequentemente parlate insieme (ad esempio il portoghese e lo sloveno). Una tipica via d'uscita in questo caso \u00e8 quella di utilizzare una lingua pivot (tipicamente l'inglese) e tradurre attraverso questa lingua pivot: dal portoghese all'inglese e poi dall'inglese allo sloveno. Ovviamente i risultati sono inferiori perch\u00e9 gli errori si accumulano.<\/p>\n\n La decodifica \u00e8 il processo con cui un algoritmo prende la sequenza in ingresso (che pu\u00f2 essere un segnale o un testo) e, consultando i modelli, prende una decisione, che spesso sar\u00e0 un testo in uscita. Ci sono alcune considerazioni di carattere algoritmico: in molti casi la trascrizione e la traduzione devono avvenire in tempo reale e la riduzione del ritardo \u00e8 un aspetto fondamentale. C'\u00e8 quindi spazio per l'intelligenza artificiale.<\/p>\n\n Oggi, l'approccio che prevede la costruzione di questi componenti separatamente e la loro successiva combinazione \u00e8 stato sostituito da approcci end-to-end<\/em> in cui il sistema trascrive\/traduce\/interpreta l'input attraverso un modello unico. Attualmente, tali modelli sono addestrati da reti neurali profonde che possono essere enormi: si dice che l'attuale modello GPT3 pi\u00f9 grande comprenda diverse centinaia di milioni di parametri!<\/p>\n\n\n[caption id=\"attachment_146\" align=\"alignleft\" width=\"357\"] Proviamo a dare un'occhiata a questa intuizione: supponiamo di avere dei dati. Questi dati grezzi possono essere codificati in qualche modo. Ma la codifica pu\u00f2 essere molto ridondante e forse anche costosa. Costruiamo ora una macchina particolare, chiamata autocodificatore (vedi schema sotto). Questa macchina sar\u00e0 in grado di prendere un testo, comprimerlo in un piccolo vettore (questo \u00e8 il codificatore), e poi decomprimere il vettore (la parte del decodificatore) e restituire un testo che \u00e8 in qualche modo vicino al testo originale. L'idea \u00e8 che questo meccanismo renda il vettore intermedio molto significativo con due propriet\u00e0 desiderabili: un vettore ragionevolmente piccolo che \"contiene\" le informazioni del testo iniziale.<\/p>\n\n Un esempio di end-to-end che vedremo presto sar\u00e0 in grado di svolgere il seguente compito: vi ascolter\u00e0 parlare la vostra lingua, trascriver\u00e0 il vostro testo, lo tradurr\u00e0 in una lingua che non conoscete, addestrer\u00e0 un sistema di sintesi vocale alla vostra voce e far\u00e0 in modo che la vostra voce pronunci il testo corrispondente in una nuova frase. Ecco due esempi prodotti dai ricercatori dell'Universidad Politecnica de Valencia, in Spagna, in cui il modello vocale dell'oratore viene utilizzato per il doppiaggio.<\/p>\n[embed]https:\/\/www.youtube.com\/embed\/MIwBWUF334E[\/embed]\n\n[embed]https:\/\/www.youtube.com\/embed\/VBevQ77PQzw[\/embed]\n I progressi costanti dell'elaborazione del linguaggio naturale sono notevoli. Se solo 10 anni fa ridevamo delle traduzioni stupide proposte dall'intelligenza artificiale, oggi \u00e8 sempre pi\u00f9 difficile trovare errori grossolani. Anche le tecniche di riconoscimento vocale e di riconoscimento dei caratteri stanno migliorando rapidamente.<\/p>\n Le sfide semantiche sono ancora presenti e la risposta a domande che richiedono una comprensione profonda di un testo non funziona ancora bene. Ma le cose stanno andando nella giusta direzione. Ci\u00f2 significa che l'insegnante dovrebbe aspettarsi che alcune delle seguenti affermazioni diventino presto vere, se non lo sono gi\u00e0:<\/p>\n\n In questi esempi \u00e8 chiaro che l'IA sar\u00e0 tutt'altro che perfetta e l'esperto si accorger\u00e0 che se il linguaggio \u00e8 corretto, non lo \u00e8 il flusso di idee. Ma diciamocelo: nel corso dell'istruzione, quanto tempo ci vuole perch\u00e9 i nostri alunni e studenti raggiungano questo livello?<\/p>\n\n\n 1<\/sup> Collobert, Ronan, and Jason Weston. \u201cA unified architecture for natural language processing: Deep neural networks with multitask learning.<\/em>\u201d Proceedings of the 25th international conference on Machine learning. 2008. http:\/\/machinelearning.org\/archive\/icml2008\/papers\/391.pdf<\/a>. Nota: questo riferimento \u00e8 dato per ragioni storiche. Ma \u00e8 difficile da leggere!<\/p>","rendered":" L’elaborazione del linguaggio naturale \u00e8 un argomento su cui la ricerca ha lavorato a lungo negli ultimi 50 anni. Ci\u00f2 ha portato allo sviluppo di molti strumenti che utilizziamo quotidianamente:<\/p>\nCostruire modelli<\/h3>\n
Decodifica<\/h3>\n
End-to-end<\/h3>\n
![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/12\/2023\/11\/ch5-page-3-Autoencoder.png\")
Chervinskii, Wikimedia Commons pubblicato con licenza CC BY-SA 4.0. Per visualizzare una copia di questa licenza, visitare https:\/\/creativecommons.org\/licenses\/by\/2.0\/?ref=openverse<\/a>.[\/caption]\nIl futuro<\/h3>\n
Alcune conseguenze per l'istruzione<\/h3>\n
\n \t
\n