M\u00e1s recientemente, los chatbots, asistentes dom\u00e9sticos y herramientas de traducci\u00f3n autom\u00e1tica han estado teniendo un enorme impacto en todas las \u00e1reas.<\/p>\r\n\r\n\r\n[caption id=\"attachment_414\" align=\"alignleft\" width=\"394\"] Durante mucho tiempo, la investigaci\u00f3n y la industria estuvieron estancadas por la complejidad intr\u00ednseca del lenguaje. Al final del siglo XX, las gram\u00e1ticas de un idioma, escritas por expertos, podr\u00edan tener hasta 50,000 reglas. Estos sistemas expertos<\/strong> demostraban que la tecnolog\u00eda podr\u00eda marcar una diferencia, pero las soluciones robustas eran demasiado complejas para ser desarrolladas.<\/p>\r\n Por otro lado, el reconocimiento de voz<\/strong> necesitaba poder hacer uso de datos ac\u00fasticos y transformarlos en texto. \u00a1Con la variedad de hablantes que uno podr\u00eda encontrar, una tarea realmente dif\u00edcil!<\/p>\r\n Los investigadores entendieron que si ten\u00edamos un modelo para el idioma deseado, las cosas ser\u00edan m\u00e1s f\u00e1ciles. Si conoci\u00e9ramos las palabras del idioma, c\u00f3mo se forman las oraciones, entonces ser\u00eda m\u00e1s f\u00e1cil encontrar la oraci\u00f3n correcta de un conjunto de candidatos para coincidir con una expresi\u00f3n dada, o para producir una traducci\u00f3n v\u00e1lida de un conjunto de posibles secuencias de palabras.<\/p>\r\n Otro aspecto crucial ha sido el de la sem\u00e1ntica<\/strong>. La mayor parte del trabajo que podemos hacer para resolver preguntas ling\u00fc\u00edsticas es superficial; los algoritmos producir\u00e1n una respuesta basada en algunas reglas sint\u00e1cticas locales. Si al final, el texto no significa nada, as\u00ed sea. Algo similar puede suceder cuando leemos un texto de algunos estudiantes: \u00a1podemos corregir los errores sin realmente entender de qu\u00e9 trata el texto! Un verdadero desaf\u00edo es asociar significado al texto y, cuando sea posible, a las oraciones pronunciadas.<\/p>\r\nhttps:\/\/youtu.be\/mANPrlfil3Q\r\n Hubo un resultado sorprendente en 20081<\/sup>. Un \u00fanico modelo de lenguaje<\/strong> podr\u00eda aprenderse de una gran cantidad de datos y usarse para una variedad de tareas ling\u00fc\u00edsticas. De hecho, ese modelo \u00fanico funcion\u00f3 mejor que los modelos entrenados para tareas espec\u00edficas.<\/p>\r\n El modelo era una red neuronal profunda<\/a>. \u00a1Nada tan profundo como los modelos utilizados hoy en d\u00eda! Pero suficiente para convencer a la investigaci\u00f3n y la industria de que el AA, y m\u00e1s espec\u00edficamente el aprendizaje profundo, iba a ser la respuesta a muchas preguntas en PLN.<\/p>\r\n Desde entonces, el procesamiento del lenguaje natural ha dejado de seguir un enfoque basado en modelos y ha estado casi siempre basado en un enfoque basado en datos.<\/p>\r\n Tradicionalmente, las principales tareas ling\u00fc\u00edsticas se pueden descomponer en dos familias: aquellas que involucran la construcci\u00f3n de modelos y aquellas que involucran la decodificaci\u00f3n.<\/p>\r\n\r\n Para transcribir, responder preguntas, generar di\u00e1logos o traducir, necesitas poder saber si \"Je parle Fran\u00e7ais\" es de hecho una oraci\u00f3n en franc\u00e9s. Y como con los idiomas hablados, las reglas de gram\u00e1tica no siempre se siguen con precisi\u00f3n, por lo que la respuesta tiene que ser probabil\u00edstica. Una oraci\u00f3n puede ser m\u00e1s o menos<\/em> francesa. Esto permite al sistema producir diferentes oraciones candidatas (como la transcripci\u00f3n de un sonido, o la traducci\u00f3n de una oraci\u00f3n) y la probabilidad se da como una puntuaci\u00f3n asociada con cada candidato. Podemos tomar la oraci\u00f3n con la puntuaci\u00f3n m\u00e1s alta o combinar la puntuaci\u00f3n con otras fuentes de informaci\u00f3n (tambi\u00e9n podemos estar interesados en de qu\u00e9 trata la oraci\u00f3n).<\/p>\r\n Los modelos de lenguaje hacen esto, y las probabilidades se construyen a partir de algoritmos de AA. Y por supuesto, cuanto m\u00e1s datos haya, mejor. Para algunos idiomas hay muchos datos a partir de los cuales construir modelos de lenguaje. Para otros, este no es el caso; estos son idiomas con recursos insuficientes.<\/p>\r\n En el caso de la traducci\u00f3n, queremos no dos sino tres modelos: un modelo de lenguaje para cada idioma y otro modelo para las traducciones, inform\u00e1ndonos cu\u00e1les son las mejores traducciones de fragmentos de lenguaje. Estos son dif\u00edciles de producir cuando los datos son escasos. Si los modelos para pares de idiomas comunes son m\u00e1s f\u00e1ciles de construir, este no ser\u00e1 el caso para idiomas que no se hablan frecuentemente juntos (como el portugu\u00e9s y el esloveno). Una salida t\u00edpica de esto es usar un idioma pivote<\/em> (t\u00edpicamente ingl\u00e9s) y traducir a trav\u00e9s de este idioma pivote: del portugu\u00e9s al ingl\u00e9s y luego del ingl\u00e9s al esloveno. Esto llevar\u00e1 a resultados inferiores ya que los errores se acumulan.<\/p>\r\n\r\n La decodificaci\u00f3n es el proceso en el cual un algoritmo toma la secuencia de entrada (que puede ser se\u00f1al o texto) y, consultando los modelos, toma una decisi\u00f3n, que a menudo ser\u00e1 un texto de salida. Aqu\u00ed hay algunas consideraciones algor\u00edtmicas: en muchos casos, la transcripci\u00f3n y la traducci\u00f3n deben ocurrir en tiempo real y disminuir el retraso temporal es un tema clave. As\u00ed que hay espacio para mucha IA.<\/p>\r\n\r\n Hoy en d\u00eda, el enfoque de construir estos componentes por separado y combinarlos m\u00e1s tarde ha sido reemplazado por enfoques de extremo a extremo<\/em> en los cuales el sistema transcribir\u00e1\/traducir\u00e1\/interpretar\u00e1 la entrada a trav\u00e9s de un modelo \u00fanico. Actualmente, tales modelos son entrenados por redes neuronales profundas, que pueden ser enormes. \u00a1Se informa que el modelo GPT3 m\u00e1s grande actualmente comprende varios cientos de millones de par\u00e1metros!<\/p>\r\n\r\n\r\n[caption id=\"attachment_413\" align=\"alignleft\" width=\"357\"] Intentemos entender la intuici\u00f3n detr\u00e1s de este proceso. Supongamos que tenemos algunos datos. Estos datos brutos pueden codificarse de alguna manera. Pero la codificaci\u00f3n puede ser redundante, e incluso costosa. Construyamos ahora una m\u00e1quina particular, llamada un auto-codificador (ver diagrama a la izquierda). Esta m\u00e1quina ser\u00e1 capaz de tomar un texto, comprimirlo en un peque\u00f1o vector (esta es la parte del codificador), y luego descomprimir el vector (la parte del decodificador) y devolver un texto que de alguna manera se acerque al texto original. La idea es que este mecanismo har\u00e1 que el vector intermedio sea significativo, con dos propiedades deseables: un vector razonablemente peque\u00f1o que 'contiene' la informaci\u00f3n en el texto inicial.<\/p>\r\n\r\n Un ejemplo de un proceso de extremo a extremo que podr\u00eda estar disponible pronto ser\u00e1 la capacidad de realizar la siguiente tarea: te escuchar\u00e1 hablar tu idioma, transcribir\u00e1 tu texto, lo traducir\u00e1 a un idioma que no conoces, entrenar\u00e1 un sistema de s\u00edntesis de voz a tu voz, y har\u00e1 que tu propia voz hable el texto correspondiente en una nueva oraci\u00f3n. Aqu\u00ed hay dos ejemplos producidos por investigadores de la Universidad Polit\u00e9cnica de Valencia, Espa\u00f1a, en los que se utiliza el modelo de voz del propio hablante para hacer el doblaje.<\/p>\r\n[embed]https:\/\/www.youtube.com\/embed\/MIwBWUF334E[\/embed]\r\n\r\n[embed]https:\/\/www.youtube.com\/embed\/VBevQ77PQzw[\/embed]\r\n El progreso constante del procesamiento del lenguaje natural es notable. Hace solo diez a\u00f1os nos re\u00edamos de las traducciones propuestas por la IA. Cada vez es m\u00e1s dif\u00edcil encontrar errores tan obvios hoy en d\u00eda. Las t\u00e9cnicas de reconocimiento de voz y de reconocimiento de caracteres tambi\u00e9n est\u00e1n mejorando r\u00e1pidamente.<\/p>\r\n Los desaf\u00edos sem\u00e1nticos todav\u00eda est\u00e1n ah\u00ed, y responder preguntas que requieren una comprensi\u00f3n profunda de un texto todav\u00eda no es del todo correcto. Pero las cosas van en la direcci\u00f3n correcta. Esto significa que el profesor deber\u00eda esperar que algunas de las siguientes afirmaciones sean ciertas pronto, \u00a1si es que ya no lo son!<\/p>\r\n\r\n Est\u00e1 claro que la IA estar\u00e1 lejos de ser perfecta, y el experto detectar\u00e1 que incluso si el lenguaje es correcto, el flujo de ideas no lo ser\u00e1. Pero enfrent\u00e9moslo: durante el curso de la educaci\u00f3n, \u00bfcu\u00e1nto tiempo llevar\u00e1 que nuestros estudiantes alcancen ese nivel?<\/p>\r\n\r\n\r\n 1<\/sup> Collobert, R., & Weston, J.<\/strong> (2008). A unified architecture for natural language processing: Deep neural networks with multitask learning. En Proceedings of the 25th International Conference on Machine Learning<\/em> (pp.\u202f160\u2013167). ACM. http:\/\/machinelearning.org\/archive\/icml2008\/papers\/391.pdf<\/a><\/p>\r\n Nota: esta referencia se da por razones hist\u00f3ricas. \u00a1Pero es dif\u00edcil de leer!<\/p>","rendered":" El procesamiento del lenguaje natural ha sido un tema sobre el cual la investigaci\u00f3n ha trabajado extensamente durante los \u00faltimos 50 a\u00f1os. Esto ha llevado al desarrollo de muchas herramientas que usamos todos los d\u00edas:<\/p>\n M\u00e1s recientemente, los chatbots, asistentes dom\u00e9sticos y herramientas de traducci\u00f3n autom\u00e1tica han estado teniendo un enorme impacto en todas las \u00e1reas.<\/p>\n Durante mucho tiempo, la investigaci\u00f3n y la industria estuvieron estancadas por la complejidad intr\u00ednseca del lenguaje. Al final del siglo XX, las gram\u00e1ticas de un idioma, escritas por expertos, podr\u00edan tener hasta 50,000 reglas. Estos sistemas expertos<\/strong> demostraban que la tecnolog\u00eda podr\u00eda marcar una diferencia, pero las soluciones robustas eran demasiado complejas para ser desarrolladas.<\/p>\n Por otro lado, el reconocimiento de voz<\/strong> necesitaba poder hacer uso de datos ac\u00fasticos y transformarlos en texto. \u00a1Con la variedad de hablantes que uno podr\u00eda encontrar, una tarea realmente dif\u00edcil!<\/p>\n Los investigadores entendieron que si ten\u00edamos un modelo para el idioma deseado, las cosas ser\u00edan m\u00e1s f\u00e1ciles. Si conoci\u00e9ramos las palabras del idioma, c\u00f3mo se forman las oraciones, entonces ser\u00eda m\u00e1s f\u00e1cil encontrar la oraci\u00f3n correcta de un conjunto de candidatos para coincidir con una expresi\u00f3n dada, o para producir una traducci\u00f3n v\u00e1lida de un conjunto de posibles secuencias de palabras.<\/p>\n Otro aspecto crucial ha sido el de la sem\u00e1ntica<\/strong>. La mayor parte del trabajo que podemos hacer para resolver preguntas ling\u00fc\u00edsticas es superficial; los algoritmos producir\u00e1n una respuesta basada en algunas reglas sint\u00e1cticas locales. Si al final, el texto no significa nada, as\u00ed sea. Algo similar puede suceder cuando leemos un texto de algunos estudiantes: \u00a1podemos corregir los errores sin realmente entender de qu\u00e9 trata el texto! Un verdadero desaf\u00edo es asociar significado al texto y, cuando sea posible, a las oraciones pronunciadas.<\/p>\n![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/spanishwithchatgpt\/wp-content\/uploads\/sites\/20\/2024\/02\/ch5-page-3-sign-language-scaled-1.jpg\")
\"Aprendiendo lenguaje de se\u00f1as\" por Daveynin. Licencia CC BY 2.0. https:\/\/creativecommons.org\/licenses\/by\/2.0\/?ref=openverse<\/a>.[\/caption]\r\nConstrucci\u00f3n de modelos<\/h3>\r\n
Decodificaci\u00f3n<\/h3>\r\n
De extremo a extremo<\/h3>\r\n
![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/spanishwithchatgpt\/wp-content\/uploads\/sites\/20\/2024\/02\/ch5-page-3-Autoencoder.png\")
Chervinskii, Wikimedia Commons. Licencia CC BY-SA 4.0 https:\/\/creativecommons.org\/licenses\/by\/2.0\/?ref=openverse<\/a>.[\/caption]\r\nEl futuro<\/h3>\r\n
Algunas consecuencias para la educaci\u00f3n<\/h3>\r\n
\r\n \t
\r\n\n