40. #TerritorioBigData40 con Leyre Sánchez y Begoña Vega 6n3c5z

Datos datos y más datos todo conectado a nuestro alrededor a hacer la vida más sencilla alcanzando un futuro que nunca imaginado inteligencia artificial internet de las cosas ciudades inteligentes si estás escuchando un territorio de ira pensé iron mike sin bienvenidos a una nueva cita con nuestro podcast territorio big data en esta ocasión nos vamos a adentrar en el mundo del lenguaje computacional en lo que podríamos denominar algo así como hablando con las máquinas para ello hemos recurrido a dos expertas en el universo de los llamados l m s p nos acompañan leire sánchez lingüista computacional y begoña vega directora de modelos de inteligencia artificial y aplicaciones ambas en innovate sn bienvenidas leire begoña hola muchas gracias hola josé luis muchas gracias por la invitación aunque lo habitual es que en territorio de big data hablemos con directores de datos de empresas finales en esta ocasión eh dotar este tema porque es un tema de actualidad y sobre todo porque hace unas semanas escucharle iré en un evento en madrid y me impactó como explico los el mes y cómo ha llegado desde entonces ha app así que el aire si puedes contarnos a los seguidores de big data magazine lo mismo que contaste en aquella sala de guinea polis en madrid hace unas semanas te lo agradecería eternamente si pues bueno para desde hace unos meses con el surgimiento de c t oímos hablar mucho de los l m de los en inglés la lengua modos grandes modelos de lenguaje pero para entender lo que son primero debemos entender lo que es un modelo el lenguaje un modelo en el lenguaje es simplemente un sistema que dada una secuencia de palabras es capaz de predecir la palabra siguiente los primeros sistemas te surgieron de este tipo se basaban en la asunción de que mirando un número determinado de palabras anteriores podemos decir la palabra siguiente entonces por ejemplo en el caso de el verano pasado me pues si miramos las tres palabras anteriores verano pasado me podemos predecir que va a venir pues puede ser el verano pasado me fui me fui de vacaciones el verano pasado me me compré me compré un coche pero sabemos que no va a ser el verano pasado me alfombra o cualquier otra palabra que no sea que no tenga nada que ver entonces estos primeros sistemas pues miraban simplemente las dos o tres o un número determinado de palabras anteriores que pasa que la lengua es mucho más compleja que eso y tiene fenómenos de dependencias de larga distancia entonces no puedes predecir la palabra que va a venir simplemente mirando un número de palabras anteriores por ejemplo en en el mismo ejemplo en el mismo ejemplo que estábamos del que estábamos hablando si decimos el verano pasado tras tras muchos meses de preparación y de esperarlo con ansia me pues si sólo miras a los a las tres palabras anteriores con ansia me pues ya no vas a decir me fui de haber muchas otras opciones realmente para predecir el fui tienes cierta mirar al principio de la frase ah el verano pasado entonces se vio que había que desarrollar sistemas que tuvieran en consideración todo el contexto toda la la la frase entera entonces cómo se hace eso empezaron a surgir las bebés recurrentes neuronales que simplemente son redes neuronales espero que implementan un un mecanismo de recurrencia que es capaz de almacenar es como una memoria que almacena todas las palabras que van que van saliendo en la frase dulces en vez de mirar a las dos o tres palabras anteriores miras a esa memoria que ha almacenado todas las palabras que hayan salido y luego hay otro mecanismo también fundamental que es el mecanismo de atención que es capaz de con todas las palabras que han salido ponderar la importancia de cada una para la previa acción de la palabra siguiente en este caso como hemos dicho verano pasado son las dos palabras que tendrían más importancia a las que hay que hacer más a las que hay que poner más atención para poder predecir el me fui claro el problema del aire es que