A. Build a Large Language Model - Introducción a PyTorch 125b6

Bienvenidos de nuevo a una inteligencia artificial hablando hoy nos vamos a sumergir en el mundo de petorca ajá y su papel en la construcción de l s distress ante los lars en west moros que están revolucionando la forma en que interactuamos con las máquinas totalmente has preguntado alguna vez cómo fu funcionan internamente modelos como cachi piti así pues hoy vamos a desentrañar estos misterios sabe desde el procesamiento del texto hasta la arquitectura que les da vida exacto vamos a explorar cómo se procesa el texto para que un helen pueda comprenderlo me encanta la arquitectura transformer que actúa como su columna vertebral ajá y como peyton se utiliza para construir estas increíbles herramientas y lo que me parece más fascinante es que los l m s ajá como cachi piti si generan texto palabra por palabra antes como si tuvieran pensando en cada paso ya es casi como magia magia computacional pero supo claro y para entenderla primero debemos comprender cómo se prepara el texto para que estos modelos puedan digerirlo enciendo imagina que tienes un libro entero que quieres que el modelo aprenda puedes simplemente lanzarle el texto sin procesar ya primero hay que dividirlo en unidades más pequeñas llamadas tokens que pueden ser palabras o incluso caracteres como si estuviéramos descomponiendo una frase en sus componentes básicos exactamente y qué sucede después de la tokenización bueno las máquinas no entienden palabras claro necesitan números así que cada token se le asigna un id único un número que lo representa interesante aquí viene lo interesante si estos ibis de tokens se transforman en vectores haga secuencias de números que capturan sí no solo el significado individual de la palabra sino también sus relaciones con otras palabras ya veo es como un mapa de significado multidimensional espera estás diciendo que cada palabra se convierte en un punto en un espacio multidimensional y las palabras con significados similares están más cerca exactamente y no solo significado sino también las relaciones gramaticales ah y contextuales se reflejan en este espacio vectorial entiende piensa en palabra banco vale su vector será diferente si estamos hablando de un banco para sentarse o de una institución financiera el contexto lo es todo eso es increíble ahora entiendo como el modelo puede empezar a comprender el sí significado y las relaciones entre las palabras exacto pero cómo se utiliza esta información para generar texto aquí es donde entra en juego la arquitectura transforme la base de los modernos interesan para comprenderla si imaginemos un modelo como repetir es modelo de codera es decir solo se enfoca en la década aplicación de información para generar texto y en qué se diferencia de los modelos incoder decora los modelos en correré cora como ver a se utilizan para tareas que implican comprender si y analizar el texto en su totalidad como la traducción automática o el análisis de sentimiento entiendo pero los l m s generativo como jipi utilizan una estructura decora omi porque su objetivo es generar texto coherente y creativo para a partir de un contexto dada de acuerdo entonces el de codere es el corazón de un l como jipi sí y qué ocurre dent tro de este disco dentro del de cooder encontramos el mecanismo de atención vale la atención sí he oído hablar mucho de ella pero todavía no tengo claro cómo funciona en la práctica imagina que estás leyendo un libro y te encuentras con la frase el gato se subió tu cerebro automáticamente empieza a anticipar la siguiente palabra verdad podría ser árbol si hecho sofá ya la atención hace algo similar permite al modelo sopesar la importancia de cada palabra anterior para predecir la siguiente entonces el modelo está calculando la probabilidad de que cada palabra posible aparezca a continuación sin basándose en el contexto anterior exactamente y para ello se utiliza una serie de cálculos matemáticos que asignan un peso a cada palabra anterior reflejando su relevancia para la previsión actual entiendo por ejemplo la frase el gato se subió al si la palabra gato probablemente tendrá un peso mayor que enviaba ya veo al predecir la siguiente palabra la atención es como un filtro que amplifica las palabras más relevantes en cada paso del proceso de generación exacto pero