3. Build a Large Language Model - Codificando mecanismos de atención w2343

Hola a todos bienvenidos de nuevo a div div prepárense para una inmersión profunda en el mundo de los lares land which boroughs o elles como se les conoce en inglés hoy vamos a explorar un libro increíble que no sólo explica los elementos de manera clara sino que también guía los desarrolladores sobre cómo construir uno incluso desde cero es un libro realmente genial y muy pro exactamente se llama deuda hogares lengua maro from scratch y está escrito por sebastián rasca un experto en méxico la niña vía con una pasión por hacer que estos temas sean accesibles para todos totalmente creo que lo logra con creces en este libro sin duda entonces para aquellos que no están familiarizados comencemos con lo básico qué son exactamente lo el mes y como han revolucionado el procesamiento del lenguaje natural bueno en esencia los l m s son algoritmos de diploma incapaces de comprender y generar texto similar al humano piensa en un programa que puede escribir un artículo periodístico traducir idiomas o incluso componer poesía y todo esto es posible gracias a las redes neuronales que apr venden patrones complejos del lenguaje a partir de cantidades masivas de datos es realmente fascinante como los aliens han superado las limitaciones de los sistemas basados en reglas del pasado recuerdo cuando los chatbots apenas podían mantener una conversación básica sabes y ahora tenemos sistemas que pueden generar contenido creativo y responder a preguntas complejas con una fluidez asombrosa exacto él cambio modelos basados en deep learning ha sido realmente revolucionario en lugar de depender de reglas predefinidas los bebés aprenden directamente de los datos lo que les permite manejar la ambigüedad y la complejidad del lenguaje humano de una forma que antes era imposible si es increíble imaginar las posibilidades absolutamente y hablando de dar dos cómo digieren estos modelos la información no podemos simplemente alimentarlos con párrafos enteros de texto no no exactamente aquí es donde entra el proceso de tokenización básicamente se trata de dividir un texto en unidades más pequeñas como palabras o incluso caracteres individuales cada una de estas unidades se llama token y se le asigna un haití numérico único entonces es como si convirtiéramos el lenguaje humano en un código que la máquina puede entender y que pasa con las palabras que el modelo nunca visto antes cómo se manejan esos ahí entran en juego los toques especiales por ejemplo el token un se utiliza para representar palabras desconocidas y hay otros tokens que se usan para marcar el final de una frase o el comienzo de un nuevo párrafo yo veo todos estos toques especiales proporcionan al modelo información contextual importante interesante y qué hay de los diferentes enfoques para la optimización el libro menciona a varios como el viper gooding podrías profundizar en eso claro el bitcoin cobren o y es un algoritmo bastante ingenioso que busca patrones recurrentes en los datos para crear sus palabras esto es especialmente útil para lenguajes con morfología compleja donde una sola palabra puede tener muchos sufijos prefijos entonces en lugar de tener un token para cada forma posible de una palabra el pp puede crear tokens para las partes como lunes no exactamente esto hace que el vocabulario sea más compacto y permiten modelo manejar palabras desconocidas con mayor precisión por ejemplo si el modelo conoce los tokens jugo y ando podría inferir el significado de jugando aunque nunca la haya visto antes es realmente inteligente una vez que tenemos nuestros tokens cuál es el siguiente paso cómo se transforman estos tokens en algo que el modelo pueda realmente entender bueno ahí donde entran los behrens cada token se mapea a un vector numérico multidimensional es como una huella digital que captura su significado podría ser un ejemplo de cómo funciona esto imagina que tenemos los tokens gato perro y pelota los belenes estos tokens podrían colocarse en un espacio multi dimension nal donde la distancia entre ellos reflejaría su similitud semántica gato y perro estaría más cerca entre sí que de pelota ya que ambos son animales entiendo entonces los bennings permiten al modelo comprender las relaciones entre las palabras incluso sin nunca visto esa combinación específica de palabras antes exactamente y hay algo más que escuche ial las posiciones en barings estas le indican al modelo de la posición de cada token en la secuencia lo cual es fundamental para comprender el significado de una oración claro el orden de las palabras es muy importante en el lenguaje el perro persigue el gato tiene un significado completamente diferente a el gato persigue al perro precisamente las posiciones en behrens permiten el modelo tener en cuenta el orden de las palabras y comprender la gramática y la estructura de la oración ahora que tenemos nuestros tokens en bearings y posicional en bearings estamos listos para construir la arquitectura del modelo pete perfecto hablemos de eso cuáles son los componentes clave de esta arquitectura bueno en esencia el modelo peter se compone de capas de bering bloques transformer y una capa de salida lineal las capas de bering son las que acabamos de discutir los bloques transformer son el corazón del modelo donde ocurre el procesamiento del lenguaje y la capa de salida lineal produce las predicciones finales esto ya suena un poco más complejo podría