1. Build a Large Language Model - Entendiendo los modelos de lenguaje grandes 472l3o

Hola debs están listos para otra inmersión profunda hoy nos adentramos en el mundo de los little witch moros no se leen exacto esos modelos como cachi piti o el yemení de google que están revolucionando el campo del procesamiento del lenguaje natural sin duda generan diálogos realistas resumen textos complejos la verdad es que abren un montón de posibilidades que antes eran impensables total mente y aunque construyeron el gremio puede sonar intimidante lo sé lo sé en esta inversión vamos a desmenuzarlo paso paso para que el proceso sea accesible e incluso divertidos me encanta y quiero dejar claro que esta inmersión está diseñada especialmente para developers con un enfoque en los detalles técnicos y las ideas prácticas que necesitan para entender cómo funciona los leen por dentro así es para guiarlos en esta aventura tenemos con nosotros a un experto en el campo bienvenido yo gracias es un placer estar aquí empecemos con lo básico puedes explicarnos qué son exactamente los ellens claro en esencia un m es una red neuronal profunda entrenada con conjuntos de dar tos de texto masivos o sea muchísima información muchísimas y el objetivo es enseñarle modelo a predecir la siguiente palabra en una secuencia imitando los patrones del lenguaje humano es como si en modelo jugará a completar la frase pero a una escala gigantesca interesante pero cómo convertimos nuestro lenguaje con todas sus complejidades en algo que una máquina puede entender ahí entran en juego la tokenización y los empeines la tokenización consiste en dividir el texto en sus componentes básicos ya sea en palabras o incluso caracteres y cada componente se convierte en un token con un aydin numérico único que no y los bearings qué papel juegan lucen bering se van es un paso más allá que haga idi de token se mapea a un vector multidimensional un vector sí como una huella digital que captura el significado de la palabra y su relación con otras palabras imagínate que ubicamos cada palabra en un espacio multidimensional dónde las palabras con significados similares están más cerca entre sí o sea creamos un mapa significan exactamente fascinan y esto permite que los demás comprendan las relaciones entre las palabras incluso si nunca antes se han topado con una palabra en particular tiene sentido pero qué pasa con las palabras desconocidas o cuando el modelo llega al final de un texto para eso tenemos los toques especiales tokens especial si usamos un c para palabras desconocidas y end of text para indicar el final de un documento estos toques le dan contexto a l es como si le diéramos señales para que se oriente precisamente y además existe una técnica llamada houdin o p o p sí que descompone palabras desconocidas en unidades más pequeñas para que el moho modelo pueda manejar un vocabulario mucho más amplio y esto puff es importante porque reduce significativamente el tamaño del vocabulario que el modelo necesita manejar haciéndolo más eficiente que ingenioso pero ahora la pregunta del millón cómo logran estos l m s predecir la siguiente palabra con tanta precisión cuál es su secreto el corazón de los leones modernos es la arquitectura del transformador el transformador sí a diferencia de los modelos recurrentes anteriores que procesaban texto secuencialmente transformador puede analizar una oración completa a la vez y eso qué ventaja tiene le permite capturar relaciones a largo plazo entre palabras de forma mucho más efecto tiva entiendo la clave de esta capacidad es el mecanismo de atención atención suena interesante puedes explicarnos cómo funciona imagina que el modelo está procesando la frase el gato se sentó en el tarea el mecanismo de atención le permite al modelo al predecir la siguiente palabra después de lamer mirar hacia atrás en la secuencia y determinar qué palabras son más relevantes para la predicción en este caso gato y sentó son claves para predecir que la siguiente palabras probablemente sea un lugar como sofá o suelo pues la atención es como una lupa que se enfoca en las partes importantes del texto exactamente impresionante y lo mejor es que el modelo apr venda calcular estos pesos de atención durante el entrenamiento verdad así es el modelo se adapta al lenguaje identifican las relaciones más importantes entre palabras aprende a entender el contexto es increíble pero cómo se implementa este mecanismo de atención hay alguna fórmula mágica de implementación más común se llama atención de producto es escalar que usa tres matrices de pesos cucho waka waka uvis estas matrices transformarlos en bearings en vectores de consulta clave y valor respectivamente suena complicado no te preocupes lo veremos en detalle más adelante vale vale pero antes de continuar tengo una duda cómo sabe el modelo que el gato se sentó es diferente se sentó él dato el orden de las palabras no importa por supuesto que importa para eso añadimos en bearings posicionales a los senderos de los tokens en barings posicionales si estos en verín codifican la posición de cada palabra en la secuencia dándole al modelo información sobre el orden claro sin esa información el modelo