7. Build a Large Language Model - Fine-tuning para seguir instrucciones 6c5x2w

Hola de nuevo a todos prepárese para una inmersión profunda esta vez en el mundo dos de la ley en si osea lord blackwood moros los que impulsan cosas como pitt exacto vamos a intentar comprender cómo construir uno desde cero un proyecto ambicioso sin duda para esta inmersión usaremos el capítulo siete del libro construye un modelo de lenguaje grande desde cero a un libro fantástico de sebastián rasca si él sabe lo que hace un investigador y educador en melling lanning ellis desde hace más de una década el libro es realmente una guía práctica para cualquier desarrollador que quiera comprender cómo funcionan los l m s por dentro bien y este capítulo siete en que se centra se centra en ajustaron en m para que siga instrucciones un proceso muy importante para que el modelo sea realmente útil ya veo es como no sé enseñarle a un perro a sentarse o a buscar la pelota necesita el entrenamiento básico si hago así el ajuste fino de instrucciones implica entrenar al modelo con conjuntos de datos e instrucciones y sus respuesta as correspondientes por ejemplo si le damos al modelo de instrucción reescribe la siguiente oración en voz pasiva el equipo logró grandes resultados gracias ideal sería grandes resultados fueron logrados por el equipo claro claro entonces al alimentar al modelo con miles de ejemplos como éste exacto aprende a generalizar y a seguir instrucciones similares en el futuro pero cómo se estructuran estos datos para que el modelo se entienda correctamente buena pregunta ahí entra en juego el formato de datos a un formato popular es el alpaca donde cada entrada datos se divide en secciones claras para la instrucción y la respuesta bien generalmente comienzan con jetcost instrucción y qué respuesta como buen desarrollador entiendo la importancia de la estructura y la claridad en el código vale qué sucede después de tener los datos en el formato correcto el siguiente paso es la tokenización donde el texto se descompone en unidades individuales llamadas tokens tokens estos tokens pueden ser palabras completas o incluso partes de palabras esto permite al modelo procesar el lenguaje de manera más eficiente y las oraciones de diferente longitud ahí es donde entran paren paren señor en tokens especiales llamados paren tokens a las secuencias más cortas para que todas tengan la misma longitud entiendo esto asegura que todas las entradas tengan un formato uniforme para el procesamiento claro eso tiene sentido entonces tenemos el texto toquen izado y comparen que sigue antes de alimentar al modelo aplicamos una técnica llamada masking esto implica ocultar ciertos toques durante el entrenamiento masking sí para evitar que el modelo se distraiga o aprenda atajos puedes darme un ejemplo de cómo funciona el mas que claro imagina que estamos enseñando al modelo a completar oraciones así le mostramos la oración completa incluyendo la respuesta podría simplemente memorizarla ya veo al enmascarar partes de la oración obligamos al modelo predecir la siguiente palabra basándose en el contexto interesan como si resolviera un crucigrama entiendo es como darle al modelo un pequeño desafío para que realmente aprenda a pensar si algo así hay diferentes tipos de más que si tenemos el par in token masking donde el modelo ignora los pa en tokens que añadimos para igualar la longitud de las secuencias también está el en stock sound masking que oculta opcionalmente la parte de la instrucción para que el modelo se centra en generar respuestas precisas y no sólo en memorizar las instrucciones correcto es como quitarle las ruedas de entrenamiento a la bicicleta lo obligamos a encontrar el equilibrio por sí mismo ahora que tenemos los datos formateados organizados con y masking estamos listos para entrenar el modelo exactamente el entrenamiento del modelo utiliza técnicas de optimización como el gradient descent y la programación de la tasa de aprendizaje suena bastante técnico método populares el cochino the key west map que ajusta dinámicamente la tasa de aprendizaje a lo largo del entrenamiento puedes explicarlo de una forma que incluso yo puedo entender imagina que estás aprendiendo a esquiar al principio bajas la colina lentamente con pequeños pasos para no caerte a medida que te sientes más cómodo aumentas la velocidad y la longitud de tus pasos entiendo que cocine de forma funciona de manera similar comenzamos con una tasa de aprendizaje baja y le aumentamos gradualmente para luego volver a bajarla al final del entrenamiento es como encontrar el ritmo adecuado para un aprendizaje eficiente exactamente pero una vez que hemos entrenado el modelo cómo sabemos si realmente ha aprendido a seguir instrucciones cómo evaluamos su rendimiento es es una junta crucial evaluar modelos de instrucción following puede ser un desafío ya que la calidad de una respuesta generada por un helen puede ser subjetiva claro un enfoque es utilizar otro leguía m para puntuar automáticamente las respuestas generadas por nuestro modelo es como pedirle a un profesor que