B. Build a Large Language Model - Referencias y lecturas adicionales 3w3h24

Bienvenidos a una inteligencia artificial hablando hoy nos vamos a sumergir en las referencias del libro viuda wrestling with more from scratch de sebastián rasca pa una guía práctica para construir tu propio modelo pepe ti sí sí y aunque no vamos a construir un modelo hoy estas referencias son una mina de oro para quienes quieran ir más allá totalmente porque el libro te guía en la creación de un jet y a pequeña escala pero estas fuentes te llevan a proyectos más especializado grande exacto como bloomberg p que está diseñado para datos financiará finanzas interesante si bueno y hablando de especialización me he fijado que las referencias del capítulo dos waking with the tata se centren mucho en la tokenización mucha específicamente la tokenización de sus palabras con san spitz y worth pis ah para los que no somos desarrolladores puede explicarnos por qué es tan importante la tokenización de sus palabras claro imagínate que le enseñas a una computa adora a entender el lenguaje nada necesita descomponer las palabras en unidades más pequeñas esos son nuestros tokens pero los lenguajes tienen muchísimas palabras muchísimas y aparecen nuevas todo el tiempo entonces la tokenización de sus palabras como centro spirits y wild pies permite a los desarrolladores crear vocabularios más eficientes ya que pueden manejar incluso palabras desconocidas haciendo que le mme sea más adaptable como más flexible exacto y el libro también proporciona una implementación de viper en touring o beppe beppe es otro algoritmo popular de tokenización de sus palabras al ver cómo se implementa los desarrolladores pueden obtener una comprensión más profunda de cómo funcionan estas técnicas de tokenización en la práctica en la práctica sí sí vale y en el capítulo tres corinne atención mckenna johns se hace referencia a la tensión va danao si esto es específicamente para redes neuronales recurrentes o en que son una generación antes ahora los transformas me parece una inclusión interesante no porque es como resalta la evolución del campo exacta atención va danao fue un gran avance para las tienen pero los mecanismos de atención utilizados en los mma actuales son más avanzado más modernos exactamen comprender las técnicas antiguas da contexto al desarrollo de las nuevas totalmente vale perfecto y el capítulo cuatro implementen allí piti more from scratch nos lleva al repositorio nano repete es este un recurso para desarrolladores que quieren entrenar su propio ph de tamaño mediano precisamente nano repite es un fantástico ejemplo de las contribuciones de la comunidad de código abierto al de desarrollo me encanta el código abierto si proporciona el código y las instrucciones para que cualquiera pueda experimentar con la construcción y el entrenamiento de sus propios modelos que exacto genial y también hay un blog post that long context ram que analiza un hallazgo bastante contraintuitivo no si el autor descubrió que para context estos de menos de treinta y dos mil tokens la mayor parte del trabajo computacional ocurre en las capas fie foe l no en el mecanismo de atención espera no se supone que la atención en lo más importante se ha promocionado como la innovación clave detrás de los herencia pero esto demuestra que siempre hay nuevos descubrimientos por hacer en este campo porque a veces pensamos que ya lo sabemos todo exacta y aparece algo nuevo y puede explicar qué son las capas feet four claro las capas fin followers son una parte fundamental de las redes neuronales incluidos los l m son responsables de procesar la información de entrada y producir una salida en el contexto de los l m toma la información de las capas de tensión y la transforman en una representación que puede usarse para generar texto entiendo lo que el blog pus destaca es que para ciertos tamaños de contexto estas capas fill power tienen un imán exacto mayor en el rendimiento del modelo de lo que se pensaba anteriormente interesante muy interesante y bueno pasando el capítulo cinco peeeeeero y ninon hanley bandera aquí es donde empieza el entrenamiento serio si me encanta que el autor incluya referencias no solo artículos académicos sino también a recursos que desglosan las más temáticas de manera más digerible absoluto más fácil de entender si señala un video de una conferencia que explica la función de pérdida de regresión logística que es un concepto fundamental en el aprendizaje automático incluso incluye un ejemplo de código que explica la función dentro pía cruzada de petróleo o sea que lo explique paso a paso exactamente esto permite a los desarrolladores comprender realmente la base matemática de cómo aprenden estos modelos ya en lugar de simplemente confiar en bibliotecas pre construidas que a veces es un poco como magia como una caja negra exacto y hablando de conjuntos de datos masivos hace referencia a dogma en open corpus of treats el viento tokens si esa cifra por sí