NTN 377 - ⚡ Llama a 2600 tokens/s: ¡Meta contraataca! 324n

Buenas, buenas. Bienvenidos a otro episodio de No Tiene Nombre. Mi nombre es Bruno. Hoy vamos a hablar de meta y de... digo Cerberus, pero es Cerebra. Bueno, de cosas interesantes porque como siempre hay que... no solamente todo lo que pasa, pasa en el mundo de OpenAI, sino que hay muchas, muchas otras cosas. Así que bueno, antes de empezar, como ya saben, si les gusta el contenido, compartan, comenten y si no les gustan, pues el chiste es fácil con los podcast estos de este, devuelvo el dinero que has invertido o lo que sea. Pero bueno, a ver, vamos aquí.

Meta ha formado una alianza con Cerebras System, que lo digo Cerberus pero es Cerebras, y de eso os hablé hace un tiempo cuando hablé del chip monstruoso que tenían, pero ahora que es realidad lo que están haciendo con uno de los grandes, pues bueno, agarrate que vienen torcidas. Así que bueno, Meta, la empresa de Zuckerberg, la que yo siempre le voy a seguir diciendo Facebook, por pura costumbre y burraco que soy, ha anunciado una colaboración con Cerebras System para potenciar la API de Lama. Recordemos que Lama son la familia de modelos que tiene la gente de Meta y que son brutalmente buenos.

Pero esta mejora, este partnership, es una cosa brutal porque estamos hablando de una velocidad 18 veces mayor que la que tiene hoy por hoy, por ejemplo OpenAI. Esto no es moco de pavo, como decían en mi tierra. Y para si no estás familiarizado con Cerebras, es que no he escuchado del podcast que he hecho hace un tiempo que ya ni me acuerdo dónde está, pero son famosas porque crearon este chip gigante que se llama CS-2, que es el chip más grande del mundo, diseñado específicamente para inteligencia artificial. Este monstruo tiene, porque es un monstruo, es 2.6 billones de transistores y 850.000 núcleos de procesamiento.

Una bestia parda. El tema más impresionante aquí es la velocidad de procesamiento que han logrado con el modelo de Meta. La API de Lama puede generar hasta 2600 toques por segundo. Para ponerlo en comparación, si ChatGPT está escribiendo un párrafo, Lama ya ha terminado de escribir El Señor de los Anillos, más o menos. Está tomando un café y vuelve a ver cómo anda todo. Es una burrada. Y esto no es solamente un número impresionante en un comunicado de prensa. También representa, y esto me gusta como me lo dice Cloud aquí, un cambio de paradigma. Cada vez que aparece el cambio de paradigma, yo me río.

Pero es cierto que esto va a cambiar o va a hacernos pensar en nuevas formas para interactuar con los modelos de lenguaje. Porque estas aplicaciones, imaginar aplicaciones que en tiempo real, con esta potencia, no van a tener el tiempo de esperas que tenemos ahora cuando generamos una imagen, por ejemplo, en ChatGPT o cosas por el estilo. Podemos tener asistentes virtuales que responden instantáneamente, sistemas de traducción que emulsionan la velocidad del hablo humana, un montón, un montón de cosas. Y la estrategia de Meta es algo que tampoco tenemos que olvidarnos, porque es interesante aquí que Meta ha apostado algo por una estrategia muy diferente a la de OpenAI.

Mientras Salman y OpenAI mantienen su modelo bajo llave y cobran por token, de Open no tienen nada, Meta ha adoptado por un enfoque más abierto con la familia de modelos de Lama. Recordemos que es más, yo a Meta lo tengo como el principal, como uno de los pioneros en el hacer modelos abiertos y lo siguen manteniendo. Y esto te hace pensar también de que será que Zuckerberg aprendió la lección después de tantos problemas y controversias que tuvo sobre privacidad con Facebook, Instagram y demás, o es una estrategia para ganar terreno en un campo donde inicialmente llegaron tarde a la fiesta, pero hoy por hoy con Lama 4 están reventando el mercado.

Así que, como dicen en mi barrio, si no podés cambiar el juego, si no podés ganar el juego, cambien las reglas. Así que bueno, la estrategia esta, la apuesta esta de Meta por velocidad brutal combinada con modelos abiertos va a dar que mucho de habla, va a dar mucho de lo que hablar. ¿Por qué? No es solamente un cambio de gran avance técnico, sino también la economía de la IA generativa va a cambiar. Costos más bajos, mayor velocidad, muchas empresas que antes no podían permitir soluciones de IA ahora podrían hacerlo. Y son aplicaciones nuevas, lo que decía recién, traducciones en tiempo real, asistentes que consigan una conversación sin pausas, sistemas de soporte técnico que resuelvan problemas mientras el los explica.

Bueno, a ver qué pasa. Cuando sale esta noticia, una de las cosas que yo empecé a notar es qué decían de la competencia. Y alguien mencionaba que OpenAI es un gigante con pies de barro, porque va lento y todo. ¿Qué iba a ser OpenAI? OpenAI no existe más, se ha quedado destruido.

Bueno, recordemos que OpenAI es un juego de