¿Qué rollo, raza? Si creen que el mercado del hardware de IA es solo NVIDIA haciéndose asquerosamente rico, les traigo chisme del bueno. Resulta que Zuck (sí, el de Meta) acaba de firmar un acuerdo de esos que rompen el cochinito, pero no con los de verde, sino con Jeff Bezos y sus servidores de AWS. ¿El objetivo? Usar procesadores de Amazon (sus CPU customizados) para entrenar y correr pedazos gigantes de los modelos de Meta.
Para que entiendan la magnitud de esta madre, piensen en esto como cuando llegas a tocar a un antro mamador y resulta que en lugar de las sagradas CDJ-3000 de Pioneer, el cabina tiene puro equipo Denon y una mixer rancia. Al principio haces el berrinche de tu vida, pero luego te das cuenta de que el Denon hace la misma chamba de mezcla si sabes lo que haces, y encima el club se ahorró miles de dólares en rentas. Así está Meta ahorita. Las GPUs de NVIDIA (las "CDJ" del mundo de la IA) están carísimas y hay lista de espera. Amazon les dijo: "Güey, tengo estos CPUs Graviton/Trainium que no son tan rápidos para ciertas cosas, pero si metes chingos en paralelo, armamos el servidor".
El problema del hardware actual es el cuello de botella. Todos quieren GPUs para hacer el procesamiento tensorial (las matemáticas locas que hacen que tu ChatGPT no parezca un idiota). Pero Meta, que quema millones de dólares diarios entrenando LLaMA, se dio cuenta de que si balanceas la carga—usando CPUs para tareas más lógicas y de pre-procesamiento—puedes liberar a las GPUs para que se concentren en lo pesado. Es la puta arquitectura de microservicios aplicada al hardware físico. Agarras el track pesado, le pones un filtro de paso alto a los CPUs, y dejas que los graves (los tensores) revienten en la GPU.
¿Qué significa esto para nosotros, los plebeyos del código? Que AWS va a tener un ecosistema de hardware brutalmente optimizado para LLaMA. Si en un año intentan correr un modelo open-source en AWS, seguro les va a costar tres pesos porque la infraestructura ya va a estar tan aceitada como el ego de un promotor de techno.
Además, esto es un mensaje directo de que Meta no quiere ser "vasallo tecnológico" de nadie. Si dependes de un solo proveedor de hardware, el día que te suban los precios, te mueres. Es una lección básica de servidores: nunca tengas un solo punto de fallo. Y Zuckerberg, guste o no, tonto no es.
Al final del día, esto va a hacer que los fierros sean más baratos para todos. Así que vayan prendiendo las veladoras y preparando sus scripts de Terraform, porque la guerra de los chips acaba de ponerse más interesante que un set a las 4 AM.