Mientras todo el mundo (yo incluido) hablaba de Worldcoin esta semana, una startup del mundo de la inteligencia artificial nos enseñaba su particular revolución. Una que yo creo que es bastante alucinante.

Esa startup se llama Groq, y fue fundada por Jonathan Ross, exingeniero de Google y que allí se encargó del desarrollo de los primeros Tensor Processing Units (TPUs) de la firma. Vamos, que lleva unos añitos trabajando en el desarrollo de chips especializados en inteligencia artificial.

Hablé de ella en Xataka y luego hice una apreciación más en Twitter. Una que no vi mucho más por ahí porque 1) la gente no entiende lo gordo que puede ser esto o 2) mi habitual capacidad predictiva vuelve a fallarme.

La noticia más importante de IA que he visto desde hace tiempo no es de OpenAI, Microsoft, Google o Meta, sino de una startup llamada Groq (no Grok, que es el chatbot de Musk). (1/3)

— Javier Pastor (@javipas) February 21, 2024

Y sin embargo, insisto. A mí Groq me parece lo más importante que ha pasado en IA en los últimos meses. Con la excepción de Sora, que da bastante miedo —uy, si también he escrito de eso—, estamos ante una revolución distinta. Una hardware.

Lo que hemos visto en IA últimamente han sido mejoras iterativas sobre lo que ya habíamos visto: los modelos evolucionan y (teóricamente) mejoran, las empresas los aplican a todo tipo de productos e incluso estamos asistiendo al desembarco de los modelos «locales»: poder utilizar la IA e nuestro móvil o PC sin usar la nube es genial, pero lo que estamos viendo ahí son modelos capados y que hacen poquitas cosas porque el hardware no da para más.

Y precisamente eso es lo que puede cambiar Groq, que ha desarrollado una LPU (Language Processing Unit) específicamente diseñada para procesar cargas de trabajo de IA. La diferencia es importante y nos recuerda algo que siempre ha logrado marcar la diferencia en el ámbito tecnológico: si puedes tener un chip dedicado, puedes llegar a crear un mercado propio (o impulsar definitivamente el que ya se intuía que había).

• Primero tuvimos la CPU (Central Processing Unit), procesadores de propósito general que sirven para todo pero que no son excepcionales en casi nada. Puedes usarlos hasta para minar bitcoins o correr videojuegos, pero en ambos casos la experiencia será muy mala.
• Luego llegó la GPU (Graphics Processing Unit), llena de núcleos de proceso (CUDA en NVIDIA, Stream en AMD) especialmente destinados a procesar complejos procesos de renderizado, de edición y decodificación de vídeo o incluso de aprendizaje automático e IA. Esto último lo hacen bastante bien y por eso NVIDIA lo está petando, pero no son chips dedicados específicamente a eso
• Ahora llega la LPU (Language Processing Unit), que con un enfoque distinto está diseñada por y para procesar la forma en la que trabajan los grandes modelos de lenguaje y los chatbots basados en ellos. Si la GPU es un procesador específico para gaming, la LPU es un procesador específico para chatbots (y quizá los Midjourneys y Sora del mundo).

Por el camino, por supuesto, tenemos otros muchos chips dedicados, específicamente diseñados para una tarea o pequeño grupo de tareas en particular. Están los DSP para procesar señales de audio y vídeo, los ASICs que por ejemplo se usan para minar bitcoins (y con estos la cosa sí pirula), los FPGAs que además son reconfigurables, y todo tipo de microcontroladores usados para «descargar» a otros chips más genéricos y encargarse ellos de tareas muy concretas.

Pero como digo, lo de Groq es especial porque su diseño está pensado para hacer que ChatGPT (por ejemplo) nos responda a la velocidad del rayo. Podéis probarlo vosotros mismos en la web oficial de Groq. Preguntad cualquier cosa y fijaos cómo responde casi al instante y con una ritmo de tokens espectacular. Yo hice una pequeña comparación y capturé el vídeo: a la izquierda, ChatGPT-3.5 normal, a la derecha Groq acelerando Mixtral, que es comparable en precisión y normalmente en velocidad. Pero cuando lo usas con Groq, alucinas.

No sé cómo lo veis vosotros, pero para mí esto es un punto de inflexión. Uno que apunta a que ahora nuestros ordenadores y nuestros móviles ya no solo tendrán una CPU y una GPU, sino un acelerador de IA.

Es cierto que en los chips actuales ya contábamos con cosas como los «Tensor Cores», pero forman parte del chip y auque aquí todos los fabricantes están avanzando (Intel, AMD, Qualcomm y desde luego Apple no paran de incluir más y más), lo de Groq va a más.

Me gustó especialmente lo que leí en Stratechery esta semana. Ben Thompson, que suele ver las cosas con una claridad meridiana y envidiable, hablaba de cómo Groq es parte de un tridente que plantea una revolución espectacular. Lo conjugaba por un lado con Sora —que más que crear vídeos es un simulador de nuestro mundoy su física— y por otro con la realidad virtual.

Como él decía, cuando el iPhone llegó lo hizo gracias a un montón de componentes que estaban listos para provocar esa revolución. Lo estaban las pantallas táctiles, la tecnología multitáctil, los procesadores móviles, las redes 3G (aunque el primer iPhone no tenía dicha opción), o las tiendas de aplicaciones (ídem).

Pues aquí lo mismo. La realidad virtual/aumentada (o abreviando, la realidad mixta) no ha cuajado, pero igual es que lo que habíamos visto hasta ahora era tan solo el preludio de lo que está por venir. Quizás las Oculus Rift, las gafas de realidad mixta de Microsoft y sus partners e incluso las Vision Pro son como los Nokia pre-iPhone.

Pero es que ahora todos esos pequeños componentes parecen estar preparados para que demos el salto. Las pantallas micro OLED —como las de las Vision Pro— por un lado, los SoC como el Apple M2 por otro, la tecnología de seguimiento ocular o de gestos por otro, y luego, la otra parte.

Que es justo la que plantea Sora —aún con mucho camino por recorrer—, que podría acabar logrando generar una realidad alternativa en tiempo real y (probablemente) indistinguible de la nuestra. Y si a eso le sumas Groq para que los NPCs (Non Playable Characters) de esa realidad virtual nos hablen de forma natural, podríamos estar ante esa utopía/distopía que nos pintaban películas como Ready Player One. Y todos con gafas adictos a ese mundo virtual por la sencilla razón de que era mejor que el nuestro.

Que es justo lo que se pregunta Thompson en su párrafo final:

«No creo, que conste, que estemos en un momento iPhone en lo que respecta a la realidad virtual, y con ello me refiero al momento en que múltiples innovaciones tecnológicas se cruzan en un producto perfecto. Lo emocionante, sin embargo, es que muchas de las piezas -a diferencia de hace tres años- están a la vista. Puede que Sora no sea lo bastante bueno, pero mejorará; puede que Groq no sea lo bastante barato o rápido, pero tanto él como cualquier otro competidor que surja progresarán en ambos vectores. Y, en mi opinión, Meta y Apple no acaban de acertar con el hardware. Sin embargo, se puede ver un camino desde aquí hasta allí en todos los frentes.

La diferencia más importante, por supuesto, es que los teléfonos móviles existían antes del iPhone: era fácil vender un teléfono mejor. La gran pregunta, que sólo ahora estamos a punto de responder, es si la realidad virtual será, para un número significativo de personas, una realidad mejor».

Pues igual sí. Qué miedito.