Tecnología

Pon un HAIS en tu vida

En octubre de 2012 publiqué un artículo titulado ‘Pon un NAS en tu vida‘. Aquellos miniservidores me parecían entonces maravillosos, y hoy en día sigo siendo usuario intensivo de este tipo de producto porque como sabéis me monté mi NAS con Unraid para, entre otras cosas, poder tener una alternativa local, y privada a Google Fotos.

En los últimos tiempos, no obstante, lo que me gustaría tener es algo que me diera una opción más: la de poder ejecutar modelos de IA locales. La idea es simple: tener una «caja» en el salón, como tengo ahora el NAS, que me permitiera hacer todo lo que hace el NAS, pero además servir un modelo local de IA para hacer consultas locales y totalmente privadas sobre mis datos y mis dispositivos.

Es ahí cuando entra en acción ese nuevo término que creo que puede definir bien a estos equipos:

HAIS – Home AI Server

Porque la idea aquí es tener una máquina que actúe como servidor de modelos locales en tu hogar, desde tu salón. En realidad una máquina así puede hacer muchas más cosas. Puede ser tu máquina de trabajo, y que te conectes a ella mediante escritorio remoto o compartir pantalla en macOS, pero además puede ser un servidor de otras cosas como ocurre con el NAS: allí puedes montar servidor de descargas, multimedia, o de control de la domótica con Home Assistant, por ejemplo. Cosas como Unraid facilitan eso en máquinas dedicadas a eso, pero en realidad no necesitamos un Unraid porque la propia IA, de hecho, podría autoconfigurar el equipo para que tuviéramos todos esos servicios funcionando a la perfección.

Opciones: haberlas, haylas

Hace ya unos años que existen productos que permiten algo así. De hecho el año pasado ya os hablé de la máquina que me hubiera gustado tener en casa: un Mac Studio M3 Ultra con 512 GB de memoria unificada (ancho de banda: 819 GB/s), que por entonces costaba 12.000 euros. Era demasiada pasta entonces, pero es que con la crisis de las memorias esos equipos acabaron dejando de estar disponibles y además sus variantes inferiores fueron subiendo rápidamente de precio.

De hecho, hace unos días Apple presentaba (entre otros) el Mac Studio M5 Ultra (el del SoC malo (CPU 30 núcleos / GPU 64 núcleos) con 256 GB de memoria (ancho de banda: 1,2 TB/s) cuesta 11.050 euros. Es cierto que los chips son más potentes, pero la culpa de que cuesten casi el doble no es de los chips, sino de la condenada memoria. No parece que vayamos a volver pronto a los precios de memoria de hace un par de años. Ese tren, al menos de momento, pasó.

Hay otras alternativas, por supuesto:

  • DGX Spark: la máquina de Nvidia, o sus sucedáneos (Dell GB10, ASUS Ascent GX10, Acer Veriton GN100 AI Mini, HP ZGX Nano AI Station, etc) tienen todos el chip GB10 Grace Blackwell y 128 GB de memoria «unificada» LPDDR5X. Están bien salvo por una cosa: ancho de banda de 273 GB/s. Precio: 4.800 euros (si las encuentras).
  • AMD Ryzen AI Max+ 395 / Ryzen AI Max+ Pro 495: estos equipos, con el Framework Desktop a la cabeza, tienen también esa posibilidad de convertirse en servidores de modelos de IA locales gracias a que también tienen 128 GB (LPDDR5-8000) de memoria «unificada», aunque hay ya un nuevo modelo con 192 GB (LPDDR5X-8533). El problema vuelve a ser el mismo: el ancho de banda de la memoria, que en este caso es de 256 GB/s (273 en el caso del 495 AI Max+). Precio: 3.500 euros (si las encuentras).
  • Usar una o varias GPUs: tener una RTX 5090 es una maravilla porque su ancho de banda es de casi 1,8 TB/s, inigualable por ahora, pero «solo» cuenta con 32 GB de memoria GDDR7. Podéis tirar de GPUs anteriores como la RTX 4090 con sus 24 GB (1,01 TB/s), y podéis también poner a trabajar varias en paralelo para «sumar» sus memorias aunque en realidad lo que se hace es «fragmentar» el modelo que quieres correr. Sea como fuere, consumen una burrada, hacen ruido y generan mucho calor. Es una solución estupenda para según qué casos, pero poco eficiente y desde luego poco elegante. Precio: desorbitado. Ya estamos con el meme que una 5090 cuesta 5.090.

Seguro que hay alguna opción más (como una RTX 6000 Pro, que tiene 96 GB de memoria GDDR7 y ronda los 20.000 euros ahora mismo), pero diría que así está un poco el mercado de los HAIS ahora mismo. Eso deja clara una conclusión.

Los Mac son ahora mismo unos HAIS extraordinarios

Si la prioridad de vuestro HAIS son los modelos locales de IA, hoy por hoy el Mac Studio (o un Mac mini potentillo) me parece la máquina más redonda. Aquí es cierto además que tampoco hay necesidad de hipotecar la casa, porque hay alternativas bastante interesantes.

La tabla habla por sí sola

Ese tuit anterior de la imagen resume un poco la situación (faltan los AMD, pero bueno), pero es que además también en Twitter encontré este mensaje de @yume_arasaki que había hecho un buen análisis de las opciones y sobre todo daba un consejo vital: «compra la memoria que pueda albergar el modelo».

Es decir, que si vas a usar Qwen3.8-27B, que te ocupa unos 20 GB de memoria de vídeo/unificada, necesitas un equipo con 32 GB de RAM (el sistema operativo se come 8-12 GBs por sí solo, dice este usuario, yo diría que es menos). Y lo mismo con los demás: si quieres meter modelos grandes perfecto, pero hay que ser consecuente e invertir en el modelo que realmente te merece la pena.

La imagen en grande de esa comparativa, que podéis ver aquí, está muy bien y es realmente útil para saber «Qué Mac debería comprarme» si es que queréis comprar alguno para este tipo de escenario. Molaría tener 256 o incluso 512 GB de memoria unificada y olvidarse durante años de si un modelo cabe o no, pero gastar más de 10.000 euros en ello es difícil de justificar para casi cualquiera. La regla sensata sigue siendo la anterior: comprad la memoria que necesite el modelo que realmente vayáis a utilizar.

Lo curioso es que aquí Apple está ganando una partida en la que ni siquiera sabía que iba a participar. Cuando la empresa presentó los chips Apple M1 en 2020 nos alucinó su rendimiento por vatio, pero es que la introducción de la memoria unificada, aunque Apple probablemente no podía saberlo entonces, era adelantarse al futuro.

Y lo era porque esa memoria unificada permite que la CPU y la GPU compartan esa memoria de forma dinámica, y además Apple ha ido diseñando sus equipos de forma que el ancho de banda de la memoria en esos chips sea cada vez más brutal. Ya lo dije en 2025 cuando os hablé de que ‘Montarme mi propio ChatGPT cuesta 12.000 euros‘:cuando uno quiere ejecutar un modelo de IA local, hay dos cosas que importan sobre todas las demás:

  1. Tener mucha memoria de vídeo (o unificada).
  2. Que esa memoria tenga el mayor ancho de banda posible.

Hay otros factores que influyen en la experiencia de uso, como el prefill, por ejemplo, que no era óptimo en los M3 Ultra pero que por lo visto va a mejorar mucho en los M5 Ultra gracias a los nuevos Neural Accelerators integrados en cada núcleo. Y también chuladas como la de poder combinar varios Macs (aunque sean distintos) conectándolos vía Thunderbolt para «sumar» sus memorias unificadas y crear así pequeños (o no tan pequeños) clústeres de IA con los que poder usar modelos de IA aún más grandes y potentes. Eso, por cierto, viene del trabajo de los chicos de Exo Labs, que llevan tiempo trabajando en ello y que ahora han colaborado con Apple para ofrecer esa opción en los Mac.

Qué hace que un HAIS sea un HAIS

Aquí es importante apuntalar lo que yo creo que deben ser este tipo de máquinas. Para empezar, un HAIS no debería ser tu PC gaming que consume 600 W cuando la gráfica está funcionando a todo trapo para actuar como servidor de inferencia de IA. No.

Un HAIS debe estar 24/7 encendido y ser especialmente eficiente y silencioso. Por eso los Mac Studio o los Mac mini son tan buena opción: no hay de momento quien les gane en ese combo.

También deben tener una cantidad importante de memoria de vídeo o unificada aunque aquí, como decía el chico de Twitter, tampoco os exaltéis: debéis buscar una máquina con la cantidad de memoria en el que «quepa el modelo». No necesitáis el Mac Studio M5 Ultra de 256 GB para correr modelos como Qweb3.8-27B, que la verdad, se portan fenomenal. Casi basta con el de 32 GB de memoria unificada, y un Mac mini M5 Pro podría cumplir bien.

La posibilidad de ampliar almacenamiento es importante y ese es el punto más débil de los Mac, pero como he dicho tampoco es un gran problema: un buen SSD externo lo solventa, y si no también tenéis alternativas como los DASs. Y cómo no, tiene que tener una estupenda conectividad a la red local, y ahí un puerto 2,5 GbE (o 10 GbE) da todo el margen de maniobra que vais a necesitar.

A partir de ahí lo demás está bastante hecho, porque tanto macOS como Linux e incluso Windows están más que preparados para poder correr todo tipo de aplicaciones y servicios de IA y desde luego para aprovechar cosas como Docker y que vuestra máquina esté bien aprovechada para todo tipo de escenarios distintos. Habrá que tener en cuenta otras cosas como copias de seguridad, claro, pero eso lo damos por sentado.

Qué falta aquí

No es mi intención de momento meterme mucho con temas más avanzados que influyen en el uso de esos modelos locales de IA, pero es que en la inferencia influyen muchas cosas, así que repaso todo ello.

Qué mona la DGX Spark, la verdad.

Prefill («Cuánto tarda en contestar mi IA»)

Es lo que ocurre antes de que aparezca el primer token. Cuando le dices a un modelo eso de «aquí tienes un documento de 30.000 tokens, analízalo y dime X», ese modelo tiene que procesar ese promt y todo el documento par generar la llamada KV caché. Ese prefill implica multiplicación de matrices enormes que pueden ejecutarse en paralelo y que están mucho más ligadas a la capacidad de cómputo.

Ahí es donde los nuevos Neural Accelerators de los M5 logran reducir drásticamente el Time To First Token (TTFT, cuánto tiempo pasa hasta que el modelo escribe el primer token en pantalla). Así que mola mucho que tu máquina «escriba» a 50 tokens por segundo, pero si tarda mucho en procesar el prompt y la entrada, lo otro es un poco engañoso.

Aquí las RTX 5090 por ejemplo son espectaculares, porque tiene más de 20.000 núcleos CUDA y ronda los 3.350 TOPS frente a los 6.144 núcleos CUDA de la DGX Spark y sus aproximadamente 1.000 TOPS. Apple no publica una cifra directamente comparable de TOPS. En cualquier caso, esa potencia de cálculo importa especialmente durante el prefill; durante la generación de tokens cobra mucho más peso el ancho de banda de memoria.

Decodificación («Cómo de rápido escribe mi IA»)

Cuando el modelo contesta, lo hace generando tokens como un loro estocástico, ya sabéis. Y ahí es donde el papel protagonista es el ancho de banda de memoria, que determina esa «velocidad» en tokens/s de la que tanto se habla cuando se analizan tanto modelos de IA como su rendimiento en distintos tipos de hardware.

Ahí es fácil hacer cuentas, porque para que nos hagamos una idea muy básica, la velocidad en tokens/s suele poder aproximarse dividiendo el ancho de banda por el tamaño real de los pesos en memoria. Si el modelo ocupa 20 GB en memoria, tendríamos:

  • DGX Spark: 273/20 = 13,7 tok/s
  • M5 Ultra: 1.200 / 20 = 60 tok/s
  • RTX 5090: 1.792 / 20 = 90 tok/s

Hay más factores en juego ahí, pero para entendernos, esa cuenta más o menos sirve y está claro que a mayor ancho de banda de memoria, más velocidad obtendrás, aunque por supuesto si el modelo es muy gordo, le costará mucho generar tokens porque tiene que procesar muchísima información cada vez que escribe algo.

Hay algunos apartados más que podríamos comentar (cuantización, KV Cache, ecosistema software), pero no quería ponerme demasiado pesado con esto, y estos elementos comentados son, creo yo, los más relevantes.

El mejor argumento contra un HAIS cuesta 20 euros al mes

Hay que reconocer aquí que la inversión en estas máquinas es dura de asumir: es mucho dinero de golpe y porrazo para una máquina que a saber si vamos a aprovechar y a amortizar realmente, sobre todo porque además hay una verdad verdadera:

Hoy por hoy los modelos en la nube son muy superiores en muchas cosas.

Son más capaces, más precisos y mucho más veloces. Responden mucho más rápido, podemos meterles prompts larguísimos con documentos de varios MB sin problemas y se los tragan sin quejarse y sin que notemos nada, pero además responden realmente bien y rápido. Los mejores modelos frontera en la nube siguen estando por delante en capacidad general, contexto, multimodalidad y comodidad de uso. Solo puedes acercarte si inviertes una burrada en hardware para tener muchísima memoria unificada y lograr meter modelos muy recientes de pesos abiertos y que cuantizados pueden «caber» en esa memoria.

La IA en la nube funciona genial, todo hay que decirlo.

Y claro, si no vas a usar el modelo todo el día para hacer todo tipo de cosas igual estás tirando el dinero. Para eso, dirán muchos, casi compensa más pagar 20 euros al mes en ChatGPT Plus o Claude Pro, por ejemplo (o cualquier otra opción), y tirar de ellos, que sabemos que van muy bien (porque van muyyy bien). Teniendo en cuenta que los precios de la inferencia han tendido a bajar y que la competencia entre las empresas de IA es feroz (sobre todo las chinas, que tienen modelos enormes y muy capaces a precios de risa), la opción «IA en la nube» es súper atractiva.

Pero claro, tiene algunas pegas. La mayor, la de la privacidad: la gente está preguntándole de todo a ChatGPT, Claude o Gemini, pero probablemente no se dan cuenta de que todos esos datos se los quedan OpenAI, Anthropic y Google respectivamente. Con un servicio en la nube, por definición, tus prompts, documentos y respuestas tienen que salir de tu máquina y ser procesados en infraestructura ajena. Las compañías aplican cifrado, controles de acceso y permiten limitar el uso de esos datos, pero sigues teniendo que confiar en sus políticas, sus sistemas y sus prácticas de retención. Con un modelo verdaderamente local, esa dependencia desaparece: tus datos pueden no salir nunca de tu red.

Los modelos locales resuelven eso, porque las consultas no salen de tu equipo. Puedes consultar cosas de salud, de finanzas o cualquier otro tema (más o menos censurable) sin que nadie pueda decirte ni mú porque nadie va a ver esas conversaciones: quedan entre tu modelo y tú.

La nube te da superpoderes hoy, pero para hacerlo necesita que tus datos salgan de tu equipo. El modelo local exige una inversión inicial dolorosa, pero te da un grado de privacidad y control que la nube difícilmente puede igualar.

Gastarse 3.000, 5.000 o 10.000 euros en una máquina para ejecutar modelos locales es difícil de justificar cuando por 20 euros al mes tienes acceso a modelos frontera que, hoy por hoy, suelen ser mejores. Pero creo que comparar un HAIS con una suscripción a ChatGPT es quedarse solo con una parte de la historia. Un HAIS no tiene por qué existir para sustituir a ChatGPT. Puede convivir perfectamente con él, así que esto no son conceptos excluyentes.

Quizás por eso el futuro no sea elegir entre IA local e IA en la nube. Probablemente usemos las dos. Dejaremos en la nube las tareas que exijan los modelos más capaces del mundo y ejecutaremos en casa aquellas para las que importen más la privacidad, la disponibilidad, el coste marginal o el acceso permanente a nuestros propios datos.

Y ahí creo que aparece una categoría de producto que todavía está empezando a tomar forma.

Hoy tenemos Mac Studio, DGX Spark, Framework Desktop y diversos mini-PC con Ryzen AI Max. Ninguno nació exactamente para esto, pero todos empiezan a parecerse sorprendentemente a la misma idea: una caja pequeña, eficiente, siempre encendida, con mucha memoria y suficiente potencia para convertirse en el cerebro digital de casa.

Eso es para mí un HAIS.

Con un HAIS las opciones se multiplican: puedes tener un modelo permanentemente disponible para todos los dispositivos de casa —la IA puede configurarlos y gestionarlos por ti—, hacer un RAG sobre años de documentos y fotos, transcribir audio, clasificar imágenes, controlar la domótica, ejecutar agentes privados que hagan tareas rutinario, servir como asistente privado familiar y otras muchas cosas sobre las que, de nuevo, tienes prácticamente todo el control. Es una idea súper potente.

Los NAS hicieron algo parecido hace veinte años. Primero parecían un capricho para frikis. Después empezaron a almacenar nuestras fotos, películas, copias de seguridad, cámaras, servicios y media vida digital. Creo que con la IA puede ocurrir algo parecido. Pero es que el HAIS no tiene que sustituir al NAS, porque puede acabar absorbiéndolo.

En 2012 escribí «Pon un NAS en tu vida».

Quizás haya llegado el momento de poner un HAIS en ella.

Suscríbete a Incognitosis

¡Recibe en tu correo las nuevas entradas!

Standard

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

2 comentarios en “Pon un HAIS en tu vida

  1. Batlander dice:

    Supongo que para una empresa puede resultar útil por el tema de la privacidad. Pero no sé cómo funcionaría un HAIS con muchos usuarios teniendo acceso al mismo.

    Por cierto, ¿los modelos de IA locales qué precio tienen? No creo que sean gratis, ¿no?