Inicio Ciencia NVIDIA apuesta por el codesarrollo para aliviar la presión sobre la memoria...

NVIDIA apuesta por el codesarrollo para aliviar la presión sobre la memoria de los sistemas de IA

0
95
NVIDIA apuesta por el codesarrollo para aliviar la presión sobre la memoria de los sistemas de IA

NVIDIA afirma que el avance de la inferencia de IA depende menos de añadir simplemente HBM y más de coordinar GPU, CPU, red, almacenamiento y software. La empresa menciona ganancias de hasta 30 veces en rendimiento por dólar en una comparación divulgada por SemiAnalysis, pero las cifras proceden de la propia NVIDIA y no fueron verificadas de forma independiente en este material.

NVIDIA afirma que la presión sobre la memoria de los sistemas de IA está aumentando con modelos más grandes, contextos más largos y aplicaciones agénticas. Según la empresa, una oferta más limitada y el aumento de los precios de la memoria refuerzan la necesidad de extraer más trabajo de cada byte.

La respuesta planteada no consiste únicamente en instalar más memoria HBM en las GPU. La compañía defiende un codesarrollo de extremo a extremo, en el que GPU, CPU, redes, almacenamiento y software se diseñan para operar como una jerarquía integrada.

Por qué la memoria se convirtió en un cuello de botella

Durante la inferencia, la HBM debe alojar principalmente los pesos del modelo y la caché KV, que conserva el contexto de las solicitudes activas. En los flujos agénticos, el mismo contexto puede atravesar varias llamadas al modelo y herramientas, lo que aumenta la memoria de trabajo.

El texto de NVIDIA también señala que RAG añade información corporativa al prompt. Estos datos amplían el contexto procesado, aunque no todo el contenido necesita permanecer en la capa más rápida y costosa.

La empresa compara la HBM con un almacén con muelles de carga: aumentar el espacio no necesariamente resuelve el problema cuando el ancho de banda limita el movimiento. Este límite se describe como el muro de memoria.

Por ello, la propuesta consiste en distribuir los datos entre HBM, memoria de la CPU, SSD locales y almacenamiento compartido. La información activa permanece cerca de la GPU, mientras que los datos pausados o menos urgentes ocupan capas de mayor capacidad y menor costo.

Compresión y movimiento del contexto

NVIDIA afirma que el formato NVFP4 reduce el espacio necesario para los pesos en comparación con FP8. La compañía menciona modelos de distintos desarrolladores que ya se habrían ofrecido con checkpoints en NVFP4, pero el material proporcionado no presenta una evaluación independiente de la calidad de cada caso.

En los sistemas NVL72, los pesos pueden distribuirse entre hasta 72 GPU, lo que reduce la proporción almacenada en cada dispositivo y libera HBM para la caché KV y para más usuarios simultáneos.

La empresa también afirma que aplicar NVFP4 a la caché KV reduce su ocupación. Los contextos inactivos podrían permanecer en memoria LPDDR asociada a la CPU Vera o transferirse mediante el software Dynamo al almacenamiento de memoria de contexto CMX.

Según la descripción, Dynamo administra la caché KV como un recurso distribuido entre GPU, CPU y almacenamiento. El mecanismo de reutilización busca evitar que un contexto ya calculado tenga que procesarse de nuevo.

Para las aplicaciones RAG, NVIDIA propone embeddings más pequeños e índices mantenidos en la CPU y el almacenamiento mediante los modelos Nemotron Retriever y la biblioteca cuVS. Así, solo los fragmentos recuperados entran en el contexto enviado al modelo.

Ganancias alegadas por generación de plataforma

NVIDIA afirma que el rendimiento por dólar creció más rápidamente que la capacidad de HBM por GPU en sus plataformas recientes. En la carga de trabajo DeepSeek V4 Pro de SemiAnalysis AgentX, la empresa declara hasta 10 veces más rendimiento por dólar para el GB300 NVL72 frente al H200, con un objetivo de 100 tokens por segundo por usuario.

En otra comparación, la compañía declara que el Vera Rubin NVL72 alcanza hasta 30 veces más rendimiento por dólar que el GB300 NVL72 a 125 tokens por segundo por usuario, mientras que la capacidad de HBM por GPU habría aumentado alrededor de un 3%.

Estas cifras dependen de la carga de trabajo, la configuración, el objetivo de latencia y la metodología de costos. El material proporcionado no detalla todos esos parámetros ni permite confirmar los resultados más allá de las afirmaciones de NVIDIA.

Para los operadores de infraestructura, la métrica central pasa a ser la cantidad de tokens útiles entregados dentro del presupuesto energético y del tiempo de respuesta esperado. La tesis de NVIDIA es que la eficiencia del sistema puede reducir el costo por token incluso cuando la capacidad de HBM crece poco.

Fuente original: NVIDIA — More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge.

Recibe Radar de IA todos los días

Las noticias de inteligencia artificial que importan — con nuestro prisma y siempre con las fuentes. Gratis.

Sin spam. Cancela cuando quieras.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí