Un experimento publicado en el blog de Hugging Face muestra que es posible ejecutar Qwen3.8-Flash-Next, un modelo MoE de 180B parámetros con 121 GB en FP8, en un MacBook M5 con 32 GB de memoria unificada. El enfoque transmite solo los expertos elegidos por el enrutador, directamente desde el SSD, con un caché limitado en el dispositivo. Según el autor, el resultado queda cerca del 6% por detrás de Strata en la decodificación corta, con prefill ligeramente más rápido, todo dentro de Transformers.
Un experimento publicado en el blog de Hugging Face describe cómo ejecutar un modelo de mezcla de expertos (MoE) con 180B parámetros y 121 GB de pesos en FP8 en un MacBook M5 con 32 GB de memoria unificada. La idea central es transmitir desde el SSD solo los expertos que el enrutador elige para cada token, manteniendo un caché limitado en el dispositivo.
El autor relata que el resultado final queda cerca del 6% por detrás de Strata en la decodificación corta, con prefill ligeramente más rápido, todo dentro de Transformers. El texto atribuye esa cercanía a tres decisiones: transmitir solo los expertos enrutados, usar un caché limitado sobre el cual grouped_mm se ejecuta sin cambios y escribir algunos kernels Metal específicos.
Por qué los expertos dominan el problema
Según el texto, los expertos representan más del 90% de los pesos de un modelo MoE. Por eso, un modelo de 180B parámetros puede ejecutarse en una GPU con mucha menos memoria, siempre que solo los expertos más usados permanezcan en la VRAM y el resto vaya a la RAM o al disco.
El autor describe Qwen3.8-Flash-Next como un modelo con 48 capas de 512 expertos, 10 activos, y 121 GB en FP8. Además de los expertos, hay una tabla de embeddings n-gram de 51 GB que también necesita un camino propio en el disco.
Para caber en el MacBook, los expertos se cuantizaron a 3 bits, ocupando 49 GB en el disco y 12 GiB en caché en el dispositivo. Las capas densas quedaron en 8 bits, con cerca de 5,4 GB y un aumento del 0,2% en la perplejidad respecto a BF16. La tabla n-gram permanece en el disco, con filas leídas cuando es necesario.
El texto informa que la conversión tarda cerca de 5 horas. Después de la carga, el modelo usa aproximadamente 18 GiB, y un prompt de 6K tokens llega al pico de 25,4 GiB. El autor dice que necesita cerrar el navegador en ese punto, o macOS empieza a hacer swap.
Qué comparó el experimento y cómo se acercó
Antes de pasar al modelo mayor, el autor probó OLMoE-1B-7B, que cabe en la memoria, para comparar cada token con Transformers estándar. La primera versión, con expertos en el disco, caché LRU en el dispositivo y un bucle en Python procesando un experto por vez, hizo 10,1 tok/s, frente a cerca de 32 de Transformers estándar.
La corrección fue transformar el caché en un pool de slots: un tensor preasignado en el dispositivo compartido por todas las capas, más una tabla por capa que mapea el id del experto al slot. Con eso, el pool se parece a un banco de expertos común y grouped_mm se ejecuta sin modificaciones. El resultado subió a 34,6 tok/s, frente a 38,1 de Transformers estándar.
El autor también comparó el comportamiento de llama.cpp, vLLM y Transformers cuando un modelo MoE no cabe en la memoria. En llama.cpp, los expertos pueden quedar en la CPU y se calculan allí, de modo que solo las activaciones cruzan el PCIe. En vLLM, el parámetro de offload coloca pesos en RAM fijada y los kernels leen en el lugar, pero nada se cachea y no hay capa de disco. En Transformers, el offload vía Accelerate copia el banco entero de expertos de cada capa a cada token, sin noción de enrutamiento.
El texto relata pruebas con Qwen3.6-35B-A3B en una A10G de 24 GB. Hacer offload solo de los expertos duplicó la velocidad de vLLM, y FP8 ayudó aún más. El otro backend de offload de vLLM, que copia grupos de capas por anticipado, quedó por debajo de 1 tok/s.
Qué sigue limitando el rendimiento
Según el autor, la mayor parte del tiempo no se gastó en los expertos. Confirmar el trabajo de la GPU temprano aportó un 10%, porque PyTorch en MPS retiene kernels pequeños hasta la siguiente sincronización. Los kernels Metal para Gated DeltaNet y hyper-connections también ayudaron, así como usar los pesos GGUF de Strata, que redujeron el tráfico de pesos densos de 5,4 GB a 3,9 GB por token y el tamaño individual de cada experto de 2,15 MB a 1,75 MB.
En el prefill, el autor relata pasar de 68 a cerca de 228 tok/s con bloques mayores y lectura anticipada de los expertos de la capa siguiente mientras se calcula la capa actual. Para documentos largos, la atención pasó a considerar solo los bloques seleccionados por el indexador, y el caché KV crece en el lugar en vez de copiarse a cada token.
El autor afirma que lo que queda son principalmente idas y vueltas al host, cerca de 10 ms por token. Despertar después de una sincronización cuesta solo cerca de 1 ms de ese total. El resto es la GPU quedando ociosa mientras Python encola la siguiente capa. Strata encola el trabajo del token entero de antemano y la GPU espera en un evento compartido de Metal a cada capa, mientras el host lee los expertos. PyTorch no expone eso hoy.
El autor dice haber intentado simular ese comportamiento con un kernel girando en una flag escrita por la CPU, pero la GPU tardó desde un segundo hasta nunca en ver la escritura. La corrección real requeriría una operación nativa en el stream MPS de PyTorch, con riesgo de bloqueos, y por eso no se construyó.
El texto también menciona vllm-metal, que ejecuta vLLM en GPUs de Apple vía MLX y recientemente incorporó offload de expertos. Según el autor, transmite los expertos enrutados por un caché limitado, como este proyecto, pero no logra ejecutar Qwen3.8-Flash-Next en 32 GB por la tabla n-gram: solo se transmiten los expertos, y las tablas n-gram quedan en la memoria, lo que suma 32 GB en los checkpoints MLX en el Hub antes de los cerca de 5 GB de capas densas y de cualquier caché de expertos.
El autor es explícito sobre el resultado: Transformers no superó a Strata, y cerrar el cerca del 6% restante requeriría cambios más profundos en la pila, empezando por el control de la sincronización por capa. También afirma que el modelo se ejecuta a cerca de 14 tok/s, aún demasiado lento para su uso con agentes de programación, y que el PC con dos RTX 4090 sigue haciendo el trabajo real.
La implementación genérica de streaming de expertos está en el pull request 50717 del repositorio huggingface/transformers, y los benchmarks están en un Space. El autor pide comentarios sobre el enfoque y la API, que aún está en discusión con los mantenedores de Transformers. El texto no informa una fecha de disponibilidad estable ni confirma cuándo se incorporará el cambio a Transformers.
Fuente original: Hugging Face — 180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers.
Recibe Radar de IA todos los días
Las noticias de inteligencia artificial que importan — con nuestro prisma y siempre con las fuentes. Gratis.






