Idea para llevarse: vLLM v0.33.0rc3 concentra mejoras en el stack DeepSeek-V4/V4.1 y FlashMLA sobre SM90, con correcciones críticas de estabilidad en Engram/GB200; las dependencias CUDA fijan versiones exactas para phi3v y tokenspeed-mla en Linux.
Mejoras en decodificación y layout para DeepSeek-V4/V4.1
Las notas de v0.33.0rc3, fechadas el 2026-11-02, agrupan bajo la rúbrica DeepSeek-V4 y V4.1 una selección de bloques del índice de decodificación consciente de longitud, que según el texto ahorra aproximadamente 850 µs por paso en contexto de 1 M de tokens (#61039). Los expertos MegaMoE se cargan directamente en el layout DeepGEMM de modo que la función reload_weights opere correctamente (#60096). La operación fused_wqa_wkv se divide por token a través de TP en SM90 (#58872), y la salida wo_a de MegaAttn escribe entrada MXFP8 para wo_b (#60118).[2]
FlashMLA, EPLB y correcciones de estabilidad Engram
En la misma sección se documenta prefill disperso de FlashMLA con cabeceras pequeñas, nativo en SM90 (#61615), y un layout de KV entrelazado para FlashMLA (#61371). Se cargan slots redundantes de expertos EPLB (#59611). Las tablas Engram en GPU se leen desde HBM de par, lo que corrige cuelgues de decodificación DEP en GB200 (#62091). El texto enumera además correcciones para: Engram bajo paralelismo por pipeline (#62208), cuelgues all-to-all de Engram (#62269), valores NaN en el espacio de trabajo de índice de prefill (#60613), escrituras de KV comprimida C128 bajo grafos PIECEWISE (#59709), filas de expertos enrutados bajo replay (#61643, #62652) y la codificación de referencia 1017 actualizada (#62199, #62200).[2]
Dependencias CUDA fijadas en requirements
El archivo requirements/cuda.txt del repositorio vLLM (commit 4ba787ec) fija torchvision==0.29.0 como dependencia requerida para el procesador phi3v, con referencia al documento de instalación de pytorch/vision para la versión correspondiente. También se declara tokenspeed-mla==2.0.3 con la condición platform_system == "Linux".[1]
Fuentes, fechas y alcance
Publicación real: 3 de noviembre de 2026. Periodo analizado: 2 de noviembre de 2026. Notas de vLLM contrastadas con requisitos del repositorio fijados a un commit. Las cifras de rendimiento citadas son declaraciones del proyecto, no pruebas propias. No implica compatibilidad universal ni una recomendación de migración.
- vLLM pinned CUDA requirements. Consulta: .
- vLLM v0.33.0rc3 release notes. Consulta: .