Red Hat presentó su nueva plataforma AI Inference Server, diseñada para facilitar la implementación de modelos de lenguaje grandes (LLM) de alto rendimiento en entornos empresariales. La solución, que forma parte del ecosistema Red Hat AI, está integrada en Red Hat OpenShift AI y Red Hat Enterprise Linux AI (RHEL AI), pero también se ofrece como producto independiente.
El servidor está basado en vLLM, un motor de inferencia reconocido por su eficiencia en memoria y velocidad, el cual incorpora técnicas avanzadas como PagedAttention y procesamiento por lotes continuo. Además, incluye herramientas de compresión de modelos desarrolladas con la tecnología de Neural Magic, ahora parte de Red Hat, lo que permite reducir significativamente el tamaño de los LLM sin afectar su precisión.
Una de las principales ventajas anunciadas es la portabilidad híbrida: AI Inference Server se distribuye como una imagen de contenedor, lo que permite ejecutarlo de forma uniforme en Red Hat OpenShift, RHEL, otras plataformas Kubernetes o sistemas Linux estándar. Esto facilita a las empresas desplegar modelos en la infraestructura que mejor se adapte a sus necesidades, ya sea en la nube pública, privada o en entorno local.
La plataforma también destaca por su compatibilidad multiplataforma con aceleradores de hardware, soportando no solo GPUs de NVIDIA, sino también de AMD y TPUs de Google. Esto brinda a las organizaciones flexibilidad para elegir el hardware más adecuado según costos, rendimiento y disponibilidad.
Como parte de la oferta, Red Hat proporciona un repositorio de modelos optimizados alojado en Hugging Face, con versiones comprimidas y listas para usar de LLM populares como Llama, Mistral e IBM Granite, lo que acelera el tiempo de puesta en producción.
“El ritmo de innovación en IA generativa exige soluciones potentes, flexibles y eficientes”, señalaron los responsables del anuncio. Con AI Inference Server, Red Hat busca posicionarse como un actor clave en la inferencia empresarial de IA, combinando rendimiento, soporte empresarial y una arquitectura abierta y portable.
Autores: Erwan Gallen, Carlos Condado, Taneem Ibrahim | Red Hat
