GPT-6 Astra Ultrafast, que se ejecuta en GPU NVIDIA Blackwell y se acelera mediante optimizaciones de inferencia continua a través de los modelos de OpenAI, ofrece respuestas de modelo más rápidas en la generación de código, el uso de herramientas y las aplicaciones interactivas.
GPT-6 Astra Ultrafast, que se ejecuta en GPU NVIDIA Blackwell , ya está disponible en la API de OpenAI y para los usuarios elegibles de ChatGPT Work y Codex.
Gracias a las optimizaciones de inferencia de los modelos de OpenAI, que aprovechan las capacidades de la arquitectura NVIDIA Blackwell, Ultrafast ofrece una generación de tokens hasta 8 veces más rápida que el modo Astra Standard. Para los desarrolladores, una generación más rápida puede acortar los ciclos de edición, prueba y depuración de los agentes de codificación, reducir el tiempo dedicado a generar respuestas entre llamadas a herramientas y lograr que las aplicaciones interactivas sean más fluidas.
Una respuesta más rápida es crucial cuando se repite a lo largo de un flujo de trabajo: un agente escribe código, utiliza una herramienta, verifica el resultado y decide qué hacer a continuación. Ultrafast integra las capacidades de Astra en estos ciclos críticos. La infraestructura de IA de NVIDIA ayuda a OpenAI a proporcionar resultados de modelos más útiles cuando los desarrolladores los necesitan.
«La gran inversión de NVIDIA en herramientas y documentación nos ha permitido desarrollar modelos excepcionalmente eficientes para la programación de GPU Blackwell y Rubin», afirmó Philippe Tillet, responsable de inferencia en OpenAI. «Astra transforma ese conocimiento en kernels de alto rendimiento que hacen que el hardware de NVIDIA sea atractivo en todos los aspectos, desde la latencia hasta el rendimiento y el coste. Con Astra Ultrafast, esto se traduce en respuestas más rápidas de los modelos a medida que los agentes escriben código, utilizan herramientas y realizan tareas complejas».
Mejora continua del rendimiento
Las mejoras de rendimiento no terminan con la implementación de un modelo. OpenAI utiliza sus propios modelos para perfeccionar el software de inferencia que se ejecuta en las GPU de NVIDIA, aprovechando la programabilidad de la plataforma para probar e implementar mejoras. Este trabajo continuo permite que las respuestas de los modelos sean más rápidas y que la infraestructura implementada sea más productiva con el tiempo.
“Nuestra colaboración con NVIDIA nos está ayudando a que la IA sea más rápida y útil”, afirmó Uday Ruddarraju, director de tecnología de computación de OpenAI. “Utilizamos nuestros modelos internos para optimizar la inferencia en las GPU de NVIDIA, y la programabilidad de NVIDIA nos ayudó a lograr la aceleración que impulsó a Astra Ultrafast”.
La plataforma programable de NVIDIA permite a desarrolladores e investigadores reutilizar la infraestructura en las fases de entrenamiento, inferencia y aprendizaje por refuerzo a medida que evolucionan los modelos. Esta flexibilidad ayuda a los equipos a reasignar los recursos informáticos según la demanda, mejorando su utilización y evitando la sobredimensionamiento de los mismos para cada carga de trabajo.
Los desarrolladores ya pueden usar GPT-6 Astra Ultrafast a través de la API. Consulta la guía de Ultrafast para obtener información sobre acceso, precios e implementación.
