NVIDIA presenta switchyard: una herramienta de rust para enrutar y traducir el tráfico de LLM entre las principales apis

NVIDIA ha lanzado Switchyard, un proxy y una biblioteca basados en Rust diseñados para enrutar y traducir el tráfico de los modelos de lenguaje (LLM) entre las APIs de OpenAI y Anthropic. La herramienta permite a los equipos cambiar sin problemas entre diferentes proveedores de LLM sin tener que reescribir sus agentes de codificación, ya que cada proveedor utiliza un formato de API distinto. Switchyard traduce entre estos formatos, registra métricas operativas y ofrece algoritmos de enrutamiento componibles. Se publica bajo la licencia Apache 2.0 y está disponible en docs.nvidia.com/nemo/switchyard. Aunque Switchyard es desplegable con fines de evaluación, NVIDIA lo ha etiquetado como pre-alfa y experimental, advirtiendo que no es adecuado para su uso en producción. La herramienta admite tres formatos de entrada: OpenAI Chat Completions, OpenAI Responses y Anthropic Messages, y permite a los clientes mantener sus APIs nativas mientras dirigen las solicitudes al backend apropiado. La herramienta está disponible a través de crates.io y PyPI, con rutas de instalación separadas para los componentes del servidor, el lanzador y la biblioteca. Switchyard también proporciona métricas detalladas a través de Prometheus y OpenTelemetry, incluyendo la sobrecarga de enrutamiento y las estadísticas de sesión. La herramienta está destinada a los desarrolladores y equipos que buscan integrar de forma eficiente múltiples proveedores de LLM, con opciones de implementación a través de archivos TOML y variables de entorno para una gestión segura de las credenciales.