NVIDIA apresenta o switchyard: uma ferramenta em rust para rotear e traduzir o tráfego de llms entre as principais apis

A NVIDIA lançou o Switchyard, um proxy e biblioteca baseados em Rust, projetados para rotear e traduzir o tráfego de modelos de linguagem (LLMs) entre as APIs da OpenAI e da Anthropic. A ferramenta permite que as equipas alterem de forma transparente entre diferentes provedores de LLMs sem ter de reescrever os seus agentes de programação, uma vez que cada provedor utiliza um formato de API distinto. O Switchyard traduz entre estes formatos, regista métricas operacionais e oferece algoritmos de roteamento compostáveis. É disponibilizado sob a licença Apache 2.0 e está disponível em docs.nvidia.com/nemo/switchyard. Embora o Switchyard seja utilizável para fins de avaliação, a NVIDIA o classificou como pré-alfa e experimental, alertando que não é adequado para utilização em produção. A ferramenta suporta três formatos de entrada—OpenAI Chat Completions, OpenAI Responses e Anthropic Messages—e permite que os clientes mantenham as suas APIs nativas, enquanto encaminham as solicitações para o backend apropriado. A ferramenta está disponível através de crates.io e PyPI, com caminhos de instalação separados para os componentes do servidor, lançador e biblioteca. O Switchyard também fornece métricas detalhadas através do Prometheus e do OpenTelemetry, incluindo a sobrecarga de roteamento e estatísticas de sessão. A ferramenta destina-se a desenvolvedores e equipas que procuram integrar vários provedores de LLMs de forma eficiente, com opções de implementação através de ficheiros TOML e variáveis de ambiente para uma gestão segura das credenciais.