A Nvidia divulgou o NeMo Switchyard, um roteador de modelo de código aberto. A ferramenta posiciona-se entre uma aplicação e um conjunto de modelos de linguagem. Seu objetivo é otimizar a eficiência, enviando cada requisição ao modelo mais econômico capaz de executar a tarefa.
O sistema decide, a cada requisição ou turno, qual modelo deve processar a solicitação. A intenção é evitar que modelos de ponta realizem tarefas simples que modelos menores ou mais baratos poderiam cumprir. Empresas que adotam IA enfrentam custos crescentes, e o roteador busca mitigar esse aumento de despesas.
O NeMo Switchyard funciona como um intermediário que utiliza um algoritmo de roteamento. Ele aceita requisições de plataformas como OpenAI e Anthropic, traduz entre elas e documenta o uso de tokens, a latência e o raciocínio da decisão. Essa funcionalidade promove transparência no processo.
Apesar dos benefícios de custo, testes apontam desafios. Um estudo da LangChain indicou que o modelo julgador usado no teste consumiu até 21,2% do custo total, ficando atrás apenas do uso do modelo Claude Opus 4.8. Além disso, o uso do roteador pode aumentar a latência em cerca de 700 milissegundos.
A Nvidia argumenta que o lançamento de uma solução de código aberto em um espaço fragmentado ajuda a direcionar a inferência para hardware que as empresas possuem. Contudo, a análise de custo se torna complexa, pois o roteamento, embora reduza o gasto médio, amplia a variação de custos entre as execuções.
