O que é roteamento de modelos?
Roteamento de modelos é escolher, para cada pedido, qual modelo de IA o responde, por regras como capacidade, custo, velocidade ou quais modelos estão disponíveis naquele momento.
Nenhum modelo é o melhor em tudo nem está sempre disponível. O roteamento é como um sistema usa vários sem que a pessoa escolha toda vez.
Como funciona
Um roteador olha o pedido, e às vezes a conversa até ali, e escolhe um modelo. Roteadores simples seguem regras fixas: imagens vão para um modelo que enxerga, documentos longos para um com janela de contexto grande. Outros passam para o próximo da fila quando um modelo está ocupado ou falha.
O roteamento também pode ficar com a pessoa: um app oferece vários modelos e você escolhe qual responde.
Exemplos
- Enviar uma mensagem com imagem para um modelo que aceita imagens.
- Passar um pedido para outro modelo quando o primeiro atingiu seu limite de uso.
- Usar um modelo pequeno e rápido para respostas curtas e um maior para problemas difíceis.
Limitações
- Modelos diferentes respondem de forma diferente, então uma conversa roteada pode mudar de tom ou de qualidade entre respostas.
- Um roteador precisa adivinhar do que um pedido precisa, e pode errar.
- Cada provedor tem seus próprios termos, então rotear entre provedores espalha seus dados entre eles.
Como a Venta usa isso
A IA incluída da Venta roda em mais de um modelo. Quando o modelo escolhido está ocupado, um pedido que ainda não começou a ser respondido passa para o próximo modelo incluído, e uma mensagem com imagens vai para um modelo que consegue vê-las.
A IA incluída da Venta roda em modelos de outras empresas de IA; não é um modelo criado pela Venta. Você também pode conectar sua própria conta da OpenAI, Anthropic, Google, xAI ou Cerebras, ou qualquer endpoint HTTPS público compatível com a API da OpenAI, e escolher qual modelo responde.
As perguntas que as pessoas fazem primeiro
- Posso escolher o modelo eu mesmo?
- Sim. Escolha um modelo no chat; com sua própria chave de provedor conectada, você também pode escolher os modelos desse provedor.
- Por que uma resposta veio de outro modelo?
- Normalmente porque o modelo escolhido estava ocupado. A Venta passa um pedido que ainda não começou para o próximo modelo incluído em vez de falhar.
- Roteamento de modelos é o mesmo que mistura de especialistas?
- Não. Uma mistura de especialistas é um projeto interno de um único modelo. O roteamento de modelos escolhe entre modelos separados.