Pular para o conteúdo principal

O que é roteamento de modelos?

Roteamento de modelos é escolher, para cada pedido, qual modelo de IA o responde, por regras como capacidade, custo, velocidade ou quais modelos estão disponíveis naquele momento.

Nenhum modelo é o melhor em tudo nem está sempre disponível. O roteamento é como um sistema usa vários sem que a pessoa escolha toda vez.

Como funciona

Um roteador olha o pedido, e às vezes a conversa até ali, e escolhe um modelo. Roteadores simples seguem regras fixas: imagens vão para um modelo que enxerga, documentos longos para um com janela de contexto grande. Outros passam para o próximo da fila quando um modelo está ocupado ou falha.

O roteamento também pode ficar com a pessoa: um app oferece vários modelos e você escolhe qual responde.

Exemplos

  • Enviar uma mensagem com imagem para um modelo que aceita imagens.
  • Passar um pedido para outro modelo quando o primeiro atingiu seu limite de uso.
  • Usar um modelo pequeno e rápido para respostas curtas e um maior para problemas difíceis.

Limitações

  • Modelos diferentes respondem de forma diferente, então uma conversa roteada pode mudar de tom ou de qualidade entre respostas.
  • Um roteador precisa adivinhar do que um pedido precisa, e pode errar.
  • Cada provedor tem seus próprios termos, então rotear entre provedores espalha seus dados entre eles.

Como a Venta usa isso

A IA incluída da Venta roda em mais de um modelo. Quando o modelo escolhido está ocupado, um pedido que ainda não começou a ser respondido passa para o próximo modelo incluído, e uma mensagem com imagens vai para um modelo que consegue vê-las.

A IA incluída da Venta roda em modelos de outras empresas de IA; não é um modelo criado pela Venta. Você também pode conectar sua própria conta da OpenAI, Anthropic, Google, xAI ou Cerebras, ou qualquer endpoint HTTPS público compatível com a API da OpenAI, e escolher qual modelo responde.

As perguntas que as pessoas fazem primeiro

Posso escolher o modelo eu mesmo?
Sim. Escolha um modelo no chat; com sua própria chave de provedor conectada, você também pode escolher os modelos desse provedor.
Por que uma resposta veio de outro modelo?
Normalmente porque o modelo escolhido estava ocupado. A Venta passa um pedido que ainda não começou para o próximo modelo incluído em vez de falhar.
Roteamento de modelos é o mesmo que mistura de especialistas?
Não. Uma mistura de especialistas é um projeto interno de um único modelo. O roteamento de modelos escolhe entre modelos separados.