Aller au contenu principal

Qu'est-ce que le routage de modèles ?

Le routage de modèles consiste à choisir, pour chaque demande, quel modèle d'IA y répond, selon des règles comme les capacités, le coût, la vitesse ou les modèles disponibles à ce moment-là.

Aucun modèle n'est le meilleur en tout ni toujours disponible. Le routage permet à un système d'en utiliser plusieurs sans que la personne choisisse à chaque fois.

Comment ça marche

Un routeur examine la demande, et parfois la conversation jusque-là, puis choisit un modèle. Les routeurs simples suivent des règles fixes : les images vont à un modèle qui voit, les longs documents à un modèle doté d'une grande fenêtre de contexte. D'autres passent au suivant dans l'ordre quand un modèle est occupé ou échoue.

Le routage peut aussi être laissé à la personne : une application propose plusieurs modèles et vous choisissez celui qui répond.

Exemples

  • Envoyer un message contenant une image à un modèle qui accepte les images.
  • Faire passer une demande à un autre modèle quand le premier a atteint sa limite d'utilisation.
  • Utiliser un petit modèle rapide pour les réponses courtes et un plus grand pour les problèmes difficiles.

Limites

  • Des modèles différents répondent différemment, donc une conversation routée peut changer de ton ou de qualité d'une réponse à l'autre.
  • Un routeur doit deviner ce dont une demande a besoin, et peut se tromper.
  • Chaque fournisseur a ses propres conditions, donc router entre fournisseurs répartit vos données entre eux.

Comment Venta l'utilise

L'IA incluse de Venta s'appuie sur plusieurs modèles. Quand le modèle choisi est occupé, une demande qui n'a pas encore commencé à recevoir sa réponse passe au modèle inclus suivant, et un message contenant des images va à un modèle capable de les voir.

L'IA incluse de Venta repose sur des modèles d'autres entreprises d'IA ; ce n'est pas un modèle conçu par Venta. Vous pouvez aussi relier votre propre compte OpenAI, Anthropic, Google, xAI ou Cerebras, ou tout point d'accès HTTPS public compatible avec l'API d'OpenAI, et choisir quel modèle répond.

Les questions qu'on pose en premier

Puis-je choisir le modèle moi-même ?
Oui. Choisissez un modèle dans le chat ; avec votre propre clé de fournisseur connectée, vous pouvez aussi choisir les modèles de ce fournisseur.
Pourquoi une réponse est-elle venue d'un autre modèle ?
Le plus souvent parce que le modèle choisi était occupé. Venta fait passer une demande qui n'a pas encore commencé au modèle inclus suivant au lieu d'échouer.
Le routage de modèles est-il la même chose qu'un mélange d'experts ?
Non. Un mélange d'experts est une conception interne à un seul modèle. Le routage de modèles choisit entre des modèles distincts.