¿Qué es el enrutamiento de modelos?
El enrutamiento de modelos consiste en elegir, para cada petición, qué modelo de IA la responde, con reglas como la capacidad, el coste, la velocidad o qué modelos están disponibles en ese momento.
Ningún modelo es el mejor en todo ni está siempre disponible. El enrutamiento es cómo un sistema usa varios sin que la persona elija cada vez.
Cómo funciona
Un enrutador mira la petición, y a veces la conversación hasta ese momento, y elige un modelo. Los enrutadores sencillos siguen reglas fijas: las imágenes van a un modelo que puede ver, los documentos largos a uno con una ventana de contexto grande. Otros recurren al siguiente en orden cuando un modelo está ocupado o falla.
El enrutamiento también puede dejarse a la persona: una app ofrece varios modelos y tú eliges cuál responde.
Ejemplos
- Enviar un mensaje con una imagen a un modelo que acepta imágenes.
- Pasar una petición a otro modelo cuando el primero ha alcanzado su límite de uso.
- Usar un modelo pequeño y rápido para respuestas cortas y uno más grande para problemas difíciles.
Limitaciones
- Modelos distintos responden de forma distinta, así que una conversación enrutada puede cambiar de tono o de calidad entre respuestas.
- Un enrutador tiene que adivinar qué necesita una petición, y puede equivocarse.
- Cada proveedor tiene sus propias condiciones, así que enrutar entre proveedores reparte tus datos entre ellos.
Cómo lo usa Venta
La IA incluida de Venta funciona con más de un modelo. Cuando el modelo elegido está ocupado, una petición que aún no ha empezado a responderse pasa al siguiente modelo incluido, y un mensaje con imágenes va a un modelo que puede verlas.
La IA incluida de Venta funciona con modelos de otras empresas de IA; no es un modelo creado por Venta. También puedes conectar tu propia cuenta de OpenAI, Anthropic, Google, xAI o Cerebras, o cualquier endpoint HTTPS público compatible con la API de OpenAI, y elegir qué modelo responde.
Las preguntas que la gente hace primero
- ¿Puedo elegir yo el modelo?
- Sí. Elige un modelo en el chat; con tu propia clave de proveedor conectada, también puedes elegir los modelos de ese proveedor.
- ¿Por qué una respuesta vino de otro modelo?
- Normalmente porque el modelo elegido estaba ocupado. Venta pasa una petición que aún no ha empezado al siguiente modelo incluido en lugar de fallar.
- ¿El enrutamiento de modelos es lo mismo que una mezcla de expertos?
- No. Una mezcla de expertos es un diseño dentro de un solo modelo. El enrutamiento de modelos elige entre modelos distintos.