什么是模型路由？
模型路由是指为每个请求选择由哪个 AI 模型来回答，依据的规则包括能力、成本、速度，或当时有哪些模型可用。
没有哪个模型样样最好或随时可用。路由让系统使用多个模型，而不需要人每次都去选择。
工作原理
路由器会查看请求，有时也会查看此前的对话，然后选择一个模型。简单的路由器遵循固定规则：图片交给能看图的模型，长文档交给上下文窗口大的模型。另一些会在某个模型繁忙或失败时按顺序切换到下一个。
路由也可以交给人来做：应用提供多个模型，由你选择哪个来回答。
示例
- 把带图片的消息发送给能接受图片的模型。
- 当第一个模型达到速率限制时，把请求转给另一个模型。
- 用小而快的模型处理简短回复，用更大的模型处理难题。
局限
- 不同模型的回答方式不同，因此经过路由的对话在不同回复之间可能语气或质量有所变化。
- 路由器必须猜测请求需要什么，而且可能猜错。
- 每个提供商都有自己的条款，因此在多个提供商之间路由会把你的数据分散到它们那里。
Venta 如何使用
Venta 自带的 AI 运行在不止一个模型上。当所选模型繁忙时，尚未开始回答的请求会转到下一个自带模型，带图片的消息会交给能看图的模型。
Venta 自带的 AI 运行在其他 AI 公司的模型上，并不是 Venta 自己训练的模型。你也可以连接自己在 OpenAI、Anthropic、Google、xAI 或 Cerebras 的账户，或任何兼容 OpenAI API 的公开 HTTPS 端点，并选择由哪个模型回答。
大家最先问的问题
- 我可以自己选择模型吗？
- 可以。在聊天中选择模型；连接了你自己的提供商密钥后，也可以选择该提供商的模型。
- 为什么某条回复来自另一个模型？
- 通常是因为所选模型繁忙。Venta 会把尚未开始的请求转到下一个自带模型，而不是直接失败。
- 模型路由和混合专家是一回事吗？
- 不是。混合专家是单个模型内部的设计。模型路由是在不同的模型之间做选择。