Что такое маршрутизация моделей?
Маршрутизация моделей — это выбор для каждого запроса модели ИИ, которая на него ответит, по правилам вроде возможностей, стоимости, скорости или того, какие модели доступны в данный момент.
Ни одна модель не лучшая во всём и не всегда доступна. Маршрутизация позволяет системе использовать несколько моделей, не заставляя человека каждый раз выбирать.
Как это работает
Маршрутизатор смотрит на запрос, а иногда и на весь разговор, и выбирает модель. Простые маршрутизаторы следуют фиксированным правилам: изображения — модели, которая видит, длинные документы — модели с большим контекстным окном. Другие по очереди переходят к следующей модели, когда предыдущая занята или даёт сбой.
Маршрутизацию можно оставить и человеку: приложение предлагает несколько моделей, и вы выбираете, какая ответит.
Примеры
- Отправить сообщение с изображением модели, которая принимает изображения.
- Передать запрос другой модели, когда первая упёрлась в лимит.
- Использовать небольшую быструю модель для коротких ответов и более крупную для сложных задач.
Ограничения
- Разные модели отвечают по-разному, поэтому в маршрутизируемом разговоре тон или качество могут меняться от ответа к ответу.
- Маршрутизатору приходится угадывать, что нужно запросу, и он может ошибиться.
- У каждого поставщика свои условия, поэтому маршрутизация между поставщиками распределяет ваши данные между ними.
Как это использует Venta
Встроенный ИИ Venta работает на нескольких моделях. Когда выбранная модель занята, запрос, на который ещё не начали отвечать, переходит к следующей встроенной модели, а сообщение с изображениями уходит модели, которая умеет их видеть.
Встроенный ИИ Venta работает на моделях других ИИ-компаний; это не модель, созданная Venta. Вы также можете подключить собственный аккаунт OpenAI, Anthropic, Google, xAI или Cerebras или любой публичный HTTPS-эндпоинт, совместимый с API OpenAI, и выбрать, какая модель отвечает.
Вопросы, которые задают первыми
- Могу ли я сам выбрать модель?
- Да. Выберите модель в чате; если подключён ваш собственный ключ поставщика, можно выбирать и модели этого поставщика.
- Почему ответ пришёл от другой модели?
- Обычно потому, что выбранная модель была занята. Venta передаёт ещё не начатый запрос следующей встроенной модели, а не выдаёт ошибку.
- Маршрутизация моделей — это то же самое, что смесь экспертов?
- Нет. Смесь экспертов — это устройство внутри одной модели. Маршрутизация моделей выбирает между отдельными моделями.