Лимиты запросов и квоты
Как работают лимиты запросов, области действия токенов и политики динамических квот.
Лимиты запросов и квоты TENSORAXIS определяются конфигурацией развёртывания, группами пользователей и областями действия токенов. Точные значения могут отличаться в зависимости от аккаунта, группы, модели и политики эксплуатации, поэтому в данной документации не указаны фиксированные значения RPM, TPM, RPD или цен.
Лимиты, которые могут повлиять на запросы
| Тип лимита | Описание |
|---|---|
| Область действия токена | Токены могут быть ограничены по модели, группе, IP, квоте и политике скорости |
| Квота аккаунта | Запросы могут завершаться ошибкой при недостаточном балансе, квоте подписки или выделенной квоте |
| Лимиты модели/группы | Развёртывания могут применять окна запросов по пользователю и группе, включая счётчики успешных запросов и опциональные счётчики общего числа запросов |
| Лимиты вышестоящих провайдеров | Вышестоящие провайдеры также могут возвращать ошибки превышения лимита или нехватки мощности |
Что делать при достижении лимита
Ошибки превышения лимита обычно возвращают 429. Клиентам следует:
- Повторять запросы с экспоненциальной задержкой, например 1с, 2с, 4с и 8с.
- Контролировать параллелизм, чтобы несколько воркеров не исчерпывали один и тот же токен одновременно.
- Для асинхронных задач с видео ограничивать частоту как отправки задач, так и опроса их статуса.
- Избегать бесконечных повторов неудачных запросов; логировать тело ответа и разбираться в причинах повторяющихся сбоев.
Как узнать реальные лимиты
Фактические лимиты определяются консолью и текущей конфигурацией развёртывания:
- Используйте страницу токенов, чтобы просмотреть или настроить доступ на уровне токена.
- Используйте витрину моделей, чтобы узнать текущую доступность моделей и цены.
- Корпоративные или частные развёртывания могут использовать политики лимитов, управляемые администратором.
Демонстрационные данные, отображаемые в консоли или на страницах с описанием моделей, не являются контрактом API. Для промышленных интеграций опирайтесь на настройки токенов, квоту аккаунта и фактические ответы сервера.