Часть запросов повторяется каждый день: график, доставка, «где мой заказ». Для них модель не нужна — хватает сценариев, кэша готовых ответов и обычных скриптов. В эксплуатации этот уровень почти бесплатен: токенов нет, платите только за сервер. И он не ждёт генерацию: в Sigma.AI типовой сценарий отдаёт подборку до 6 секунд, а полная генерация занимает 15–20.

Запросы посложнее — «подберите вариант под мою задачу» — идут в LLM, но не в «голую», а в контур с RAG: ассистент сначала находит ответ в вашей базе знаний и только потом формулирует его моделью (что такое RAG и LLM). Токены тратятся, но на осмысленную работу, а не на пересказ FAQ.

Верхний уровень — AI-агент: не только отвечает, но и делает — подбирает товары, собирает корзину, оформляет заявку. Это самые дорогие запросы. Агент ходит циклом: подумал, вызвал инструмент, прочитал результат, подумал снова — и каждый шаг снова тратит токены. По данным Anthropic (июнь 2025), агенты тратят примерно в 4 раза больше токенов, чем обычный диалог, а системы из нескольких агентов — примерно в 15 раз. У моделей с рассуждением есть ещё скрытая статья: токены рассуждения не видны в ответе, но оплачиваются как выходные (так это описано в документации OpenAI).

Поэтому у агента в продакшене два обязательных ограничителя: лимит шагов и бюджет на задачу. Остановиться и передать задачу человеку дешевле, чем крутить цикл. Смысл лестницы в том, что до агента доходит только то, что требует агента.

В Sigma.AI — ассистенте продуктового маркетплейса Sigma.Market — лестница своя, под задачу магазина, но принцип тот же: модель получает только то, что без неё не решить.

• Уровень 1 — детерминированные сценарии: подборки, квизы, блюда из каталога, поиск рецептов по ингредиентам. До 6 секунд и ноль токенов.
• Уровень 2 — кэш: популярные рецепты вроде борща или пасты отдаются примерно за 4 секунды, тоже без токенов.
• Уровень 3 — полная генерация для новых нетиповых запросов: 15–20 секунд на собственной локальной модели с нашим эмбеддингом. Запросы идут параллельно, без очереди.

Задача контура — чтобы до генерации доходили только новые нетиповые запросы. Внешние модели не исключены совсем: Gemini и OpenAI подключены для отдельных сценариев через оркестрацию в n8n — токены оплачиваются только там. После оптимизации инференса весь AI-контур живёт на отдельном сервере 4 CPU / 8 ГБ, изолированно от платформы. Ответ пользователю — 3–5 блюд с ингредиентами, которые есть в наличии, и корзина в один тап. Подробности — в кейсе Sigma.AI.