LLM-прокси, DLP и учёт токенов

Единая точка доступа

Прокси к языковым моделям с автопереключением

Прокси принимает запросы агентов и маршрутизирует к провайдерам по цепочке приоритета с паузой при отказе. Desktop-агент ходит через прокси как через провайдера — не зная ни ключей, ни реальных моделей.

Мультипровайдер

OpenRouter, Cloud.ru, GigaChat, YandexGPT, Ollama, LM Studio. Конфигурация в БД, меняется из админки без рестарта.

Автопереключение

Цепочка по приоритету с паузой на «нездоровый» провайдер — запрос уходит на резервный.

Свой / локальный

Заказчик выбирает модель сам: облачная, корпоративная или развёрнутая локально.

Учёт и бюджеты

Расход считается по каждому сотруднику

Каждый запрос учитывается сразу в нескольких разрезах — это готовый сводный отчёт.

Провайдер и модель

Объём запросов и ответов к модели с оценкой стоимости — для расчёта затрат по каждому провайдеру.

Агент

Какой ассистент сколько расходует.

Сотрудник

Расход по конкретному пользователю (по его идентификатору).

Бюджеты. Лимиты по расходу на уровне организации, подразделения и сотрудника — дневной, месячный, по стоимости, с настраиваемым порогом предупреждения.

Защита данных

Двухслойный DLP перед отправкой в модель

Ответ на вопрос «не утекут ли персональные данные во внешнюю LLM?»: запрос проходит фильтр до отправки.

Запросот агента

→

Слой 1 · нейросетьнейросетевая модель распознавания: имена, организации, адреса

→

Слой 2 · шаблоныдесятки встроенных правил: карты, ИНН, СНИЛС, паспорт…

→

Действиемаскировать / блок / алерт

Политики независимы для каждого заказчика, меняются без рестарта; каждое срабатывание — в аудит с разбивкой по слою

Применяется на входящем трафике — данные не уходят в модель необработанными
Действия настраиваются для каждого заказчика отдельно: маскирование, блокировка (отказ), оповещение
Desktop-агент тоже имеет локальный DLP — клиент не обходит политику
При перегрузке нейросети — деградация на регулярки без отказа запроса