Единая точка доступа к языковым моделям с защитой данных и поимённым учётом расхода.
Единая точка доступа
Прокси принимает запросы агентов и направляет их поставщикам моделей по цепочке приоритета. Персональный агент ходит через прокси как через поставщика — не зная ни ключей, ни реальных моделей.
OpenRouter, Cloud.ru, GigaChat, YandexGPT, Ollama, LM Studio. Конфигурация меняется в панели администратора без перезапуска.
Недоступный поставщик временно исключается из цепочки — запрос уходит к резервному.
Администратор выбирает модель в настройках: облачная, корпоративная или развёрнутая локально.
В шаблоне конвейера каждый шаг может задать своего поставщика и модель — не меняя общей конфигурации организации.
Именованных конфигураций языковых моделей (LLMбольшая языковая модель (Large Language Model)) может быть несколько — с привязкой к агенту, специализации и шагу конвейера. Уровни моделей∗В разработке. Сроки — в дорожной карте развития. (сложная / средняя / простая задача) — в разработке.
Учёт и бюджеты
Каждый запрос учитывается сразу в нескольких разрезах — сводный отчёт не нужно собирать вручную.
Объём запросов и ответов к модели с оценкой стоимости — для расчёта затрат по каждому поставщику.
Какой ассистент сколько расходует.
Расход по конкретному пользователю.
Защита данных
Не утекут ли персональные данные во внешнюю модель? Каждый запрос проходит фильтр до отправки.
Чувствительные значения — ФИО, реквизиты, адреса, секреты — перед отправкой в модель заменяются на устойчивые суррогаты. Модель работает только с суррогатами, ни одного реального значения в неё не уходит. В ответе модели суррогаты автоматически восстанавливаются в исходные значения — поэтому пользователь и инструменты агента всё время видят и используют настоящие данные, подмена для них прозрачна.
Как безопасность, экономика и независимость от LLM связаны с шестью измерениями внедрения (Измерения 3, 4, 6).
Инструменты агента и подключение своих.
Изоляция данных подразделений, двухслойный DLP, аудит и ролевой доступ.