Пайплайны обработки

Серверный движок конвейерной обработки. Весь код движка универсален — специфика заказчика живёт в описании процесса и данных, а не в коде.

Конвейер из универсальных шагов

Процесс описывается как последовательность шагов. Движок выполняет их по порядку, передавая между шагами накапливаемый контекст — на каждом следующем шаге доступны результаты предыдущих, на них можно сослаться прямо в настройке.

Чтобы автоматизировать новый процесс, интегратор не пишет сервис — он собирает цепочку из готовых шагов. Для нового заказчика с похожей задачей достаточно нового описания процесса; код шагов не трогается.

Получитьпочта / система

→

Разобратьвложения

→

Классификацияпо содержанию

→

Маршрут+ контроль

Накопленный контекст доступен каждому следующему шагу

Пример: разбор входящих писем →

Каталог

Готовые универсальные шаги

Из набора готовых шагов собирается любой процесс — они покрывают типовые операции обработки. Список всегда под рукой при настройке.

Интеллект и решения

Языковая модель в шаге — извлекает факты, классифицирует, формулирует ответы; результат возвращается в строгой структуре, с автоматической проверкой и повтором при сбое
Рассуждающий агент — внутри конвейера можно запустить агента с инструментами для нетривиальной подзадачи

Данные и интеграции

Электронная почта — получить письма, ответить, отправить, пометить прочитанным
Обращение к внешним системам — вызовы к веб-сервисам, включая устаревшие корпоративные интерфейсы
База данных — выборка и запись
Хранилище файлов — складирование результатов и вложений

Документы и контент

Разбор файлов — единое чтение десятков форматов: документы, таблицы (по листам), презентации, письма, архивы и PDF; сканы распознаются постранично как изображения для модели зрения
Распознавание речи — расшифровка звонков и аудиозаписей в текст
Сборка документов — готовые файлы и письма из шаблонов с подстановкой данных

Управление потоком

Ветвление — разные пути обработки в зависимости от условия
Контроль человеком — пауза до подтверждения сотрудником, с авто-пропуском при высокой уверенности

Расширение

Свой шаг на Python — это данные, а не правка движка

Написать небольшую функциюинтегратор описывает логику шага на Python
Загрузить через админкубез пересборки и перезапуска движка
Шаг в каталогепоявляется сразу и доступен в процессах; версии неизменяемы

Изоляция. Код исполняется в одноразовом изолированном окружении: ограничения по нагрузке и памяти, без доступа в сеть, без чужих учётных данных. Скрипт привязан к заказчику — запустить чужой нельзя.

Запуск и надёжность

Чем запускается и как контролируется

Внешний запрос

Запуск из внешней системы.

Расписание

Прогон по расписанию.

Почта

Каждое непрочитанное письмо — отдельный прогон.

Очередь

Событие в очереди запускает прогон.

Повтор на каждый шаг при сбое, с нарастающей паузой
Контроль человеком: пауза до подтверждения, авто-пропуск по условию, таймаут
Идемпотентность запуска — одно письмо не обработается дважды
Полный аудит каждого шага: что пришло, что получилось, статус и время
Уведомление внешней системы по завершении — с криптографической подписью