Как превратить набор LLM API в корпоративную AI-платформу?

Корпоративная AI-платформа с доступом к разным языковым моделям, мультимодальному чату, файлам, интеграциям и агентному режиму «Работа». Агент может выполнять код, анализировать данные, создавать документы, таблицы и приложения.

Цель

Сделать AI полноценным рабочим инструментом для сотрудников с разными задачами и уровнем технической подготовки.

Система должна была выйти за пределы обычного чат-бота: дать выбор моделей, поддержку файлов и корпоративных инструментов, а затем позволить пользователю делегировать агенту многошаговую задачу с готовым результатом на выходе.

От чата к рабочей среде

В обычном режиме платформа предоставляет мультимодальный чат с историей диалогов, файлами, изображениями, голосовым вводом и выбором моделей разных провайдеров. Для повторяющихся сценариев сделал Prompt Hub с готовыми рабочими шаблонами.

Но центральное направление развития — режим «Работа».

Пользователь формулирует задачу, передаёт исходные материалы и получает агентное окружение, в котором можно выполнять команды, обрабатывать данные, писать код, готовить документы и таблицы, собирать небольшие приложения. Созданный инструмент можно опубликовать по ссылке.

Это существенно отличается от обычного tool calling. Агенту нужны файловая система, execution runtime, долгоживущая сессия и протокол передачи результатов обратно в интерфейс.

Архитектура агентного runtime

Для оркестрации разработал work gateway на Rust/Axum. Он связывает агентное выполнение, изолированные рабочие окружения, файлы и поток событий, которые наблюдает пользователь.

Отдельный Python-слой унифицирует работу с LLM-провайдерами: запросы, streaming и создаваемые артефакты. Через MCP агент получает доступ к дополнительным инструментам в рамках предоставленных разрешений.

Состояние задачи и история событий сохраняются, чтобы пользователь мог вернуться к результатам после завершения работы или переподключения интерфейса.

В frontend развиваю потоковое отображение ответа, ход работы агента, просмотр файлов и результатов, состояния инструментов и взаимодействие с созданными артефактами. Часть новых интерфейсных компонентов реализую на React, постепенно обновляя существующее приложение.

Масштаб и эксплуатация

На октябрь 2026 года платформой пользуются около 100 человек, ежедневно проходит порядка 1 200 запросов.

На таком масштабе интеграция с LLM API — уже небольшая часть задачи. Необходимо контролировать доступность провайдеров, стоимость инференса, streaming latency, обработку ошибок и устойчивость длительных агентных сессий.

Поэтому параллельно развиваю мониторинг запросов, стоимости и использования по сотрудникам и отделам. Для технических событий и аналитики используется ClickHouse.

Результат

Получилась корпоративная AI-среда с двумя сценариями: диалог с моделью и делегирование полноценной задачи агенту.

Это самый широкий из моих проектов по инженерным слоям: LLM-интеграции, execution runtime, backend, frontend, наблюдаемость и инфраструктура работающего продукта.

Стек: Python, Rust, Axum, React, TypeScript, LLM API, MCP, SSE, SQLite, ClickHouse, Docker, Terraform.