NeuroFlows
NeuroFlows — SaaS-платформа с поддержкой нескольких арендаторов, предназначенная для оркестрации сложных рабочих процессов с ИИ-агентами. Мы создали масштабируемую основу для преобразования речи в текст в реальном времени, сложных RAG-конвейеров и детерминированной бизнес-логики для разных корпоративных клиентов.
Главная задача NeuroFlows заключалась не просто в интеграции LLM, а в их оркестрации в рамках жёсткой детерминированной бизнес-среды. Клиентам была нужна гибкость генеративного ИИ в сочетании с надёжностью традиционных конечных автоматов.
Мы подошли к этой задаче, отделив "интеллект" от "исполнения". LLM рассматривались как ненадёжные сопроцессоры внутри устойчивого движка оркестрации, что требовало развитых резервных механизмов, версионирования промптов и строгих схем валидации результатов.
Ключевые решения
Перешли от синхронных вызовов API к асинхронной событийной архитектуре на базе Kafka. Это позволило избежать блокировки критически важных потоков UI при длительном инференсе LLM и реализовать надёжные механизмы повторных попыток при сбоях.
Реализовали строгое логическое разделение внутри векторной базы данных. Эмбеддинги каждого арендатора изолировали в отдельном пространстве имён, а промежуточный слой приложения проверял доступ на основе ролей перед каждым поиском по сходству.
Спроектировали собственный конечный автомат для отслеживания многошаговых взаимодействий агентов. Это обеспечило возможность аудита и вмешательства человека, а также гарантировало, что недетерминированные сценарии LLM всегда завершаются в допустимых бизнес-состояниях.
Архитектура обеспечила быстрое подключение корпоративных клиентов и высокую пропускную способность при соблюдении строгих SLA по задержке для транскрибации в реальном времени и генерации ответов.