NeuroFlows
NeuroFlows — це багатокористувацька SaaS-платформа, розроблена для оркестрації складних агентних робочих процесів на основі штучного інтелекту. Ми створили масштабовану основу, здатну обробляти перетворення мовлення в текст у режимі реального часу, складні RAG-конвеєри та детерміновану бізнес-логіку для різноманітних корпоративних клієнтів.
Основним завданням NeuroFlows була не просто інтеграція LLM, а їх оркестрація в жорсткому, детермінованому бізнес-середовищі. Клієнтам потрібна була гнучкість генеративного штучного інтелекту в поєднанні з надійністю традиційних кінцевих автоматів.
Ми підійшли до цього, відокремивши «інтелект» від «виконання». LLM розглядалися як ненадійні співпроцесори в надійному механізмі оркестрації, що вимагало розширених резервних механізмів, оперативного версіонування та суворих схем перевірки виводу.
Ключові рішення
Відійшло від синхронних викликів API до асинхронної архітектури подій, що підтримується Kafka. Це запобігло блокуванню критичних потоків інтерфейсу користувача тривалими висновками LLM та дозволило використовувати надійні механізми повторної спроби у разі невдачі.
Реалізовано суворий логічний поділ у векторній базі даних. Вбудовування кожного клієнта були ізольовані від простору імен, а проміжне програмне забезпечення рівня програми забезпечувало контроль доступу на основі ролей перед будь-яким виконанням пошуку за схожістю.
Розробив власний автомат станів для відстеження багатоетапних взаємодій агентів. Це забезпечило можливість аудиту, дозволило втручання людини в цикл та гарантувало, що недетерміновані шляхи LLM завжди сходилися до дійсних бізнес-станів.
Архітектура забезпечила швидке впровадження корпоративних клієнтів, обробку значної пропускної здатності, водночас дотримуючись суворих угоди про рівень обслуговування (SLA) щодо затримки для транскрипції в режимі реального часу та генеративних відповідей.