Open source проект
ClawAI
Локальная платформа оркестрации ИИ, которая запускает открытые модели на вашем собственном компьютере и направляет каждый запрос к наиболее подходящей модели.
Обзор
Claw даёт команде единое рабочее пространство для управления, маршрутизации, сравнения и работы со множеством моделей ИИ одновременно. Приоритет отдаётся приватному локальному инференсу через Ollama и llama.cpp, при этом сохраняется доступ к облачным провайдерам, когда это необходимо, — так конфиденциальные запросы могут оставаться на оборудовании, контролируемом организацией.
Архитектура
Backend на микросервисах NestJS за рабочим пространством Next.js, с PostgreSQL для реляционных данных, MongoDB для документов, Redis для кеширования и очередями для фоновых задач. Абстракция провайдеров помещает локальные и облачные модели за единым интерфейсом, что делает возможными маршрутизацию, резервирование и сравнение без специальной обработки каждого поставщика.
Инженерия
Наиболее интересные задачи касались маршрутизации и доверия: выбор модели для каждого запроса, переключение на резервный вариант при снижении качества провайдера, а также запуск процессов сравнения, консенсуса и оценки по нескольким ответам. Помимо этого — пакеты памяти и контекста, привязка к рабочему пространству, обработка файлов, выполнение инструментов с учётом прав доступа для подключённых бизнес-инструментов, управление учётными данными провайдеров и агрегация статуса работоспособности.
- Роль
- Спроектировал и разработал платформу целиком — backend на микросервисах, слой оркестрации и веб-рабочее пространство.
- Категория
- ИИ
- Стек
- Next.jsNestJSTypeScriptMicroservicesPostgreSQLMongoDBRedisOllamallama.cppDocker
- Язык
- TypeScript
- Лицензия
- Apache-2.0