Projet open source
ClawAI
Une plateforme d'orchestration IA local-first qui exécute des modèles ouverts sur votre propre machine et route chaque requête vers le modèle le plus adapté.
Aperçu
Claw offre à une équipe un espace unique pour gérer, router, comparer et exploiter de nombreux modèles d'IA à la fois. La priorité est donnée à l'inférence locale privée via Ollama et llama.cpp, tout en restant capable d'atteindre des fournisseurs cloud lorsqu'une tâche l'exige, afin que les requêtes sensibles puissent rester sur du matériel contrôlé par l'organisation.
Architecture
Un backend en microservices NestJS derrière un espace de travail Next.js, avec PostgreSQL pour les données relationnelles, MongoDB pour les documents, Redis pour la mise en cache et des files pour les tâches d'arrière-plan. Une abstraction de fournisseur place les modèles locaux et cloud derrière une interface unique, ce qui rend possibles le routage, le repli et la comparaison sans traitement particulier pour chaque fournisseur.
Ingénierie
Les problèmes les plus intéressants concernaient le routage et la confiance : choisir un modèle par requête, basculer en repli lorsqu'un fournisseur se dégrade, et exécuter des flux de comparaison, de consensus et de jugement sur plusieurs réponses. S'y ajoutent les packs de mémoire et de contexte, l'ancrage à l'espace de travail, le traitement des fichiers, l'exécution d'outils sensible aux permissions pour les outils métier connectés, la gestion des identifiants fournisseurs et l'agrégation de l'état de santé.
- Rôle
- Architecture et développement de la plateforme de bout en bout — backend en microservices, couche d'orchestration et espace de travail web.
- Catégorie
- IA
- Stack
- Next.jsNestJSTypeScriptMicroservicesPostgreSQLMongoDBRedisOllamallama.cppDocker
- Langage
- TypeScript
- Licence
- Apache-2.0