Open source projecten
ClawAI
Local-first AI-orkestratieplatform dat open-source modellen op eigen hardware draait en elke prompt naar het meest geschikte model routeert.
Overzicht
Claw geeft teams één workspace om meerdere AI-modellen tegelijk te beheren, te routeren, te vergelijken en te gebruiken. Voorrang wordt gegeven aan privé lokale inferentie via Ollama en llama.cpp, met de mogelijkheid om cloudproviders te bereiken wanneer nodig, zodat gevoelige prompts op door de organisatie beheerde hardware kunnen blijven.
Architectuur
NestJS-microservices backend achter een Next.js-workspace, met PostgreSQL voor relationele data, MongoDB voor documenten, Redis voor caching en een queue voor achtergrondtaken. Een provider-abstractie plaatst lokale en cloudmodellen achter één interface, waardoor routing, fallback en vergelijking mogelijk zijn zonder aparte afhandeling per leverancier.
Engineering
De interessantste problemen betreffen routing en vertrouwen: het juiste model voor elke prompt kiezen, terugvallen wanneer de kwaliteit van een provider afneemt, en vergelijkings-, consensus- en beoordelingsflows over meerdere antwoorden uitvoeren. Daarnaast omvat het werk geheugen- en contextbeheer, workspace-grounding, bestandsverwerking, permissiebewuste tooluitvoering voor gekoppelde bedrijfstools, providercredentialbeheer en gezondheidsstatusaggregatie.
- Rol
- Ontwierp en bouwde het platform end-to-end — backend-microservices, orkestratielaag en webworkspace.
- Categorie
- AI
- Stack
- Next.jsNestJSTypeScriptMicroservicesPostgreSQLMongoDBRedisOllamallama.cppDocker
- Taal
- TypeScript
- Licentie
- Apache-2.0