Open-Source-Projekt
ClawAI
Eine local-first KI-Orchestrierungsplattform, die offene Modelle auf dem eigenen Rechner ausführt und jeden Prompt an das passendste Modell weiterleitet.
Überblick
Claw bietet einem Team einen einzigen Arbeitsbereich, um viele KI-Modelle gleichzeitig zu verwalten, zu routen, zu vergleichen und zu betreiben. Die Plattform priorisiert private lokale Inferenz über Ollama und llama.cpp, kann aber bei Bedarf auch Cloud-Anbieter erreichen, sodass sensible Prompts auf von der Organisation kontrollierter Hardware bleiben können.
Architektur
Ein NestJS-Microservices-Backend hinter einem Next.js-Workspace, mit PostgreSQL für relationale Daten, MongoDB für Dokumente, Redis für Caching und Queues für Hintergrundaufgaben. Eine Provider-Abstraktion stellt lokale und Cloud-Modelle hinter einer Schnittstelle bereit, wodurch Routing, Fallback und Vergleich möglich werden, ohne jeden Anbieter gesondert zu behandeln.
Engineering
Die interessantesten Probleme betrafen Routing und Vertrauen: die Wahl eines Modells pro Prompt, den Fallback bei Qualitätsverlust eines Anbieters, und die Ausführung von Vergleichs-, Konsens- und Bewertungs-Workflows über mehrere Antworten. Hinzu kommen Memory- und Kontext-Pakete, Workspace-Verankerung, Dateiverarbeitung, berechtigungssensitive Werkzeugausführung für verbundene Business-Tools, Verwaltung von Provider-Zugangsdaten und Health-Aggregation.
- Rolle
- Architektur und Entwicklung der Plattform von Grund auf — Microservices-Backend, Orchestrierungsschicht und Web-Workspace.
- Kategorie
- KI
- Stack
- Next.jsNestJSTypeScriptMicroservicesPostgreSQLMongoDBRedisOllamallama.cppDocker
- Sprache
- TypeScript
- Lizenz
- Apache-2.0