Açık kaynak projesi
ClawAI
Kendi bilgisayarınızda açık modelleri çalıştıran ve her istemi en uygun modele yönlendiren yerel öncelikli bir yapay zekâ orkestrasyon platformu.
Genel bakış
Claw, bir ekibe aynı anda birçok yapay zekâ modelini yönetmek, yönlendirmek, karşılaştırmak ve çalıştırmak için tek bir çalışma alanı sunar. Ollama ve llama.cpp üzerinden özel yerel çıkarımı önceliklendirirken, bir görev gerektirdiğinde bulut sağlayıcılarına da erişebilir; böylece hassas istemler kuruluşun kontrol ettiği donanımda kalabilir.
Mimari
Bir Next.js çalışma alanının arkasında NestJS mikroservis backend'i; ilişkisel veriler için PostgreSQL, dokümanlar için MongoDB, önbellekleme için Redis ve arka plan işleri için kuyruklar. Bir sağlayıcı soyutlaması, yerel ve bulut modellerini tek bir arayüzün arkasına yerleştirir; bu da her satıcıyı özel olarak ele almadan yönlendirme, yedekleme ve karşılaştırmayı mümkün kılar.
Mühendislik
En ilginç sorunlar yönlendirme ve güvenle ilgiliydi: her istem için bir model seçmek, bir sağlayıcının kalitesi düştüğünde yedeğe geçmek ve birden çok yanıt üzerinde karşılaştırma, uzlaşma ve değerlendirme iş akışları çalıştırmak. Buna ek olarak bellek ve bağlam paketleri, çalışma alanı bağlamı, dosya işleme, bağlı iş araçları için izin farkındalıklı araç yürütme, sağlayıcı kimlik bilgisi yönetimi ve sağlık durumu toplama da vardı.
- Rol
- Platformu uçtan uca tasarladım ve geliştirdim — mikroservis backend, orkestrasyon katmanı ve web çalışma alanı.
- Kategori
- Yapay Zekâ
- Teknoloji yığını
- Next.jsNestJSTypeScriptMicroservicesPostgreSQLMongoDBRedisOllamallama.cppDocker
- Dil
- TypeScript
- Lisans
- Apache-2.0