پروژهی متنباز
ClawAI
پلتفرمی برای هماهنگسازی محلی هوش مصنوعی که مدلهای متنباز را روی دستگاه شما اجرا کرده و هر درخواست را به مناسبترین مدل هدایت میکند.
نمای کلی
Claw به یک تیم فضای کاری واحدی میدهد تا همزمان چندین مدل هوش مصنوعی را مدیریت، مسیریابی، مقایسه و اجرا کند. اولویت با استنتاج محلی خصوصی از طریق Ollama و llama.cpp است، در حالی که در صورت نیاز همچنان میتواند به ارائهدهندگان کلود دسترسی داشته باشد، تا درخواستهای حساس بتوانند روی سختافزار تحت کنترل سازمان باقی بمانند.
معماری
یک بکاند میکروسرویسی NestJS پشت یک فضای کاری Next.js، با PostgreSQL برای دادههای رابطهای، MongoDB برای اسناد، Redis برای کش و صفها برای کارهای پسزمینه. یک لایهی انتزاعی ارائهدهنده، مدلهای محلی و کلود را پشت یک رابط واحد قرار میدهد که همین امر مسیریابی، جایگزینی و مقایسه را بدون رفتار خاص برای هر ارائهدهنده ممکن میسازد.
مهندسی
جالبترین چالشها مسیریابی و اعتماد بودند: انتخاب یک مدل برای هر درخواست، جایگزینی هنگام افت کیفیت یک ارائهدهنده، و اجرای جریانهای مقایسه، اجماع و داوری روی چند پاسخ. علاوه بر آن، بستههای حافظه و زمینه، تثبیت فضای کاری، پردازش فایل، اجرای ابزار آگاه از مجوز برای ابزارهای کسبوکار متصل، مدیریت اعتبارنامهی ارائهدهندگان و تجمیع وضعیت سلامت.