すべてのプロジェクト
オープンソースプロジェクト
ClawAI
ローカルファーストのAIオーケストレーションプラットフォーム。自分のマシン上でオープンモデルを実行し、各プロンプトを最適なモデルへルーティングします。
概要
Clawはチームに、多数のAIモデルを一元管理・ルーティング・比較・運用できる単一のワークスペースを提供します。OllamaとIlama.cppによるプライベートなローカル推論を優先しつつ、必要に応じてクラウドプロバイダーにも接続できるため、機密性の高いプロンプトを組織が管理するハードウェア上に留めることができます。
アーキテクチャ
Next.jsワークスペースの背後にNestJSによるマイクロサービスバックエンドを配置し、リレーショナルデータにはPostgreSQL、ドキュメントにはMongoDB、キャッシュにはRedis、バックグラウンド処理にはキューを使用。プロバイダー抽象化層がローカルとクラウドのモデルを単一のインターフェースの背後に統合し、各ベンダーを個別に扱うことなくルーティング、フォールバック、比較を可能にしています。
エンジニアリング
最も興味深い課題はルーティングと信頼性でした：プロンプトごとにモデルを選択し、プロバイダーの品質低下時にフォールバックし、複数の回答に対して比較・合意・判定のワークフローを実行すること。加えて、メモリ・コンテキストパック、ワークスペースへの紐付け、ファイル処理、接続されたビジネスツール向けの権限を考慮したツール実行、プロバイダー認証情報の管理、ヘルスステータスの集約にも取り組みました。