跳转到主要内容
Ihab Khaled
菜单
所有项目

开源项目

ClawAI

一个本地优先的 AI 编排平台,可在你自己的设备上运行开源模型,并将每个提示词路由到最合适的模型。

概览

Claw 为团队提供统一的工作区,可同时管理、路由、比较并运行多个 AI 模型。它优先通过 Ollama 与 llama.cpp 实现私有的本地推理,同时在需要时仍可访问云端服务商,从而使敏感提示词能够保留在组织自行掌控的硬件上。

架构

在 Next.js 工作区之后是基于 NestJS 的微服务后端,使用 PostgreSQL 存储关系型数据、MongoDB 存储文档、Redis 用于缓存,并通过队列处理后台任务。服务商抽象层将本地与云端模型统一置于同一接口之后,使路由、故障转移与比较无需针对每个厂商单独处理即可实现。

工程实践

最有意思的难题在于路由与信任:为每个提示词选择合适的模型、在服务商质量下降时进行故障转移,并对多个回答执行比较、共识与评判工作流。此外还包括记忆与上下文包、工作区关联、文件处理、面向已连接业务工具的权限感知式工具执行、服务商凭据管理,以及健康状态聚合。

角色
端到端架构设计与开发 —— 微服务后端、编排层与 Web 工作区。
类别
人工智能
技术栈
Next.jsNestJSTypeScriptMicroservicesPostgreSQLMongoDBRedisOllamallama.cppDocker
编程语言
TypeScript
许可协议
Apache-2.0