概览
Claw 为团队提供统一的工作区,可同时管理、路由、比较并运行多个 AI 模型。它优先通过 Ollama 与 llama.cpp 实现私有的本地推理,同时在需要时仍可访问云端服务商,从而使敏感提示词能够保留在组织自行掌控的硬件上。
架构
在 Next.js 工作区之后是基于 NestJS 的微服务后端,使用 PostgreSQL 存储关系型数据、MongoDB 存储文档、Redis 用于缓存,并通过队列处理后台任务。服务商抽象层将本地与云端模型统一置于同一接口之后,使路由、故障转移与比较无需针对每个厂商单独处理即可实现。
工程实践
最有意思的难题在于路由与信任:为每个提示词选择合适的模型、在服务商质量下降时进行故障转移,并对多个回答执行比较、共识与评判工作流。此外还包括记忆与上下文包、工作区关联、文件处理、面向已连接业务工具的权限感知式工具执行、服务商凭据管理,以及健康状态聚合。