개요
Claw는 팀이 다수의 AI 모델을 하나의 워크스페이스에서 관리, 라우팅, 비교, 운영할 수 있게 해줍니다. Ollama와 llama.cpp를 통한 프라이빗 로컬 추론을 우선시하면서도, 필요한 경우 클라우드 프로바이더에도 접근할 수 있어 민감한 프롬프트가 조직이 통제하는 하드웨어에 머무를 수 있습니다.
아키텍처
Next.js 워크스페이스 뒤에 NestJS 마이크로서비스 백엔드를 두고, 관계형 데이터는 PostgreSQL, 문서 데이터는 MongoDB, 캐싱은 Redis, 백그라운드 작업은 큐를 사용합니다. 프로바이더 추상화 계층이 로컬 모델과 클라우드 모델을 단일 인터페이스 뒤에 배치해, 각 벤더를 개별적으로 처리하지 않고도 라우팅, 폴백, 비교가 가능해집니다.
엔지니어링
가장 흥미로운 과제는 라우팅과 신뢰였습니다. 프롬프트마다 모델을 선택하고, 프로바이더 품질이 저하될 때 폴백을 수행하며, 여러 답변에 대해 비교·합의·판정 워크플로를 실행하는 것이었습니다. 여기에 메모리 및 컨텍스트 팩, 워크스페이스 그라운딩, 파일 처리, 연결된 비즈니스 도구를 위한 권한 인식 도구 실행, 프로바이더 자격 증명 관리, 헬스 상태 집계도 포함됩니다.