Cheshire Cat
Cheshire Cat 是一个开源框架，允许您在许多大型语言模型 (LLM) 之上开发智能代理。您可以开发自定义的 AI 架构，以协助您完成各种任务。
柴郡猫与 Qdrant
Cheshire Cat 使用 Qdrant 作为默认的 向量内存 来摄取和检索文档。
# Decide host and port for your Cat. Default will be localhost:1865
CORE_HOST=localhost
CORE_PORT=1865
# Qdrant server
# QDRANT_HOST=localhost
# QDRANT_PORT=6333
Cheshire Cat 充分利用了 Qdrant 的以下特性
- 使用 集合别名（Collection Aliases） 来管理嵌入器之间的切换。
- 使用 量化（Quantization） 在速度、内存使用和结果质量之间取得良好平衡。
- 使用 快照（Snapshots） 以确保不丢失任何信息。
- 社区
如何使用柴郡猫
要求
要运行 Cheshire Cat，您需要确保您的系统上已安装 Docker 和 docker-compose。
docker run --rm -it -p 1865:80 ghcr.io/cheshire-cat-ai/core:latest
- 通过 localhost:1865/admin 与 Cheshire Cat 聊天。
- 您还可以通过 REST API 进行交互，并在 localhost:1865/docs 上试用端点。
查看 GitHub 上的说明 以获取更全面的快速入门指南。
LLM 的首次配置
- 在浏览器中打开管理门户：localhost:1865/admin。
- 在
Settings选项卡中配置 LLM。 - 如果您没有在
Settings选项卡中明确选择，嵌入器将遵循 LLM 的设置。