Fieldy AI 如何使用 Qdrant 实现可靠的 AI 记忆

Fieldy AI 迁移到 Qdrant：构建容错的 AI 记忆平台

捕获和检索一生的对话

Fieldy 是一款免提可穿戴式 AI 笔记记录器，可连续记录、转录和整理现实世界的对话，将其转化为您的个人可搜索记忆。该系统的目标概念简单，但执行要求很高：捕获每一个相关的口头互动，以高精度转录，并使其即时可检索。这需要一个强大的摄取管道、一个可扩展的向量搜索层，以及一个能够处理不断增长的多模态数据量而不会引入延迟或错误的检索过程。

从一开始，工程团队就将转录可靠性视为主要设计约束。如果在当下没有捕获对话，则无法在以后重建。这同样适用于从 AI 可穿戴吊坠到应用程序的蓝牙传输、到后端服务器的 HTTPS 上传、语音到文本转录、嵌入生成以及向量数据库摄取。每个组件都必须符合此标准。

Fieldy AI 如何在竞争激烈的市场中脱颖而出

Fieldy 的多语言、实时转录和即时调用使其成为专业人士、医疗保健提供者以及任何需要记忆支持的人（包括多动症患者）值得信赖的录音设备。工程团队的建立是为了在这个快速发展的领域中快速迭代质量和功能。他们与用户保持直接反馈循环，从而能够快速优先处理在实际使用中最重要的功能。最后，Fieldy 的多语言转录使用自定义的语音到文本管道和持续评估，能够在 100 多种语言中实现高精度转录。

Fieldy 的设备

初始向量数据库的可靠性挑战

Fieldy 的原始架构使用 Weaviate 进行向量存储和检索。托管和自托管部署都遇到了持续的运营问题，最突出的是影响大约 10% 请求的 5xx 错误。这些故障在摄取和搜索期间都会发生，这损害了产品关于完整和可访问记忆的承诺。解决问题的尝试，包括迁移到自托管基础设施，只提供了暂时的缓解，几个月后错误又回来了。

对于工程团队来说，这些故障有两个严重的影响。首先，数据丢失意味着用户信任的永久丧失。其次，花在调试数据库问题上的时间直接减缓了功能开发。团队对替代方案的要求很明确：新的向量数据库必须消除持续的查询失败，以低延迟摄取和搜索数千万个向量，并且以最少的运维干预运行。

选择和部署 Qdrant

在评估了替代方案后，Fieldy 选择了 Qdrant，因为它稳定、配置简单且适合自托管部署。他们选择在与后端服务相同的环境中运行 Qdrant，确保低延迟访问并避免了在以前的架构中导致故障的跨区域连接问题。

迁移过程不到一周。团队重复使用现有的向量模式，以避免在过渡期间重新设计索引逻辑。嵌入使用 Cohere 的多语言 v3 模型生成，在摄取之前在本地进行批量处理，取代了之前在 Weaviate 中处理的集成嵌入调用。遵循 Qdrant 最佳实践，他们在批量导入期间禁用了索引以最大化吞吐量，仅在迁移完成后才重新启用。后端 API 调用已更新为使用 Qdrant 的 gRPC 接口，并且 混合搜索与 BM25 结合了通过 倒数排序融合 (RRF) 的密集向量检索，用于相关性评分。

迁移后的架构

在 Fieldy 当前的架构中，AI 转录设备通过蓝牙将音频流传输到移动应用程序。应用程序通过 HTTPS 将音频发送到后端，后端通过语音转文本模型处理音频以生成转录文本。此转录文本和嵌入存储在 Qdrant 中。

当用户在聊天界面中提交查询时，后端的检索代理在 Qdrant 中执行混合搜索。HNSW 索引用于密集向量相似性，BM25 处理术语匹配，结果通过倒数排序融合合并。在将结果返回给用户之前，从 Firestore 获取对话元数据以进行上下文组装。

生产环境中的结果

自迁移以来，Fieldy 已实现 100% 可靠的实时 AI 调用和无缝记忆搜索，确保 AI 笔记记录器的性能与其承诺相符。在后端托管 Qdrant 降低了延迟，并几乎消除了以前在跨区域部署中出现的网络错误。

Fieldy 在迁移到 Qdrant 后，还将基础设施成本降低了三分之二，同时在没有运营事故的情况下扩展到处理数千万个嵌入。迁移后的干预仅限于计划的存储增加。

检索质量的后续步骤

在实现了可靠性和成本效率之后，Fieldy 的工程重心正在转向检索质量。计划的改进包括在 Qdrant 中添加位置过滤和日期时间过滤以优化结果集，尝试后期分块策略，以及测试并行混合搜索以增加复杂多方面查询的召回率。团队还在探索嵌入摘要以及原始转录片段，以提高高级或主题搜索的检索性能。