Dragonfruit AI 如何使用 Qdrant 扩展实时计算机视觉

Dragonfruit AI 利用 Qdrant 扩展实时计算机视觉

构建企业级计算机视觉

Dragonfruit AI 构建企业级计算机视觉解决方案，将普通的 IP 摄像头馈送转化为可操作的见解，用于安全、安保、运营和合规性。他们的平台提供了一套 AI “代理”，包括零售防损和仓库安全，采用获得专利的“Split AI”方法运行：在本地进行实时推理以实现速度和带宽效率，并结合云服务进行聚合和搜索。Dragonfruit 需要保持较低的总体拥有成本，满足严格的延迟目标，并在数百个站点、数千个摄像头上可靠运行；所有这些都无需客户拆除和更换现有基础设施。

“我们使用客户现有的摄像头网络，并尽可能提供最低的总体拥有成本。本地推理加上智能利用云是其在零售规模下实用的关键。”
— Karissa Price，Dragonfruit AI 首席客户官

挑战：混乱的全球规模下的实时性

零售和仓库环境受到带宽限制且异构。单个商店可能运行 25-130 个 IP 摄像头，许多 Dragonfruit 代理是实时的，例如防盗报警器或自助结账监控。工程要求是：

• 在边缘设备（Mac Minis）上处理每个摄像头约 30 FPS，并仅将紧凑的推理数据传输到云端。

• 跨多个摄像头和位置跟踪人员和物体，这需要强大的嵌入、重新识别和快速相似性搜索。

• 同时维持高摄取和高查询吞吐量，并具有严格的尾部延迟。

• 以企业规模运行向量存储：数千个位置 → 数千个摄像头，累积到数百亿个向量和多TB存储。

为何选择 Qdrant：性能余量和操作控制

Dragonfruit 选择 Qdrant 的开源版本作为其向量搜索引擎，以满足实时读取和高速写入的双重压力。在面对面的实验中，Qdrant 实现了他们所需的 QPS 目标，同时为团队提供了精细的、按集合调整功能，以适应工作负载的多样性。

团队强调的关键原因

• 按集合可配置性。读写负载不同的集合使用不同的设置。通过按集合调整分片计数和 HNSW 参数，有助于在不过度配置的情况下达到延迟服务级别目标（SLO）。

• 高效的数字格式。对于大多数视觉工作负载，float16 向量就足够了，提高了内存效率和缓存行为，并且在他们的用例中检索精度没有实质性损失。

• 开源和生态系统契合。Qdrant 的开源模型符合 Dragonfruit 的平台战略，并让他们能够与他们的边缘和云堆栈共同发展部署。

“借助 Qdrant 的集合级控制，我们匹配了截然不同的工作负载，有些是摄取密集型，有些是读取密集型，但仍然达到了实时查询性能。”
— Shivang Agarwal，Dragonfruit AI 工程副总裁

解决方案架构：Split AI + 向量搜索

在边缘，Mac Minis 摄取来自 IP 摄像头的 RTSP 流，运行本地推理，并发出紧凑的嵌入和事件元数据。在云端，Qdrant 服务于多种不同的检索模式：

• 多摄像头人员再识别。嵌入连接跨摄像头的轨迹，以构建店内移动的“面条图”，从而实现空间分析和警报。

• 自助结账产品验证。扫描事件周围的帧被嵌入并与聚类的产品库进行匹配，以实时检测遗漏或错误的扫描。

• 全帧语义搜索。视频帧被嵌入用于文本到图像检索（例如“紧急门打开”），从而实现快速事件分类和安全审查。

成果：新代理、更快的交付、更低的总体拥有成本

Qdrant 成为 Dragonfruit 代理路线图的赋能层。凭借实时检索性能和经济高效的存储，团队能够更快地推出和迭代新的领域特定代理，涵盖防损、职业安全和仓库运营。

从市场角度来看，Dragonfruit 专注于企业买家，并与主要的 IT 和安全集成商合作，使他们能够进入零售（他们最大的细分市场）、制造业、政府、娱乐和医疗保健领域。正如 Price 总结的那样：

“我们与 Qdrant 的合作使我们能够更快地‘同意’，添加新代理并响应新用例，同时保持成本效益。”

量化亮点（团队自述）

• 在边缘设备上以高帧率实时处理每个站点的多个摄像头，只传输推理数据。

• 格式优化：float16 嵌入是大多数管道的标准配置，旨在减少内存并提高吞吐量，同时保持检索质量。

经验教训

以企业规模运行视觉检索既是算法问题，也是操作问题。Dragonfruit 学会了按工作负载而不是按系统进行调整。将每个集合视为具有自己性能特征的工作负载；分片计数、刷新间隔和向量精度都很重要。

结论

Dragonfruit 展示了 Split-AI 架构加上专门构建的向量搜索引擎如何将无处不在的摄像头转化为企业规模下可靠、低延迟的分析。Qdrant 的性能余量、按集合控制和操作简便性帮助团队满足实时约束并扩展其代理产品组合，而不会使成本或带宽膨胀。随着平台的增长，更紧密的、原生的数据生命周期工具将进一步减少操作工作，但核心结果已经很清楚：为现实世界提供快速、经济且可扩展的计算机视觉。