Visua 和 Qdrant：计算机视觉中的向量搜索

十多年来，VISUA 一直是精确、高吞吐量计算机视觉数据分析领域的领导者，开发了一个强大的平台，满足从初创公司到大型企业的广泛用例需求。从社交媒体监控开始，VISUA 在分析海量数据检测公司徽标方面表现出色，现已建立了多样化的客户生态系统，包括社交媒体监控领域的客户，如 Brandwatch；网络安全领域的客户，如 Mimecast；商标保护领域的客户，如 Ebay；以及几家用于赞助评估的体育机构，如 Vision Insights。

挑战

大规模质量控制

图像中对象检测的准确性对于 VISUA 至关重要，这确保了其算法能够正确检测图像中的对象。随着为客户处理的数据量不断增长，该公司正在寻找一种方法来增强其质量控制和异常检测机制，使其更具可扩展性和可审计性。

挑战是双重的。首先，VISUA 需要一种方法来快速准确地识别图像及其内部相似的对象，以便识别漏报或不明确的结果，并将其用作强化学习的输入。

其次，数据量的快速增长对其之前的质量控制流程提出了挑战。之前的流程依赖于基于元信息的抽样方法（例如分析置信度较低、较小或模糊的图像），这涉及更多的人工审查，且可扩展性不足。为此，VISUA 团队探索了向量数据库作为解决方案。

解决方案

使用向量搜索加速异常检测并提升质量控制

为了应对扩展和增强质量控制流程的挑战，VISUA 转向量数据库，并选择 Qdrant 作为解决方案。这项技术转变使 VISUA 能够利用向量数据库来识别海量图像、视频和帧中的相似性并进行去重。通过这种方式，VISUA 能够以以前无法实现的精确度自动分类对象。

引入向量使 VISUA 能够独特地表示数据，并通过优先审查差异最大的异常和数据点来标记帧以便进行更仔细的检查。因此，这项技术使 VISUA 能够将其质量保证和强化学习流程扩展十倍。

“使用 Qdrant 作为质量控制的向量数据库，通过利用重复和样本去重，我们能够审查 10 倍的数据，并且通过查询引擎实现大规模操作。” VISUA 联合创始人 Alessandro Prest 表示。

选择过程

为质量分析和异常检测寻找合适的向量数据库

选择合适的向量数据库对 VISUA 来说是一个关键决定，团队进行了广泛的基准测试。他们测试了包括 Weaviate、Pinecone 和 Qdrant 在内的各种解决方案，重点关注向量索引和 Payload 索引的高效处理能力。目标是找到一个擅长处理混合查询的系统，该系统能够将向量相似性与记录属性相结合，这对于增强其质量控制和异常检测能力至关重要。

Qdrant 凭借其以下特性脱颖而出：

• 混合查询能力： Qdrant 能够执行结合 Payload 字段和向量数据的混合查询，从而实现全面而精细的搜索。此功能利用 Payload 属性和向量相似性的优势进行详细数据分析。Prest 指出 Qdrant 混合方法的重要性，他说：“在与 Qdrant 的创始人交流时，我们意识到他们在这种混合方法上投入了大量精力，这与我们非常契合。”

• 性能卓越性： Qdrant 被证明是满足 VISUA 特定需求的最快引擎，在某些 VISUA 用例中，其查询速度比其他替代方案快达 40 倍，优势显著。Alessandro Prest 强调：“对于我们的用例，Qdrant 是最快的引擎，优势巨大”，这突显了其显著的效率和可扩展性优势。

• API 文档： Qdrant API 文档和参考指南的清晰性、全面性和用户友好性进一步坚定了 VISUA 的决定。

这一战略性选择使 VISUA 在其质量控制流程中显著提高了运营效率和可扩展性。

实施 Qdrant

在选择 Qdrant 作为其向量数据库解决方案后，VISUA 采取了一种系统化的方法进行集成。该过程始于受控的开发环境，使 VISUA 能够模拟真实世界的用例并确保 Qdrant 满足其运营需求。这种谨慎的分阶段方法确保了将 Qdrant 迁移到托管在 AWS 集群上的生产环境时的顺利过渡。VISUA 在其生产环境中利用了 Qdrant 的几个特定功能：

1. 支持每个记录/点包含多个向量： 此功能允许对数据进行精细且多层面的分析，使 VISUA 能够更有效地管理和查询复杂的数据集。

2. 量化： 量化优化了存储并加速了查询处理，提高了数据处理效率并降低了内存使用量，这对于大规模操作至关重要。

结果

将 Qdrant 集成到 VISUA 的质量控制运营中，在效率和可扩展性方面带来了显著成果：

• 查询处理速度提高 40 倍： Qdrant 极大地减少了复杂查询所需的时间，提高了工作流程效率。

• 可扩展性提升 10 倍： Qdrant 的高效性使 VISUA 能够在质量保证和学习过程中处理十倍的数据，在支持增长的同时不牺牲质量。

• 数据审查能力提升： 提升的数据审查能力使 VISUA 能够通过强化学习增强其算法的准确性。

将 Qdrant 的用途扩展到异常检测之外

虽然 Qdrant 的主要应用集中在质量控制上，但 VISUA 的团队正在积极探索 Qdrant 的其他用例。VISUA 对 Qdrant 的使用激发了新的机会，尤其是在内容审核方面。Prest 在谈到 Qdrant 释放的潜力时表示：“我们开始试验 Qdrant 的那一刻，团队内部就涌现出了很多关于新应用的灵感。” 例如，这促使他们积极探索 Qdrant 的 Discovery API，着眼于增强内容审核流程。

除了内容审核，VISUA 正通过拓展其版权侵权检测服务来实现显著增长。随着检测更广泛侵权行为（例如在商品上未经授权使用流行角色）的需求增加，VISUA 计划扩展其技术能力。Qdrant 将在这次扩展中发挥关键作用，使 VISUA 能够有效应对审核受版权保护内容的复杂且不断增长的挑战，并确保为品牌和创作者提供全面保护。