Visua 和 Qdrant：计算机视觉中的向量搜索
曼努埃尔·迈耶
·2024 年 5 月 1 日
十多年来，VISUA 一直是精确、大容量计算机视觉数据分析领域的领导者，开发了一个强大的平台，可满足从初创公司到大型企业的各种用例。VISUA 最初专注于社交媒体监控，在分析大量数据以检测公司徽标方面表现出色，并构建了一个多元化的客户生态系统，其中包括社交媒体监控领域的 Brandwatch、网络安全领域的 Mimecast、商标保护领域的 Ebay 以及多家体育机构（例如用于赞助评估的 Vision Insights）。
挑战
大规模质量控制
图像中对象检测的准确性对于 VISUA 至关重要，可确保其算法正确检测图像中的对象。随着为客户处理的数据量不断增长，该公司正在寻找一种方法来增强其质量控制和异常检测机制，使其更具可伸缩性和可审计性。
挑战是双重的。首先，VISUA 需要一种方法来快速准确地识别相似的图像及其中的对象，以识别漏报或不明确的结果，并将其用作强化学习的输入。
其次，数据量的快速增长对其以前的质量控制流程提出了挑战，该流程依赖于基于元信息（例如分析置信度较低、较小或模糊的图像）的采样方法，这涉及更多的人工审查，并且不如所需的那样可扩展。作为回应，VISUA 团队探索了向量数据库作为解决方案。
解决方案
通过向量搜索加速异常检测并提升质量控制
为了应对扩展和增强其质量控制流程的挑战，VISUA 求助于向量数据库，Qdrant 脱颖而出成为首选解决方案。这种技术转变使 VISUA 能够利用向量数据库识别大量图像、视频和帧中的相似性并进行去重。通过这样做，VISUA 能够以以前无法达到的精度自动分类对象。
向量的引入使 VISUA 能够独特地表示数据，并通过优先审查异常和方差最大的数据点来标记帧以进行更仔细的检查。因此，这项技术使 Visia 能够将其质量保证和强化学习流程的规模扩大十倍。
“使用 Qdrant 作为我们质量控制的向量数据库，我们能够通过利用重复和去重样本来审查 10 倍以上的数据，并通过查询引擎大规模完成。” VISUA 联合创始人 Alessandro Prest 说。
选择过程
为质量分析和异常检测寻找合适的向量数据库
选择合适的向量数据库对于 VISUA 来说是一个关键决定，团队进行了广泛的基准测试。他们测试了各种解决方案，包括 Weaviate、Pinecone 和 Qdrant，重点关注向量和有效负载索引的高效处理。目标是识别一个擅长管理混合查询的系统，该系统将向量相似性与记录属性相结合，这对于增强其质量控制和异常检测能力至关重要。
Qdrant 因其以下特点脱颖而出：
混合查询能力： Qdrant 能够执行结合有效负载字段和向量数据的混合查询，从而实现全面细致的搜索。此功能利用有效负载属性和向量相似性的优势进行详细的数据分析。Prest 指出 Qdrant 混合方法的重要性，他说：“在与 Qdrant 创始人交谈时，我们意识到他们在这种混合方法上投入了大量精力，这确实引起了我们的共鸣。”
卓越的性能：Qdrant 凭借其在 VISUA 特定需求方面的最快引擎而脱颖而出，对于某些 VISUA 用例，查询速度比替代方案快 40 倍。Alessandro Prest 强调：“对于我们的用例，Qdrant 是迄今为止最快的引擎，”这突显了其显著的效率和可伸缩性优势。
API 文档：Qdrant API 文档和参考指南的清晰度、全面性和用户友好性进一步巩固了 VISUA 的决定。
这一战略选择使 VISUA 能够显着提高其质量控制流程的运营效率和可伸缩性。
实施 Qdrant
在选择 Qdrant 作为其向量数据库解决方案后，VISUA 采用了一种系统的方法进行集成。该过程始于受控开发环境，允许 VISUA 模拟真实世界的用例并确保 Qdrant 满足其操作要求。这种仔细的分阶段方法确保了将 Qdrant 迁移到其生产环境（托管在 AWS 集群上）时的顺利过渡。VISUA 在其生产设置中利用了 Qdrant 的几个特定功能
支持每个记录/点多个向量：此功能允许对数据进行细致的多方面分析，使 VISUA 能够更有效地管理和查询复杂的数据集。
量化：量化优化了存储并加速了查询处理，提高了数据处理效率并降低了内存使用，这对于大规模操作至关重要。
结果
将 Qdrant 集成到 VISUA 的质量控制操作中，在效率和可伸缩性方面取得了可衡量的成果
查询处理速度提高 40 倍：Qdrant 大幅缩短了复杂查询所需的时间，提高了工作流程效率。
可伸缩性提高 10 倍： Qdrant 的效率使 VISUA 能够在其质量保证和学习流程中处理多达十倍的数据，在不牺牲质量的情况下支持增长。
增加数据审查能力： 增加的数据审查能力使 VISUA 能够通过强化学习提高其算法的准确性。
将 Qdrant 的使用扩展到异常检测之外
虽然 Qdrant 的主要应用侧重于质量控制，但 VISUA 团队正在积极探索 Qdrant 的其他用例。VISUA 对 Qdrant 的使用激发了新的机会，尤其是在内容审核方面。“我们开始试用 Qdrant 的那一刻，团队中涌现出许多关于新应用的奇思妙想，”Prest 谈到 Qdrant 释放的潜力时说。例如，这促使他们积极探索 Qdrant Discovery API，着眼于增强内容审核流程。
除了内容审核之外，VISUA 还将通过扩大其版权侵权检测服务来实现显著增长。随着对检测更广泛侵权行为（例如未经授权使用流行角色商品）的需求增加，VISUA 计划扩展其技术能力。Qdrant 将在这次扩展中发挥关键作用，使 VISUA 能够有效应对内容审核中复杂且日益增长的挑战，并确保为品牌和创作者提供全面保护。
