0

Nyris 与 Qdrant:向量如何成为视觉搜索的未来

Qdrant

·

2024 年 9 月 10 日

Nyris & Qdrant: How Vectors are the Future of Visual Search

nyris-case-study

关于 Nyris

Nyris 由 CTO Markus Lukasson 和他的妹妹 Anna Lukasson-Herzig 于 2015 年创立,Nyris 为公司提供先进的视觉搜索解决方案,将自己定位为企业数据的“Google Lens”。他们的技术支持各种用例,例如大型零售商网站上的视觉搜索,以及需要对备件进行视觉识别的机械制造公司。主要目标是尽可能快速地识别产品目录或备件中的物品。凭借在电子商务领域的坚实基础和近十年的向量搜索经验,Nyris 处于视觉搜索创新的前沿。

除了视觉搜索,Nyris 还提供合成数据解决方案,特别是针对制造和工程领域。通常,这些行业的客户缺乏足够的产品照片来有效利用视觉搜索。然而,他们确实拥有其产品的 CAD 文件。Nyris 从这些 CAD 文件生成合成图像,无需数据库中实际的产品照片即可实现视觉搜索。

宜家、通快(精密激光制造商)和 DMG Mori 等知名客户都依赖 Nyris 来支持其现场工程师进行零件维护。

nyris-visual-search

在亚马逊工作期间,Lukasson 观察到 Google 等搜索引擎在产品搜索方面通常优于亚马逊的搜索能力。他认识到电子商务和备件管理等行业需要更精确的搜索解决方案,并发现了重大差距:传统的基于关键词的搜索通常会失败,尤其是在现场工程师难以用关键词准确描述零件的情况下。视觉搜索提供了一种解决方案,通过利用图像(比基于文本的查询包含更多信息)提供更快、更准确的结果。

在寻找完美的视觉搜索提供商的过程中,Nyris 最终决定开发自己的解决方案。

最初在 2015 年,团队探索了基于 SIFT(尺度不变特征变换)关键值特征的传统搜索算法,以在图像中定位特定元素。然而,他们很快意识到这些方法不精确且不可靠。为了解决这个问题,Nyris 开始尝试使用首批卷积神经网络(CNN)来提取用于向量搜索的嵌入。

在向量搜索的早期,可用的解决方案很少。Nyris 最初开发了自己的向量搜索解决方案,但后来过渡到 SingleStore。当时,SingleStore 是唯一能够大规模提供高效、快速的暴力向量搜索的选项。随着 Nyris 数据量的增长,对快速扩展的需求变得显而易见。他们发现许多标准数据库功能,例如实时分析和原子性,对于他们的特定需求来说是不必要的。相反,Nyris 需要的是一个专注于快速高效的向量搜索功能,以及能够增强客户搜索体验的功能的解决方案。

随着纯粹的、原生的向量搜索引擎的出现,Nyris 进行了广泛的研究和基准测试。最终,他们选择了 Qdrant 作为首选的向量搜索引擎。Qdrant 以其准确性、速度和高效处理大型数据集的能力脱颖而出,满足了 Nyris 对强大且可扩展的向量搜索解决方案的所有要求。

选择过程

作为选择过程的一部分,Nyris 评估了几个关键因素,以确保他们选择了最佳的向量搜索引擎解决方案。

  • 准确性和速度:这些是主要考虑因素。Nyris 需要了解基于 HNSW 图的方法与暴力搜索之间的性能差异。特别是,他们检查了需要大量过滤的边缘情况,有时需要切换到暴力搜索。即使在这些场景中,Qdrant 也表现出令人印象深刻的速度和可靠性,满足了 Nyris 严格的性能要求。
  • 插入速度:Nyris 评估了数据可以多快地插入数据库,包括同时数据摄取和查询请求期间的性能。Qdrant 在这方面表现出色,为其操作提供了必要的效率。
  • 总拥有成本:Nyris 分析了与每个解决方案相关的基础设施成本和许可费用。Qdrant 提供了具有竞争力的总拥有成本,使其成为一个经济可行的选择。
  • 数据主权:能够在自己的集群中部署 Qdrant 是 Nyris 的一个关键方面,确保他们能够控制自己的数据并遵守相关的数据主权要求。
  • 专用向量搜索引擎: 正如 Lukasson 所强调的,Qdrant 的主要优势之一是其作为专用原生向量搜索引擎的专业性。“Qdrant 专为向量搜索而构建,可以更快地引入相关功能,例如量化、integer8 支持和 float32 重排。这些进步使得搜索更精确、更具成本效益,同时不牺牲准确性——这正是 Nyris 所需要的,”Lukasson 说。“在优化搜索准确性和速度时,妥协是不可行的。就像你不会用卡车参加一级方程式赛车一样,我们需要一个专门为向量搜索设计的解决方案,而不仅仅是一个附加了向量搜索功能的通用数据库。通过每次 Qdrant 发布,我们都会获得新的、定制的功能,直接增强我们的用例。”

Qdrant 在生产中的主要优势

Nyris 发现 Qdrant 的几个方面在其生产环境中特别有益。

  • 通过 JWT 增强安全性JSON Web Tokens 提供增强的安全性和性能,这对于保护他们的数据至关重要。
  • 无缝可扩展性:Qdrant 能够跨节点轻松扩展,确保始终如一的高性能,即使 Nyris 的数据量不断增长。
  • 灵活的搜索选项:图形化和暴力搜索方法都可用,为 Nyris 提供了根据特定用例要求定制搜索方法的灵活性。
  • 多功能数据处理:Qdrant 对数据类型和向量大小几乎没有限制,允许 Nyris 有效管理多样化和复杂的数据集。
  • 用 Rust 构建:使用 Rust 确保卓越的性能和面向未来的能力,而其开源特性允许 Nyris 根据需要检查和定制代码。
  • 高性价比的高性能搜索:Qdrant 高效的搜索能力确保 Nyris 能够以合理的成本保持高性能。借助 Qdrant,Nyris 可以高效地搜索大量数据集,使其成为其技术堆栈的关键部分。

通过在他们的 Kubernetes 集群中将 Qdrant 托管在 Google Cloud 上,Nyris 受益于其苛刻操作所需的可扩展性和可靠性,确保了强大高效的视觉搜索解决方案。

Nyris 的愿景是在毫秒内识别每一个产品和备件,而 Qdrant 在其中发挥着不可或缺的作用。在展望产品搜索的未来时,Lukasson 坚信向量表示将是推进搜索能力的关键。与关键词搜索不同,向量搜索可以无缝集成各种模态,例如文本、图像,以及深度或音频。这种整体方法将改变产品和备件搜索,允许单一向量表示,涵盖产品的文本、视觉和几何描述。

“虽然像 BM25 这样的传统算法快速且便宜,并且在搜索堆栈中仍有一席之地,但向量将在未来几年取代它们,”Lukasson 说。“今天,我们有单独的文本搜索、视觉搜索和其他模态空间,但我们设想的未来是统一的向量表示,涵盖所有相关的项目数据。无论您使用什么输入进行查询,搜索结果都将是准确的。滚动数千个结果或遇到‘无结果’页面的日子将很快结束。每个搜索请求都将在毫秒内交付正确的产品或备件。”

免费开始使用 Qdrant

开始使用