Nyris 和 Qdrant：向量如何成为视觉搜索的未来

关于 Nyris

Nyris 由 CTO Markus Lukasson 及其妹妹 Anna Lukasson-Herzig 于 2015 年创立，Nyris 为企业提供先进的视觉搜索解决方案，将自己定位为企业数据的“Google Lens”。他们的技术为多种用例提供支持，例如大型零售商网站上的视觉搜索以及需要视觉识别备件的机械制造公司。主要目标是尽快识别产品目录或备件中的物品。凭借在电子商务领域坚实的基础和近十年向量搜索经验，Nyris 走在视觉搜索创新的前沿。

除了视觉搜索，Nyris 还提供合成数据解决方案，尤其适用于制造和工程领域。这些行业的客户通常缺乏足够的零件照片来有效利用视觉搜索。然而，他们拥有其产品的 CAD 文件。Nyris 从这些 CAD 文件生成合成图像，从而无需数据库中实际的产品照片即可实现视觉搜索。

宜家（IKEA）、通快（Trumpf，精密激光制造商）和森精机（DMG Mori）等知名客户都依赖 Nyris 来支持他们的现场工程师进行零件维护。

克服视觉产品搜索的局限性

Lukasson 在亚马逊任职期间观察到，像 Google 这样的搜索引擎在产品搜索方面通常优于亚马逊的搜索能力。他认识到电子商务和备件管理等行业需要更精确的搜索解决方案，并发现了一个显著的空白：传统的基于关键词的搜索往往会失败，特别是在现场工程师难以用关键词准确描述零件的情况下。视觉搜索提供了一种解决方案，通过利用图像提供更快、更准确的结果，因为图像携带的信息量远远超过基于文本的查询。

在寻找完美的视觉搜索提供商的过程中，Nyris 最终决定开发自己的解决方案。

基于向量的视觉搜索之路

最初在 2015 年，团队探索了基于关键值 SIFT（尺度不变特征变换）特征的传统搜索算法，以定位图像中的特定元素。然而，他们很快意识到这些方法不精确且不可靠。为了解决这个问题，Nyris 开始试验最早的卷积神经网络（CNN），以提取用于向量搜索的嵌入。

在向量搜索的早期，可用的解决方案很少。Nyris 最初开发了自己的向量搜索解决方案，但后来过渡到 SingleStore。当时，SingleStore 是唯一能在规模上提供高效快速的暴力向量搜索的选项。随着 Nyris 数据的增长，快速扩展的需求变得显而易见。他们发现许多标准的数据库功能（例如实时分析和原子性）对于他们的特定需求而言是不必要的。相反，Nyris 需要的是专注于快速高效的向量搜索能力，以及能够增强客户搜索体验的功能。

随着纯粹的、原生向量搜索引擎的出现，Nyris 进行了广泛的研究和基准测试。最终，他们选择了 Qdrant 作为首选的向量搜索引擎。Qdrant 在准确性、速度和高效处理大数据集的能力方面脱颖而出，满足了 Nyris 对强大且可扩展的向量搜索解决方案的所有要求。

选择过程

作为其选择过程的一部分，Nyris 评估了几个关键因素，以确保他们选择了最佳的向量搜索引擎解决方案。

• 准确性和速度：这些是主要考虑因素。Nyris 需要了解基于 HNSW 图的方法和暴力搜索之间的性能差异。特别是，他们检查了需要大量过滤的边缘情况，有时需要切换到暴力搜索。即使在这些情况下，Qdrant 也表现出令人印象深刻的速度和可靠性，满足了 Nyris 严格的性能要求。
• 插入速度：Nyris 评估了数据能够多快地插入数据库，包括同时进行数据注入和查询请求时的性能。Qdrant 在这一领域表现出色，为他们的操作提供了必要的效率。
• 总拥有成本：Nyris 分析了与每种解决方案相关的基础设施成本和许可费用。Qdrant 提供了具有竞争力的总拥有成本，使其成为经济可行的选择。
• 数据主权：能够在自己的集群中部署 Qdrant 是 Nyris 的一个关键方面，确保他们保持对其数据的控制并遵守相关的数据主权要求。
• 专用向量搜索引擎：正如 Lukasson 强调的，Qdrant 的主要优势之一在于其作为专用、原生向量搜索引擎的专业性。“Qdrant 是专为向量搜索而构建的，因此可以更快地引入相关功能，例如量化、integer8 支持和 float32 重排序。这些进步使得搜索更加精确且具有成本效益，同时不牺牲准确性——这正是 Nyris 所需要的，”Lukasson 说。“在优化搜索准确性和速度时，妥协不是一个选择。就像你不会用卡车参加 F1 比赛一样，我们需要一个专为向量搜索设计的解决方案，而不仅仅是附加了向量搜索功能的通用数据库。Qdrant 的每一个版本都为我们带来了新的、量身定制的功能，直接增强了我们的用例。”

Qdrant 在生产环境中的主要优势

Nyris 发现 Qdrant 的几个方面在他们的生产环境中特别有益：

• 使用 JWT 增强安全性：JSON Web Tokens 提供了增强的安全性及性能，这对于保护他们的数据至关重要。
• 无缝扩展性：Qdrant 跨节点轻松扩展的能力确保了持续的高性能，即使 Nyris 的数据量不断增长。
• 灵活的搜索选项：提供了基于图和暴力搜索方法，使 Nyris 可以根据特定用例的要求定制搜索方法。
• 多功能数据处理：Qdrant 对数据类型和向量大小几乎没有限制，允许 Nyris 有效管理多样化和复杂的数据集。
• 采用 Rust 构建：使用 Rust 确保了卓越的性能和面向未来的能力，而其开源性质允许 Nyris 根据需要检查和定制代码。
• 高性价比的高性能搜索：Qdrant 高效的搜索能力确保 Nyris 能够以合理的成本保持高性能。通过 Qdrant，Nyris 可以高效地搜索大量数据集，这使其成为其技术栈的关键组成部分。

通过在 Google Cloud 的 Kubernetes 集群中托管 Qdrant，Nyris 受益于其苛刻操作所必需的可扩展性和可靠性，从而确保了强大且高效的视觉搜索解决方案。

为什么纯向量搜索是产品搜索的未来

Nyris 的愿景是在几毫秒内识别每一个产品和备件，而 Qdrant 在其中发挥着不可或缺的作用。展望产品搜索的未来，Lukasson 坚信向量表示将是推进搜索能力的关键。与关键词搜索不同，向量搜索可以无缝集成各种模态，例如文本、图像以及深度或音频。这种整体方法将改变产品和备件搜索，允许单一向量表示包含产品的文本、视觉和几何描述。

“虽然 BM25 等传统算法快速且廉价，并且在搜索栈中仍有一席之地，但向量将在未来几年内取代它们，”Lukasson 说。“今天，我们为文本搜索、视觉搜索和其他模态设置了单独的空间，但我们设想的未来是统一的向量表示，涵盖所有相关的物品数据。无论您使用何种输入进行查询，搜索结果都将准确无误。滚动浏览数千个结果或遇到‘无结果’页面的日子很快就会结束。每个搜索请求都将在几毫秒内提供正确的产品或备件。”