英特尔新 CPU 助力向量搜索提速

新一代芯片是 AI/ML 应用的游戏规则改变者

英特尔第五代至强处理器专为向量空间的超大规模企业级操作而打造。

向量搜索在机构客户中越来越受欢迎，英特尔已准备好支持这个新兴行业。他们的最新一代 CPU 在与 Qdrant（一家用于企业级 AI 应用的领先向量数据库）的协作中表现出色。

英特尔刚刚发布了面向数据中心的最新至强处理器（代号：Emerald Rapids），预计该市场规模将增长至 450 亿美元。与前代产品相比，Emerald Rapids 提供更高的计算性能和显著的能源效率。与第四代 Sapphire Rapids 相比，Emerald 在 AI 推理性能方面提升高达 42%，向量搜索速度提升 38%。

向量数据库操作的首选 CPU

在 Qdrant 研发部门进行的测试中，最新一代 CPU 表现出色。英特尔 CPU 针对海量数据集的查询速度、数据库延迟和向量上传时间进行了压力测试。结果显示，配备 32 核的机器在运行查询时比上一代机器快 1.38 倍。在此范围内，与 Sapphire 相比，Qdrant 的延迟也降低了 2.79 倍。

Qdrant 强烈建议在 8-64 核范围内使用英特尔下一代芯片。除了对大多数云端机器而言是实际的核心数量外，这种计算能力还将为大众市场用例带来最佳结果。

CPU 通过影响数学计算的速度和效率来影响向量搜索。近期以来，公司已开始使用 GPU 来承担 AI 模型训练和推理中的大量工作负载。然而，研究表明，对于向量搜索而言，CPU 架构非常适合，因为它可以轻松处理并发请求。

“向量搜索针对 CPU 进行了优化。英特尔的新 CPU 带来了更高的性能提升，并使向量操作在 AI 应用中实现极速。客户应考虑部署更多 CPU 而非 GPU 计算能力，以同时获得最佳性能结果并降低成本。”

• André Zayarni, Qdrant 首席执行官

为什么向量搜索很重要？

向量搜索引擎使 AI 能够更深入地查看存储的数据并检索强相关的响应。

Qdrant 的向量数据库是现代信息检索和机器学习系统的关键。希望运行大规模检索增强生成 (RAG) 解决方案的用户需要利用此类语义搜索引擎，以便为其 AI 产品生成最佳结果。

Qdrant 专为帮助开发者高效存储和搜索高维向量而构建。它可以轻松与多种 AI/ML 工具集成：大型语言模型 (LLM)，例如 LangChain、LlamaIndex 或 Haystack 等框架，以及 Cohere、OpenAI 和 Ollama 等服务提供商。

支持企业级 AI/ML

市场正在为大量的人工智能和机器学习用例做准备，将计算推向创新竞赛的最前沿。

像 Qdrant 这样的向量数据库的主要优势在于，它可以持续支持用户度过原型设计和发布阶段。Qdrant 的产品已被拥有数十亿数据点的大型企业使用。这些用户几乎可以立即从测试转向生产。希望托管大型应用程序的用户可能只需要高达 18GB 的 RAM 来支持 100 万个 OpenAI 向量。这使得 Qdrant 成为最大化资源利用和数据连接的最佳选择。

英特尔的最新进展对于向量数据库的未来至关重要。向量搜索操作非常依赖 CPU 计算。因此，Qdrant 依靠英特尔等芯片制造商的创新来提供大规模支持。

“向量数据库是当今 AI/ML 工具链的中坚力量，为最新一代 RAG 和其他生成式 AI 应用提供支持。通过与 Qdrant 合作，英特尔正在帮助企业利用基于最新英特尔架构基础设施上的 Qdrant 高性能、高成本效益的向量相似度搜索能力，跨部署模型交付尖端的生成式 AI 解决方案，并最大化其投资回报率。”

• Arijit Bandyopadhyay, 英特尔公司 企业分析与 AI 首席技术官, 云与企业战略负责人, CSV 事业部

推进向量搜索与下一代 CPU 的作用

展望未来，向量数据库市场正处于显著增长的边缘，尤其是在企业市场。英特尔等公司在 CPU 技术方面的发展有望通过 1) 提高处理速度和 2) 提升检索效率和质量来增强向量搜索操作。这将使企业用户能够轻松管理大型和更复杂的数据集，并在全球范围内引入 AI。

随着大型公司不断集成复杂的 AI 和机器学习工具，对强大的向量数据库的依赖将不断增加。市场的这一演变强调了持续硬件创新在满足数据密集型应用不断增长的需求方面的重要性，而英特尔的贡献在塑造企业级 AI/ML 解决方案的未来方面发挥着重要作用。

后续步骤

Qdrant 是开源的，并提供完整的 SaaS 解决方案，托管在 AWS、GCP 和 Azure 上。

入门很容易，您可以启动一个容器镜像或开始一个免费的云实例。文档涵盖了如何将数据添加到您的 Qdrant 实例以及如何创建您的索引。我们很乐意了解您正在构建什么，欢迎通过Github、Discord或LinkedIn与我们的工程团队联系。