Sprinklr 如何利用 Qdrant 增强 AI 驱动的客户体验解决方案

Sprinklr 是统一客户体验管理 (Unified-CXM) 领域的领导者，帮助全球品牌跨 30 多个数字渠道与客户进行有意义的互动。为实现这一目标，Sprinklr 需要一个可扩展的 AI 驱动搜索解决方案来支持其 AI 应用，尤其是在处理庞大客户互动数据需求方面。

Sprinklr 机器学习工程副总监 Raghav Sonavane 领导着应用 AI 团队，专注于生成式 AI (GenAI) 和检索增强生成 (RAG)。他的团队负责训练和微调内部模型，并为面向客户的应用（如 FAQ 机器人和其他GenAI 驱动的服务）部署先进的检索和生成系统。该团队在集中式平台中为 Sprinklr 产品工程团队提供所有这些能力。

图： Sprinklr 的 RAG 架构

Sprinklr 的平台由四个主要产品套件组成 - Sprinklr Service、Sprinklr Marketing、Sprinklr Social 和 Sprinklr Insights。每个套件都嵌入了 AI 优先功能，如辅助智能体、呼叫后分析和实时分析，这些对于管理大规模联络中心运营至关重要。Sonavane 表示：“这些由 Qdrant 先进向量搜索支持的 AI 驱动能力，增强了 Sprinklr 面向客户的工具，如 FAQ 机器人、事务机器人、会话服务和产品推荐引擎。”

这些自助服务应用高度依赖先进的向量搜索来分析和优化社区内容，并改进知识库，确保高效和相关的响应。对于需要进一步协助的客户，Sprinklr 为支持智能体提供了强大的搜索功能，使他们能够快速访问相似案例并借鉴过往互动，从而提高客户支持的质量和速度。

对向量数据库的需求

为了支持各种 AI 驱动应用，Sprinklr 需要一个高效的向量数据库。Sonavane 解释道：“关键挑战在于为所有检索任务提供最高质量和最快的搜索能力。”

去年，Sprinklr 对其现有搜索基础设施进行了全面评估。目标是识别当前的差距，对速度和成本性能进行基准测试，并探索通过增强可伸缩性和更强大的数据隐私控制来改善开发者体验的机会。很明显，一个先进的向量数据库对于满足这些需求至关重要，而 Qdrant 成为了理想的解决方案。

为什么选择 Qdrant？

在评估了包括 Pinecone、Weaviate 和 ElasticSearch 在内的多种向量数据库选项后，Sprinklr 选择 Qdrant 是因为它的

• 对开发者友好的文档： Sonavane 指出：“Qdrant 清晰的文档使我们的团队能够快速将其集成到我们的工作流程中。”

• 高可定制性： Qdrant 通过高级抽象提供了 Sprinklr 所必需的灵活性，允许进行广泛的定制。Sprinklr 中从事各种 GenAI 应用的团队需要一个能够适应不同工作负载的解决方案。Sonavane 表示：“在集合级别微调配置的能力对于我们多样的 AI 应用至关重要。” Qdrant 通过提供以下功能满足了这一需求：

  • 高速搜索配置，微调设置以优化性能。
  • 量化向量，适用于高维数据工作负载。
  • 内存映射，用于高效搜索，优化内存使用。

• 速度和成本效益： Qdrant 提供了速度和成本的最佳组合，使其成为 Sprinklr 需求的最佳可行解决方案。Sonavane 说：“我们需要一个不仅能满足我们性能要求，还能控制成本的解决方案，Qdrant 在这两方面都做到了。”

• 增强的监控： Qdrant 的监控工具进一步提升了系统效率，使 Sprinklr 能够在其平台中保持高性能。

实施与 Qdrant 的性能

Sprinklr 对 Qdrant 的过渡进行了精心管理，首先处理 10% 的工作负载，然后逐步扩展。得益于 Qdrant 可配置的Web UI，过渡过程非常顺畅，Sprinklr 在现有基础设施中充分利用了其能力。

Sonavane 表示：“Qdrant 同时索引多个向量以及精确检索和重排的能力，为我们的工作流程带来了显著改进。” 这一特性减少了重复检索过程的需要，极大地提高了效率。此外，Qdrant 的量化和内存映射功能使 Sprinklr 降低了 RAM 使用率，从而节省了大量成本。

Qdrant 现在在其 AI 驱动的应用中扮演着关键的支持角色，用于增强 Sprinklr 的向量搜索能力，这些应用被设计为云和 LLM 无关的。该平台支持各种 AI 驱动任务，从检索和重排到提供先进的客户体验。Sonavane 强调：“检索是我们所有 AI 任务的基础，而 Qdrant 的弹性和速度使其成为我们系统中不可或缺的一部分。” Sprinklr 在 AWS 上将Qdrant 作为托管服务运行，确保了可伸缩性、可靠性和易用性。

使用 Qdrant 取得的关键成果

经过严格的内部评估，Sprinklr 使用 Qdrant 取得了以下成果：

• 成本降低 30%： 内部基准测试显示，Qdrant 将 Sprinklr 的检索基础设施成本降低了 30%。
• 提高开发者效率： Qdrant 用户友好的环境使维护实例变得更容易，从而提高了整体效率。

Sprinklr 团队对其需要向量搜索的应用进行了严格的内部基准测试，测试范围从 1 万到超过 100 万个向量，根据用例的不同，向量维度也有所不同。这些基准测试的关键结果包括：

• 卓越的写入性能： 在 Sprinklr 的基准测试中，Qdrant 的写入性能表现出色，对于 10 万到 100 万向量索引，增量索引时间不到 Elasticsearch 的 10%，这使其在数据摄取量大的用例中能高效处理更新和追加查询。
• 实时应用的低延迟： 在 Sprinklr 的基准测试中，Qdrant 在 100 万个向量上的搜索提供了 20 毫秒的 P99 延迟，使其非常适合像实时聊天这样的用例，而在这些用例中，Elasticsearch 和 Milvus 的延迟都超过了 100 毫秒。
• 处理繁重查询负载的高吞吐量： 在 Sprinklr 的基准测试中，Qdrant 在相似配置下每秒处理多达 250 个请求 (RPS)，显著优于 Elasticsearch 的 100 RPS，使其非常适合查询负载繁重的环境。

Sonavane 指出：“Qdrant 是一个非常快速且高质量的检索系统。”

图：不同索引大小下的 P95 查询时间与平均精确度基准测试

展望

展望未来，Sprinklr 的应用 AI 团队正致力于开发针对公司、组织和员工的 Sprinklr 数字孪生技术，旨在将 AI 智能体与人类员工无缝集成到业务流程中。Sprinklr 数字孪生由一个流程引擎驱动，该引擎包含了角色、技能、任务和活动，旨在优化运营效率。

图：Sprinklr 数字孪生

向量搜索将扮演关键角色，因为每个 AI 智能体都将拥有自己的知识库、技能集和工具集，从而实现精确和自主的任务执行。Qdrant 的集成进一步增强了系统有效管理和利用大量数据的能力。

基准测试结论

配置详情

• 我们对需要搜索不同大小（从 1 万到超过 100 万个向量）的应用进行了基准测试，根据用例的不同，向量维度也有所不同。我们的基础设施主要包括 Elasticsearch 和内存中的 Faiss 向量搜索。

关键观察结果

1. 索引速度： Qdrant 索引向量速度快，适合需要快速数据摄取的应用。在尝试的替代方案中，Milvus 在给定精度下的索引时间与 Qdrant 相当。与旧版本相比，最新版本的 Elasticsearch 有很大改进，但不如 Qdrant 高效。
   • 写入性能： 对于我们的一些用例，更新查询和追加查询的数量显著更高。对于 ES，点数的增加对总上传时间有严重影响。对于 10 万到 100 万向量索引，Qdrant 的增量索引时间不到 Elasticsearch 的 10%。
2. 低延迟： 尾延迟对于实时应用（如实时聊天）至关重要，需要低 P95 和 P99 延迟。对于需要在 100 万个向量上进行搜索的工作负载，Qdrant 提供了 20 毫秒的 P99 推理延迟，而 ES 和 Milvus 都超过了 100 毫秒。
3. 高吞吐量： Qdrant 每秒处理大量请求，非常适合查询负载繁重的环境。在相似配置下，Qdrant 提供了 250 RPS 的吞吐量，而 ES 约为 100 RPS。

data = [

{'system': 'Qdrant', 'index_size': '1,000', 'MAP': 0.98, 'P95 Time': 0.22, 'Mean Time': 0.1, 'QPS': 280,

'Upload Time': 1},

{'system': 'Qdrant', 'index_size': '10,000', 'MAP': 0.99, 'P95 Time': 0.16, 'Mean Time': 0.09, 'QPS': 330,

'Upload Time': 5},

{'system': 'Qdrant', 'index_size': '100,000', 'MAP': 0.98, 'P95 Time': 0.3, 'Mean Time': 0.23, 'QPS': 145,

'Upload Time': 100},

{'system': 'Qdrant', 'index_size': '1,000,000', 'MAP': 0.99, 'P95 Time': 0.171, 'Mean Time': 0.162, 'QPS': 596,

'Upload Time': 220},

{'system': 'ElasticSearch', 'index_size': '1,000', 'MAP': 0.99, 'P95 Time': 0.42, 'Mean Time': 0.32, 'QPS': 95,

'Upload Time': 10},

{'system': 'ElasticSearch', 'index_size': '10,000', 'MAP': 0.98, 'P95 Time': 0.3, 'Mean Time': 0.24, 'QPS': 120,

'Upload Time': 50},

{'system': 'ElasticSearch', 'index_size': '100,000', 'MAP': 0.99, 'P95 Time': 0.48, 'Mean Time': 0.42, 'QPS': 80,

'Upload Time': 1100},

{'system': 'ElasticSearch', 'index_size': '1,000,000', 'MAP': 0.99, 'P95 Time': 0.37, 'Mean Time': 0.236,

'QPS': 348, 'Upload Time': 1150}

]