0

Qdrant 助力 QA.tech 的测试代理实现实时精度和规模

Qdrant

·

2024年11月21日

Empowering QA.tech’s Testing Agents with Real-Time Precision and Scale

qdrant-qatech-1

QA.tech 是一家专注于 AI 驱动自动化测试解决方案的公司,他们发现构建和**全面测试 Web 应用,尤其是端到端测试,可能既复杂又耗时**。与单元测试不同,端到端测试揭示了浏览器中实际发生的情况,通常能发现其他方法遗漏的问题。

传统的硬编码测试解决方案不仅设置劳动密集,而且随着时间的推移维护起来也很困难。或者,招聘 QA 测试人员可以是一种解决方案,但对于初创公司来说,很快就会成为瓶颈。每次发布都需要更多的测试人员,如果将测试外包,管理时间线和确保质量会变得更加困难。

为了解决这个问题,QA.tech 开发了**测试代理**,它们就像用户一样在浏览器上执行任务——例如,在旅行应用上购买机票。这些代理会浏览整个预订流程,从搜索航班到完成购买,同时评估它们的成功率。**它们记录错误,记录过程,并标记问题供开发人员审查。**通过访问控制台日志和网络调用,开发人员可以轻松分析每一步,快速理解和调试出现的任何问题。

qdrant-qatech-2

QA.tech AI 代理的输出

是什么促使 QA.tech 使用向量数据库?

QA.tech 最初使用 **pgvector** 进行更简单的向量用例,但随着需求的增长遇到了可扩展性限制,这促使他们采用了 Qdrant。他们需要一个向量数据库,能够处理高速、实时分析,以支持其 AI 代理,这些代理在一个观察和解释网页操作的分析层中运行。该分析层严重依赖多模态模型和大量的子处理,以使 AI 代理能够做出明智的实时决策。

在某些 Web 界面中,可能会发生数百个操作,实时处理它们——尤其是每一次点击——可能会很慢。动态 Web 元素和不断变化的标识符使此问题进一步复杂化,使得传统方法不可靠。为了解决这些挑战,QA.tech 在特定操作上训练了自定义嵌入,这显著加快了决策速度。

这种设置需要频繁的嵌入查找,为每次交互生成大量的数据库调用。正如 **QA.tech 的 Vilhelm von Ehrenheim** 所解释的那样:

“每一次点击都会产生大量嵌入、大量调用和大量针对数据库的查找,这需要良好的扩展性。”

Qdrant 快速、可扩展的向量搜索使 QA.tech 能够无缝处理这些高速查找,确保代理保持响应性,并能够实时做出快速、准确的决策。

QA.tech 为何选择 Qdrant 作为其 AI 代理平台

QA.tech 的 AI 代理处理高速 Web 操作,需要高效的实时操作和可扩展的基础设施。团队面临着管理网络开销、CPU 负载以及为不同用例存储多个嵌入的挑战。Qdrant 为解决这些问题提供了解决方案。

利用批处理操作降低网络开销

在 Web 界面上单独处理数百个同步操作会产生显著的网络开销。Von Ehrenheim 解释说:“将所有这些操作放在单独的调用中会产生大量的网络开销。”Qdrant 的批处理操作允许 QA.tech 一次处理多个操作,从而减少了网络流量并提高了效率。这种能力对于实时响应至关重要的 AI 代理来说至关重要。

优化 CPU 负载以处理嵌入

PostgreSQL 的事务保证在处理嵌入时导致了高 CPU 使用率,尤其是在大规模处理时。Von Ehrenheim 指出,添加许多新嵌入“需要更多的 CPU”,这导致了性能瓶颈。Qdrant 的架构有效地处理了大规模嵌入,防止了 CPU 过载,并确保了流畅、不间断的性能,这是 AI 代理的关键要求。

管理针对不同用例的多个嵌入

AI 代理需要灵活地处理实时操作和上下文感知任务。QA.tech 需要不同的嵌入用于即时操作处理和更深层次的语义搜索。Von Ehrenheim 提到:“我们使用一种嵌入用于高速操作,但我也想存储其他类型的嵌入用于分析目的。”

Qdrant 每数据点存储多个嵌入的能力使 QA.tech 能够在不增加复杂性的情况下满足这些多样化的需求。

QA.tech 如何克服 AI 代理开发中的关键挑战

构建可靠的 AI 代理带来了独特的复杂性,尤其是在工作流程变得更加多步骤和动态时。

“你要求代理采取的步骤越多,确保一致性能就越困难,”QA.tech 联合创始人 Vilhelm von Ehrenheim 说。

每一个附加操作都会增加相互依赖的变量层,产生如果不仔细管理很容易导致错误的路径。

Von Ehrenheim 还指出了当前大型语言模型(LLMs)的局限性,他指出:“LLMs 越来越强大,但它们仍然难以处理多步骤推理,例如处理微妙的视觉变化,如深色模式或自适应 UI。”这些挑战使得代理必须具备精确的规划能力和上下文感知能力,而 QA.tech 通过实施自定义嵌入和多模态模型来解决了这个问题。

“这就是可扩展、适应性强的基础设施变得至关重要的地方,”Von Ehrenheim 补充道。Qdrant 对 QA.tech 至关重要,它提供了稳定、高性能的向量搜索,以支持要求苛刻的工作流程。**“有了 Qdrant,我们能够处理这些复杂、高速的任务,而不会牺牲可靠性。”**

免费开始使用 Qdrant

开始使用