德国电信如何利用 Qdrant 构建多智能体企业平台

德国电信如何利用 Qdrant 构建可扩展的多智能体企业平台——驱动欧洲超过 200 万次对话

Arun Joseph，德国电信人工智能能力中心 (AICC) 的工程和架构负责人，面临着一个严峻的挑战：如何在庞大的企业生态系统中高效且可扩展地部署 AI 驱动的助手？目标是在德国电信欧洲运营的 10 个国家中，部署生成式 AI（GenAI）于客户销售和服务运营，以更快地解决客户疑问。

为实现这一目标，德国电信开发了 Frag Magenta OneBOT （意为：询问 Magenta），这是一个包含聊天机器人和语音机器人的平台，作为平台即服务 (PaaS) 构建，以确保在德国电信的十个欧洲子公司中实现可扩展性。

“我们从一开始就知道，如果没有平台优先的方法，我们不可能大规模部署 RAG、工具调用和工作流，” Arun 解释说。“当我审视这个挑战时，它看起来更像是一个分布式系统和工程挑战，而不仅仅是一个 AI 问题。”

扩展企业级 AI 智能体的关键要求

虽然华丽的 AI 演示很容易构建，但德国电信的团队很快发现，为企业使用扩展 AI 智能体带来了更复杂的挑战。“这不仅仅关乎 AI，”Arun 解释道。“这是一个需要严谨工程的分布式系统问题。” 基于他们在多个区域部署 AI 的经验，他们确定了在生产环境中扩展 AI 智能体的三个关键挑战

1. 租户与内存管理：跨越 10 个不同国家的 AI 工作负载需要严格的数据隔离和合规性。
2. 水平扩展与上下文共享：AI 智能体需要实时处理，同时维护历史上下文，因此高效地存储、检索和处理大规模 AI 生成的上下文至关重要。
3. 非确定性智能体协作：AI 智能体通常表现出不可预测的行为，这使得智能体之间的无缝通信和工作流编排变得复杂。

“从我们的经验来看，这些挑战本质上是分布式系统问题，不仅仅是 AI 问题，” Arun 解释说。“我们需要反馈循环、状态管理、生命周期编排以及针对分阶段发布的智能路由。仅靠微服务是不够的——我们需要一种领域驱动的方法来设计 AI 智能体。”

这一洞察促成了 LMOS 作为 Eclipse 基金会开源项目的成立。现在，其他公司可以利用 LMOS 进行自己的 AI 智能体开发。

为什么德国电信必须从头开始重新思考其 AI 技术栈

该团队于 2023 年 6 月开始其旅程，启动了一项小规模生成式 AI 项目，专注于使用定制 AI 模型的聊天机器人。最初，他们使用 LangChain 和一家主要的向量数据库提供商进行向量搜索和检索，同时使用针对德语用例进行微调的自定义密集段落检索 (DPR) 模型。

然而，随着他们扩展规模，这些问题迅速显现出来

• 由于先前方法中使用的组件数量庞大，导致内存峰值和操作不稳定
• 复杂的维护要求，频繁的依赖问题，由于缺少内存优化而导致的高运营开销，以及非简化的部署。

尽管努力改进标注和调优，但很明显，这种方法无法满足德国电信的扩展需求。

此外，由于大多数开发者和系统已经配备了 SDK 和熟悉的工具，因此强烈需要利用现有的工程资产。重点不再是从头构建全新的技术栈，而是转向使开发者能够在他们已经熟悉的工具和框架内构建 AI 智能体。这种方法让了解 API 和企业系统的领域专家能够快速开发 AI 智能体，而不会扰乱现有工作流。

认识到这一点，团队做出了一个大胆的决定：构建一个成熟的 AI 智能体 PaaS 平台，以简化开发并加速 AI 智能体的部署。

LMOS：德国电信面向企业 AI 的开源多智能体 AI PaaS

认识到 AI 驱动的平台需要深厚的工程严谨性，德国电信团队设计了 LMOS (Language Models Operating System)——一个专为高可扩展性和模块化 AI 智能体部署而设计的多智能体 PaaS。关键技术决策包括

• 选择 Kotlin 和 JVM，以确保熟悉现有德国电信系统的工程师能够轻松与 LMOS 集成。
• 放弃预构建框架，转而采用从零开始构建的、高度优化的、针对德国电信特定需求的解决方案。
• 提供类似 Heroku 的体验，工程师无需担心分类器、智能体生命周期、部署模型、监控和水平扩展。
• 企业级且灵活：LMOS 在构建时考虑了企业级的可扩展性、版本控制和多租户，同时还提供了集成来自其他框架（不仅限于基于 JVM 的解决方案）的智能体的灵活性，确保了跨多样化 AI 生态系统的互操作性。

“我们的工程师已经了解他们的 API——计费、购物、用户档案。为什么我们要引入只会使技术栈复杂化的新抽象？” Arun 指出，“此外，我设想我们正在构建我称之为智能体计算的基础，在大型语言模型（LLMs）之上塑造未来应用栈的角色。”

LMOS 架构在云原生环境中驱动 AI 智能体协作和生命周期管理。

为什么选择 Qdrant？为 LMOS 寻找合适的向量数据库

当德国电信开始寻找可扩展、高性能的向量数据库时，他们最初的选择遇到了操作挑战。寻求一个更适合其 PaaS 优先方法和多租户要求的解决方案，他们评估了多种替代方案，而 Qdrant 迅速脱颖而出。

“我一直在寻找拥有深厚技术专长的开源组件，”Arun 回忆道。“我看到 Qdrant，立刻就喜欢上了它的简洁性、基于 Rust 的高效性以及内存管理能力。这些人知道他们在做什么。”

团队围绕两个关键指标构建了评估体系

1. 定性指标：开发者体验、易用性、内存效率特性。
2. 操作简洁性：它如何很好地契合他们的 PaaS 优先方法和多租户要求。

德国电信的工程师还提到了几个突出特性，使 Qdrant 成为合适的选择

1. 操作简洁性——Qdrant 轻量级，无需过多的组件栈。
2. 开发者体验——库、多语言客户端和跨框架支持使集成无缝衔接。
3. WebUI 与集合可视化——工程师发现 Qdrant 内置的集合可视化工具非常有用。

作为评估的一部分，德国电信的工程师比较了多种解决方案，权衡了操作的简易性和可靠性。

一位工程师总结了他们的发现：“与另一个需要 Kafka、Zookeeper 且其索引和查询节点只有热备用的方案相比，Qdrant 的组件要少得多。如果你对其进行扩缩容，就会有停机时间。而 Qdrant 保持运行。”

在德国电信扩展 AI 与 LMOS 的未来

如今，搭载 Qdrant 的 LMOS 成为了德国电信 AI 服务的核心，处理了跨越三个国家的 200 多万次对话。开发新智能体所需的时间从 15 天减少到仅需 2 天。

随着 LMOS 现在成为 Eclipse 基金会的一部分，德国电信正在将其平台开放给更广泛的 AI 工程社区。Arun 预见到未来将有志同道合的开发者围绕 LMOS、Qdrant 和其他 AI 基础设施组件形成一个生态系统。

“对于希望构建自己 AI 智能体平台的企业来说，未来不仅仅在于 AI 模型，而在于可扩展、开放且有主见的（opinionated）基础设施。这正是我们已经构建的，” Arun Joseph 说。

您可以在 Arun 于 InfoQ Dev Summit Boston 发表的演讲中，了解更多关于德国电信 AI 智能体和他对 LMOS 的愿景。

观看 Arun 的直播

在此次 Vector Space 演讲中，来自 Qdrant 的 Thierry 和来自德国电信的 Arun 讨论了扩展企业级 AI 智能体的关键要求、核心 AI 技术栈考虑因素，以及团队如何构建一个平台即服务 (PaaS)——LMOS (Language Models Operating System)——一个专为高可扩展性和模块化 AI 智能体部署而设计的多智能体 PaaS。