Dust 和 Qdrant：利用 AI 释放公司知识并提高员工生产力
曼努埃尔·迈耶
·2024年2月6日
人工智能的主要承诺之一是它有潜力提高企业的效率和生产力，从而赋能员工和团队的日常工作。由前 Open AI 研究工程师 Stanislas Polu 共同创立的法国公司 Dust，通过为企业和团队提供一个可扩展的平台来构建可定制且安全的 AI 助手，以兑现这一承诺。
挑战
Polu 说：“过去一年表明，大型语言模型（LLM）非常有用，但部署起来很复杂，”尤其是在其跨业务功能的应用背景下。这就是他认为大规模提高人类生产力的目标尤其是一个产品解锁，而不仅仅是一个研究解锁的原因，其目标是确定公司利用这些模型的最佳方式。因此，Dust 正在创建一个介于人类和大型语言模型之间的产品，重点是支持公司内部团队的工作，以最终提高员工生产力。
要充分利用 OpenAI、Anthropic 或 Mistral 等领先的 LLM 为员工和团队服务，一个主要挑战在于有效解决公司内部广泛的用例。这些用例通常性质非常通用且具有流动性，需要使用非常大的语言模型。由于这些用例的通用性，很难对模型进行微调——即使有财政资源和访问模型权重的权限。主要原因是“公司中可用的数据与微调这些大型模型所需的数据相比只是杯水车薪，”Polu 说，“这就是为什么我们认为检索增强生成是未来的发展方向，直到我们在微调方面取得更大进展。”
为了在员工生产力背景下成功实现检索增强生成 (RAG)，重要的是要能够访问公司数据并能够摄取被视为公司“共享知识”的数据。这些数据通常存在于组织内的各种 SaaS 应用程序中。
解决方案
Dust 为公司提供了核心平台，通过在整个组织中部署 LLM 并通过 RAG 提供上下文感知的 AI 助手，以实现其团队的生成式 AI 押注。用户可以在 Dust 中管理所谓的“数据源”，并上传文件或通过 API 直接连接以从 Notion、Google Drive 或 Slack 等工具中摄取数据。Dust 然后处理分块策略与嵌入模型并执行检索增强生成。
为此，Dust 需要一个向量数据库，并评估了包括 Pinecone 和 Weaviate 在内的不同选项，但最终决定选择 Qdrant 作为解决方案。“我们特别喜欢 Qdrant，因为它开源、用 Rust 编写，并且具有精心设计的 API，”Polu 说。例如，Dust 在其快速增长的需求背景下，寻求高度的控制和可见性，这使得 Qdrant 的开源特性成为选择 Qdrant 的关键驱动因素。此外，Dust 现有与 Qdrant 接口的系统是用 Rust 编写的，这使得 Dust 能够在库支持方面产生协同效应。
在用 Qdrant 构建解决方案时，Dust 采取了两步法
快速上手： 最初，Dust 希望快速上手，并选择了 Qdrant 的托管解决方案 Qdrant Cloud，以减少 Dust 端管理负担。此外，他们还在 Google Cloud 上创建并部署了集群，因为 Dust 希望这些集群直接在其现有的 Google Cloud 环境中运行。这增加了许多价值，因为它允许 Dust 集中计费并通过在同一 VPC 中运行实例来提高安全性。Polu 说：“早期设置开箱即用，效果很好。”
扩展和优化： 随着负载的增长，Dust 开始利用 Qdrant 的功能来调整设置以进行优化和扩展。他们开始研究如何映射和缓存数据，并应用 Qdrant 的一些内置压缩功能。特别是，Dust 利用了对 MMAP 负载阈值以及 标量量化的控制，这使得 Dust 能够更有效地管理将向量存储在磁盘上和将量化向量保存在 RAM 中的平衡。Polu 说：“这使我们能够在此基础上顺利扩展。”
成果
Dust 在使用 Qdrant 作为其首选向量数据库方面取得了成功，正如 Polu 所承认的那样：“Qdrant 处理大规模模型的能力以及它在数据管理方面提供的灵活性对我们至关重要。Qdrant 提供的可观测性功能，例如 RAM、磁盘和 CPU 的历史图表，也特别有用，使我们能够有效地规划扩展策略。”
Dust 能够使用 Qdrant 扩展其应用程序，同时在数十万个集合中保持低延迟，检索仅需毫秒，并保持高精度。此外，Polu 强调了 Dust 通过 Qdrant 获得的效率提升：“我们能够减少内存中向量的占用，这显著降低了成本，因为我们不必并行运行大量节点。在内存受限的情况下，我们能够通过量化进一步推动相同的实例。虽然在这种情况下 MMAP 会受到压力，但即使 RAM 完全使用，您也能保持非常好的性能。通过这种方式，我们将成本降低了 2 倍。”
展望
Dust 将继续构建其平台，旨在成为公司执行其内部 GenAI 战略、释放公司知识和提高团队生产力的首选平台。在未来几个月，Dust 将增加更多连接，例如 Intercom、Jira 或 Salesforce。此外，Dust 还将扩展其结构化数据功能。
要了解更多关于 Dust 如何使用 Qdrant 帮助员工日常工作的信息，请查看我们由 Dust 联合创始人 Stanislas Polu 主讲的 向量空间讲座。
