Dust 和 Qdrant：利用 AI 释放公司知识，提升员工生产力
Manuel Meyer
·2024年2月6日
人工智能的主要承诺之一在于其提升企业效率和生产力的潜力，赋能员工和团队完成日常任务。由前 Open AI 研究工程师 Stanislas Polu 联合创立的法国公司 Dust，致力于通过为企业和团队提供一个构建可定制、安全 AI 助手的广阔平台来实现这一承诺。
挑战
“过去一年表明，大型语言模型（LLMs）非常有用，但部署复杂，”Polu 说道，尤其是在其应用于各种业务职能的背景下。这就是他认为大规模提升人类生产力的目标尤其是一个产品突破，而不仅仅是研究突破的原因，其目标是确定公司利用这些模型的最佳方式。因此，Dust 正在创建一个介于人类和大型语言模型之间的产品，重点在于支持公司内部团队的工作，最终提高员工生产力。
充分利用 OpenAI、Anthropic 或 Mistral 等领先 LLMs 为员工和团队服务的一个主要挑战在于如何有效应对公司内部广泛的用例。这些用例通常具有非常通用和灵活的性质，需要使用非常大的语言模型。由于这些用例的通用性，即使拥有财务资源和模型权重访问权限，也很难对模型进行微调。主要原因是，“公司内部可用的数据与对如此大的模型进行相应微调所需的数据相比，只是杯水车薪，”Polu 说，“这就是为什么我们认为，在微调技术变得更好之前，检索增强生成（RAG）是前进方向”。
对于在员工生产力背景下成功实现检索增强生成（RAG），重要的是获取公司数据并能够摄取被视为公司“共享知识”的数据。这些数据通常存在于组织内的各种 SaaS 应用中。
解决方案
Dust 为公司提供了核心平台，以通过在组织内部署 LLMs 并通过 RAG 提供上下文感知 AI 助手，为其团队实现 GenAI 目标。用户可以在 Dust 中管理所谓的“数据源”，上传文件或通过 API 直接连接到工具（如 Notion、Google Drive 或 Slack）来摄取数据。然后，Dust 利用嵌入模型处理分块策略，并执行检索增强生成。
为此，Dust 需要一个向量数据库，并评估了包括 Pinecone 和 Weaviate 在内的不同选项，最终选择了 Qdrant 作为解决方案。“我们特别喜欢 Qdrant，因为它开源、用 Rust 编写，并且拥有精心设计的 API，”Polu 说。例如，面对快速增长的需求，Dust 正在寻求高度的控制和可见性，这使得 Qdrant 的开源特性成为选择 Qdrant 的关键驱动因素。此外，Dust 现有的与 Qdrant 交互的系统是用 Rust 编写的，这使得 Dust 能够在库支持方面产生协同效应。
Dust 在使用 Qdrant 构建解决方案时，采用了两步法
快速入门： 最初，Dust 希望快速开始，因此选择了 Qdrant 的托管解决方案 Qdrant Cloud，以减轻 Dust 的管理负担。此外，他们还在 Google Cloud 上创建并部署了集群，因为 Dust 希望这些集群直接在其现有的 Google Cloud 环境中运行。这带来了很多价值，因为它允许 Dust 集中计费并通过实例位于同一 VPC 内来提高安全性。“早期的设置开箱即用，运行良好，”Polu 说。
扩展和优化： 随着负载增加，Dust 开始利用 Qdrant 的功能来调整设置以实现优化和扩展。他们开始研究如何映射和缓存数据，并应用 Qdrant 的一些内置压缩功能。特别是，Dust 利用了对 MMAP payload 阈值的控制以及标量量化，这使得 Dust 能够更有效地平衡向量在磁盘上的存储和量化向量在内存中的保留。“这使我们能够在此基础上顺利扩展，”Polu 说。
结果
Dust 在使用 Qdrant 作为首选向量数据库方面取得了成功，Polu 承认：“Qdrant 处理大规模模型的能力以及其在数据管理方面的灵活性对我们至关重要。Qdrant 提供的可观测性功能，例如 RAM、磁盘和 CPU 的历史图表，也特别有用，使我们能够有效地规划扩展策略。”
Dust 能够借助 Qdrant 扩展其应用，同时在数十万个集合中保持低延迟（检索仅需几毫秒）和高准确性。此外，Polu 强调了 Dust 借助 Qdrant 实现的效率提升：“我们能够减少向量在内存中的占用，这显著降低了成本，因为我们不必并行运行大量节点。在内存受限的情况下，我们能够借助量化技术进一步利用相同的实例。在这种情况下，尽管 RAM 完全使用，但 MMAP 会受到压力，不过性能仍然非常好。通过这种方式，我们成功将成本降低了 2 倍。”
展望
Dust 将继续构建其平台，旨在成为公司执行内部 GenAI 战略、释放公司知识和提升团队生产力的首选平台。未来几个月，Dust 将增加更多连接，例如 Intercom、Jira 或 Salesforce。此外，Dust 将扩展其结构化数据处理能力。
要详细了解 Dust 如何使用 Qdrant 帮助员工处理日常任务，请查看我们由 Dust 联合创始人 Stanislas Polu 主讲的向量空间讲座。
