释放AI潜力：Stanislas Polu 的见解
Demetrios Brinkmann
·January 26, 2024
Qdrant x Dust：向量搜索如何助力 Stanislas Polu 提升工作效率
“我们最终选择 Qdrant 是因为它开源、性能强大、用 Rust 编写、文档全面，以及那种掌控感。”
– Stanislas Polu
Stanislas Polu 是 Dust 的联合创始人兼工程师。他此前曾将一家公司卖给 Stripe，并在那里工作了 5 年，亲历公司从 80 人增长到 3000 人。随后他转向 OpenAI，研究大型语言模型和数学推理能力。六个月前，他创办了 Dust，旨在利用大语言模型提升工作效率。
您可以在 Spotify、Apple Podcast、Podcast addicts、Castbox 上收听本期节目。您也可以在 YouTube 上观看本期节目。
重点概要
对 SaaS 平台与 AI 在提高生产力方面的相互作用感到好奇？Stanislas Polu 深入探讨了企业数据管理、SaaS 工具的选择性使用以及定制 AI 助手在简化工作流程中的作用，同时分享了他在 Stripe、OpenAI 和其最新创业公司 Dust 的经历中获得的见解。
以下是您可以从收听中获得的 5 条宝贵信息
- SaaS 宇宙：Stan 将向您详细介绍为什么在 Salesforce 和 Slack 等不同的 SaaS 星系之间穿梭对于您业务数据的引力至关重要。
- API 扩展：了解如何拓展 API 的边界，纳入全球支付方式，从而改变公司增长的轨迹。
- 每颗星都配一个 Bot：发现如何创建针对性助手（而非通用助手），以在各种用例中大幅提升团队生产力。
- 技术望远镜背后：Stan 讨论了选择 Qdrant 作为其数据库宇宙的决策过程，包括是什么促使他们转变。
- 集成 AI 星尘：他们不只是谈论生成式 AI；他们正在积极指导公司如何有效利用它，注重实用性而非花哨。
趣事：Stanislas Polu 联合创办了一家公司，后来被 Stripe 收购，这让他有机会在 Stripe 与 Greg Brockman 共事。
节目笔记
00:00 关于令人兴奋的AI技术职业生涯的访谈。
06:20 大多数工作流程涉及多个SaaS应用。
09:16 询问与 Stripe 和 AI 相关的经历。
10:32 Stripe 致力于扩展全球支付方式。
14:10 文档插入支持层级结构以优化用户体验。
18:29 同领域竞争，亦是朋友。
21:45 工作空间解决方案、市场、模板和用户反馈。
25:24 避免给人虚假希望；要负责任。
26:06 模型调用、外部 API 调用、结构化数据。
30:19 复杂的旋钮，但一旦理解就非常强大。出色的支持。
33:01 公司会聘请专人来支持团队并寻找用例。
Stan 的更多引述
“你确实希望将数据精确地限定在信息所在的位置。这也是我们高度依赖 Qdrant 的地方，即向量搜索之上的索引能力。”
– Stanislas Polu
“我认为性能基准主要关注的是模型质量，即在检索增强生成背景下的答案质量。所以性能并非主要考量，但显然，性能很重要，这也是我们喜欢使用 Qdrant 的原因。”
– Stanislas Polu
“工作空间助手就像是管理员审核过的助手，默认情况下会推送到所有人。”
– Stanislas Polu
文字记录
Demetrios：好的，哥们儿，我想大家会想知道你的一切。这是我们计划了很久的对话。我很高兴能聊聊你最近在做什么。你在做一些很酷的事情方面经历了不少。你在 Stripe 的早期阶段待了很久，我想你当时在做很多有趣的机器学习项目，然后你转去 OpenAI 做研究，研究大语言模型和数学推理能力。最近你又开始创业了，追随潮流，创办了一家公司，正在用 AI 把很棒的东西推向市场。我想我们应该从你的背景开始。我刚才那个简短的介绍里漏掉了什么？
Stanislas Polu：好的，听起来不错。对，完美。你没怎么漏掉。也许唯一一点是，当前的这家公司 Dust 是我和 Gabrielle 一起创立的，她也是我的联合创始人，我们在十二年前或者十四年前一起创立了一家公司。
Stanislas Polu：我对年份记不太清了，那家公司最终被 Stripe 收购了。所以我们俩就是这样很早期就加入了 Stripe。我们加入时 Stripe 只有 80 人，一直到 2500 人，在那里有机会见到并与 Greg Brockman 一起工作。我就是这样在 Stripe 之后找到了去 OpenAI 的路，即使我不是受过专业训练的研究员，我也开始对 OpenAI 的研究产生了兴趣。
Stanislas Polu：我在 OpenAI 做了关于大型语言模型及其推理能力的研究，特别是大型模型的数学推理能力。从那里，18 个月前，我决定离开 OpenAI，动机很简单。基本上假设是：在 ChatGPT 出现之前，这些大语言模型已经极其强大，然而与它们的潜力相比，它们完全没有得到充分部署。因此，虽然研究仍然是一个非常活跃的领域，并且会成为整个生态系统的助推器，但在产品层面上可能还有很多工作要做，阻碍我们将这项技术部署到世界上的主要障碍，可能正处于产品层面，就像它处于研究层面一样。这就是 Dust 背后的假设，我们试图在产品层面探索模型与人类交互的意义，努力让他们更快乐，并在日常工作中赋予他们超能力。
Stanislas Polu：是的。当然，对于整个生态系统来说，这是一个助推器，但在产品层面可能有很多工作要做，阻碍我们将这项技术部署到世界上的主要障碍可能正在产品层面，正如它正在研究层面一样。这就是 Dust 背后的假设，我们试图在产品层面探索模型与人类交互的意义，努力让他们更快乐，并在日常工作中赋予他们超能力。
Demetrios：你说产品层面，能否稍微详细解释一下你的意思？
Stanislas Polu：嗯，基本上 Dust 有一个座右铭，那就是在达到 PMF（产品市场契合）之前不用 GPU。所以我们的想法是，虽然训练模型非常令人兴奋，微调和对齐模型也非常令人兴奋，但实际上在模型之上还有大量工作要做，不仅要尽可能最好地使用它们，还要真正找到对人类利用这项技术有意义的交互界面。所以我们今天基本上不自己训练任何模型。这有很多原因。首先，作为一家早期初创公司。这是一个引人入胜的主题和练习。作为一家早期初创公司，投入训练模型实际上是一项非常大的投资，因为即使计算成本不一定很高。它仍然是研发，而且是相当困难的研发。基本上是研究。我们对预训练的理解相当好。我们对微调的理解还不够好。
Stanislas Polu：我们认为更好的想法是真正尝试探索产品层面。我通常使用的比喻是，训练模型非常性感，令人兴奋，但你实际上是在建造一块小石头，它最终会被未来更大的模型的浪潮淹没。而在产品层面迭代并将自己定位在人类与这些模型之间的接口，更像是建造一块冲浪板，您可以用它来驾驭同样的浪潮。
Demetrios：我喜欢这个比喻，因为我是个冲浪爱好者，
Stanislas Polu：玩得很开心。
Demetrios：现在告诉我，你们是针对垂直领域吗？你们是针对市场的不同领域，还是市场的某个特定子集？
Stanislas Polu：你怎么看这个？对。基本上想法是关注企业内部的生产力。所以我们首先关注团队的内部使用。我们完全不追求外部使用。比如支持嵌入AI的产品，或者通过我们的用户将项目暴露给实际终端客户。所以我们确实专注于内部用例。所以你想做的第一件事。显然，如果你对企业内部的生产力感兴趣，你肯定会想要企业数据，对吧？因为否则，ChatGPT 等工具已经可以做很多事情了。但是，当你拥有公司内部数据的上下文时，可以做的事情会更多。这基本上就是我们正在关注的用例，我们正在押注，这是一个疯狂的赌注来回答你的问题，即目前保持相当程度的横向发展实际上是有价值的。这带来了很多风险，因为横向产品很难理解，也很难弄清楚如何使用它。但同时，现实是，当你在一个团队中工作时，即使你花很多时间在一个特定的应用上，比如销售用 Salesforce，工程师用 GitHub，客服用 Intercom，你大部分工作流程实际上涉及许多 SaaS，这意味着你在 Salesforce 花了很多时间，但你在 Slack 和 Notion 也花了很多时间，或者我们作为工程师在 GitHub 花了很多时间，但我们也经常使用 Notion 和 Slack 或者 Google Drive 等等。Jira。
Stanislas Polu：而所有这些东西。所以，跟随我们的用户，他们所在的地方要求我们能够访问这些不同的 SaaS，这也要求我们有一定的横向性。我们收到了一些信号，有点证实了这一立场，但我们仍然非常清楚这是一个有风险的立场。举例来说，当我们将自己与纯粹垂直化的其他解决方案进行基准测试时，在很多情况下我们实际上做得更好，因为我们可以访问公司内部所有重要的数据。
Demetrios：好样的 Jira。每个人都喜欢花时间在 Jira 上。
Stanislas Polu：是的。因此，基本上，跟随我们的用户所在地需要我们能够访问这些不同的 SaaS，这要求我们必须在一定程度上是横向的。我们有一些信号，这多少证实了我们这个定位，但同时我们也非常清楚这是一个冒险的定位。举例来说，当我们与那些纯粹垂直化的其他解决方案进行基准测试时，在许多情况下，我们实际上做得更好，因为我们可以访问公司内部所有重要的数据。
Demetrios：现在，当你能访问所有数据时，会有一个非常困难的问题，那就是数据泄露问题和数据访问问题。你如何尝试解决这个难题？
Stanislas Polu：是的，所以我们基本上专注于继续回答你的问题，通过另一个问题。我认为我们专注于少于 1000 人的科技公司。如果你想想大多数近期成立的、少于 1000 人的科技公司，在数据访问方面，公司内部出现了一波开放浪潮，这意味着依赖于复杂的访问控制列表（ACL）来管理内部数据的情况变得越来越少见了。你基本上通常会有信息孤岛。你有高管的信息孤岛，涉及薪酬、晋升阶梯等等，这类数据肯定不是我们涉及的。
Stanislas Polu：剩下的大部分数据，公司内所有员工都可以访问。所以这不是一个完美的答案，但这是我们今天采取的方法。我们对哪些数据进入 Dust 提供了很多控制，但一旦数据进入 Dust，并且这种控制非常精细，这意味着您可以选择特定的 Slack 频道，或选择特定的 Notion 页面，或选择特定的 Google Drive 子文件夹。
Stanislas Polu：但是一旦你决定将其放入 Dust，所有 Dust 用户都可以访问它。所以我们真的采用了精细 ACL 故事的“孤岛”视角。显然，如果我们要进军大型企业，那将成为一个非常大的问题，因为我认为企业越大，他们就越依赖复杂的访问控制列表。
Demetrios：我不得不问一下你和 Stripe 的渊源。你有没有专注于这方面的特定金融领域？首先想到的是那些与 Stripe 共生共长的电商公司。感觉他们有很多可以通过 AI 利用的用例，无论是他们的供应链，还是仅仅是为了获得更好的数字，或者从所有这些分散的数据中获得答案。你有没有考虑过这些？这是否影响了你最近做出的任何决定？
Stanislas Polu：不，不太是。并没有。我们加入 Stripe 时非常早期，那时它就是典型的 curl onechargers 编号 42. 42, 42。我说得有点夸张，但基本上 Stripe 当时就是这样。所以我在 Stripe 主要关注的是由我和我们的欧洲创始人加入一家相当以美国为中心的公司这一视角所驱动的，也就是说，不，不是世界各地都有信用卡。是的，还有其他支付方式。因此我在 Stripe 花费了大部分时间，就是试图扩展 API，使其不仅支持几种美国支付方式，而是支持全球多种支付方式。所以这需要 API 设计上的范式转变，这就是我大部分精力所在。我想尝试什么。
Stanislas Polu：不是美国支付方式，而是全球多种支付方式。这需要 API 设计上的范式转变，这就是我大部分精力所在。
Demetrios：好的，我的下一个问题是你谈到了横向解决方案的基准测试，令人惊讶的是，它在某些用例中更有效。我猜这就是为什么你对 Qdrant 以及我们在这里做的事情情有独钟的原因。
Stanislas Polu：是的，我认为基准测试主要关注的是模型质量，即在检索增强生成背景下的答案质量。所以性能并非主要考量，但显然，性能很重要，这也是我们喜欢使用 Qdrant 的原因。但我认为主要想法是，
Stanislas Polu：我刚才提到的是，这很有趣，因为如今检索存在噪声，因为嵌入器并不完美，这是一个很有意思的点。抱歉，我有点跑题了，不过我会回来。嵌入器确实不完美。嵌入器确实不完美。所以这很有趣。当 Qdrant 发布针对向量存储的优化时，它们显然带有警告，说你可能会因压缩等原因而损失精度。这很有趣，在各种检索和增强生成的世界里，这真的不重要。我们尽一切可能提升性能，因为向量数据库层面因压缩带来的向量精度损失，与嵌入器在文本正确嵌入能力上的巨大不完善相比，完全可以忽略不计。
Stanislas Polu：在正确嵌入文本的能力方面，因为它们极其强大，但远非完美。所以这很有趣，你可以在性能方面走得非常远，因为你的误差完全由你的嵌入质量决定。回到刚才的话题。我认为有意思的是，检索是带噪声的，主要原因在于嵌入器，并且模型也不完美。所以现实是，在 RAG 的背景下，更多数据不一定是更好的数据，因为检索会变得带噪声。模型会有点困惑，开始胡说八道，等等。所以恰当的权衡是，你想要访问尽可能多的数据，但同时又要让我们的用户能够非常精确地选择特定任务所需的数据。
Stanislas Polu：这就是我们的产品所做的，它能够创建专门针对特定任务的助手。助手的规范显然是一个提示，但同时也是说：“哦，我正在帮助销售人员寻找有趣的潜在客户。”你确实希望将数据精确地限定在信息所在的位置。这也是我们在这里高度依赖 Qdrant 的地方。所以，在向量搜索之上的索引能力，每当。
Stanislas Polu：当我们插入文档时，我们会尝试插入一个父级数组，以重现该文档来源的层级结构，这让我们能够创造非常好的用户体验，当您创建一个助手时，您可以说，“哦，我在 Notion 中下钻两级，我选择那个页面以及所有子页面都会一起来。”这在我们的规范中只是一行字符串，因为我们依赖于已经注入 Qdrant 的那些父级信息，然后 Qdrant 的搜索能够很好地处理像“这个东西必须在这些父级之下”这样的简单查询。
Stanislas Polu：您可以以此进行过滤，然后它就...
Demetrios：在 RAG 的评估中，似乎有两个层面。一是你检索的内容并评估检索效果，另一个是你提供给终端用户的输出。你如何解决这两个评估问题？
Stanislas Polu：是的，完全透明地说实话。我们没有，我们刚起步太早了。
Demetrios：嗯，很高兴你对我们如此诚实。
Stanislas Polu：这太棒了，我们应该做，但现状是我们有太多其他产品优先级，我认为评估检索质量，评估检索增强生成的质量。有常识很好，但常识很难定义，因为在这个领域研究了三年所产生的常识，可能比对这个领域一无所知所产生的常识要好。但基本上我认为有了常识，你可以走得很远，然后你会在边缘进行优化。现实情况是，如果你凭常识走得足够远，并且一切看起来都工作得相当好，那么你的优先级不一定是在提升 5% 的性能上，无论这个指标是什么。
Stanislas Polu：我有一百万个其他产品问题需要解决。这就是那种只有十个人的团队会给出的答案。随着我们成长，我们当然会优先把基准测试做得更好。在做得更好方面，这也是一个极其有趣的问题，因为嵌入（embedding）基准测试就是那样，我认为它们不一定总能很好地代表你的产品中的用例。所以这是你需要谨慎对待的事情。对你的用例进行基准测试是相当困难的。你拥有的解决方案以及看起来更合理的方案，是否值得在这上面花上整年时间。
Stanislas Polu：可能就是用另一个模型来评估检索效果，对吗？你记录下一些来自你产品的问题，使用你的产品数据，然后用这五个不同的嵌入器进行检索，然后让 GPT-4 来评估。这似乎是合理的，并且可能会让你向前迈进一步，虽然不完美，但可能已经足够强大，可以走得相当远。
Stanislas Polu：然后第二个问题是评估端到端的流程，包括检索和生成。说实话，今天这是一个众所周知的问题，因为 GPT-4 远超所有其他模型。
Stanislas Polu：评估它们没有意义。如果你接受使用 GPT-4，那就直接用 GPT-4。如果你想使用开源模型，那么这个问题就更重要了。如果由于多种原因你可以接受使用 GPT-4，那么在这个阶段就没有问题了。
Demetrios：那么我的下一个问题是，听起来你有点法国口音，你在欧洲某个地方。你在法国吗？
Stanislas Polu：是的，我们 base 在法国，团队在巴黎组建。
Demetrios：所以我刚才在想，你是不是更倾向于你在 OpenAI 的工作经历，还是你的法国圈子的朋友们？
Stanislas Polu：我的意思是，我们和 Mistral 是绝对的 BFF（最好的朋友）。有趣的是 Guillaume Lamp 是我的朋友，因为我在 OpenAI 时和他在 Meta 时，我们做的正是完全相同的主题。所以我们基本上是“亦敌亦友”。我们围绕着相同的指标和目标进行竞争，但也因此发展出了友谊。我们的平台与模型相当无关，所以我们支持 Mistral。然后我们决定为我们的用户设置默认值，今天我们显然将默认设置设为 GPT-4。我认为问题在于，今天没有问题，但当其他模型开始追赶 GPT-4 时，那将会
Stanislas Polu：是一个有趣的产品问题，希望 Mistral 能达到那个水平。我认为这绝对是他们的目标，希望今年能达到 GPT-4 的水平。所以那将会极其令人兴奋。是的。
Demetrios：那么你提到在你考虑评估之前，你还有很多其他的产品考量。其他考量有哪些？
Stanislas Polu：是的，就像我刚才提到的。主要假设是我们将提升公司生产力或团队生产力。我们需要公司数据。这基本上是零号假设。这甚至不是一个假设，几乎是一个公理。然后我们的第一个产品是像 ChatGPT 这样的对话式助手，它很通用，可以访问所有数据，但我们意识到它在很多用例上效果不够好，在一些用例上表现不错，但在许多其他方面不够出色。这就是我们提出的第一个有力的产品假设，那就是。所以我们想要有许多助手。不是一个助手，而是许多助手，专门针对特定任务。这就是自夏天结束以来我们一直在探索的。这个假设已经得到了我们用户的强烈证实。举例来说，我们面临的一个问题是，显然你想激活你的产品，所以你要确保人们正在创建助手。所以比 RAG 质量重要得多的是用户创建个人助手的能力。以前，只有工作空间助手，所以只有管理员或构建者可以创建。现在我们基本上，举例来说，已经实现了任何人都可以创建助手。助手仅限于他们自己使用，之后他们可以发布等等。说实话，对于我们来说，这类产品问题比 RAG 质量更重要，至少对我们而言是这样。
Demetrios：好的，快速问一下，发布给更广泛的用户群体，还是发布给公司内部使用？
Stanislas Polu：在工作空间内。好的。
Demetrios：不是说，“哦，我可以发布给…”
Stanislas Polu：我们还没走到那一步。每个工作空间内部都有很多工作要做。不过这是个有意思的案例，因为这是另一个大问题：你有一个横向平台，你可以创建一个助手，但你不是专家，你可能会想，“好吧，我该做什么？”这就是那种空白页面问题。
Stanislas Polu：所以提供模板、灵感，这些你可以在工作空间内设置，但你也需要为新创建的工作空间提供解决方案。也许一个市场是个好主意。或者提供模板等等，这些产品问题也比 RAG 性能重要得多。最后，Dust 在哪些用户那里运行得非常好，一个例子是法国的 Alan 公司，他们有 600 名员工，Dust 在那里运行得相当健康，并且他们创建了超过 200 个助手。所以另一个大的产品问题是，当你在一家公司获得牵引力时，人们开始被助手淹没。那么他们如何发现它们？他们如何知道应该使用哪个助手等等？这就是那种这类产品问题就是许多优先级别非常高的问题的例子，相比其他事情。
Demetrios：因为在这 200 个助手里，你是否看到很多人创建了相同的助手？
Stanislas Polu：这是个好问题。目前为止，这有点像是公司内部某人负责推动生成式 AI 所驱动的。所以我认为冗余不多，这很有趣，但我认为有很多长尾的内容主要是探索性的，但从我们的角度来看，很难区分这两种情况。显然，使用量是一个非常强的信号。但是，是的，按使用量显示助手，将正确的助手推送给正确的使用者。显然，这个问题与构建一个大语言模型相比，看起来完全是小事一桩。但是，当你加上产品层面时，需要大量的工作，作为一家初创公司，这正是我们投入大量资源的地方，我认为这是正确的做法。
Demetrios：是的，我在想，你可能已经考虑过这个问题了，但这是否就像你可以给它打标签，说这个产品或这个助手处于 Beta 或 Alpha 阶段，或者这个已经在生产环境，你可以相信这个是稳定的，诸如此类。
Stanislas Polu：是的。所以我们有共享助手的概念和工作空间助手的概念。工作空间助手就像是管理员审核过的助手，默认情况下会推送到所有人。然后已发布的助手就像是一个你可以访问的助手画廊，在那里，最强的信号可能就是使用量指标。对吧？
Demetrios：是的。所以当你谈论助手时，为了澄清，它们不是自主代理，是吗？
Stanislas Polu：不是。
Stanislas Polu：是的。这是个很好的问题。我们真的专注于一步到位，努力把一步到位的事情解决得很好。我有一个细粒度的任务要完成。我可以在这个任务上得到加速，或许可以在某个具体的事情上节省几分钟甚至十几分钟，因为这个的自主代理版本显然是未来。但现实是，目前的模型，即使是 GPT-4，在以可持续的方式（超出演示效果）串联工具使用决策方面，并没有那么出色。所以，虽然我们对未来充满希望，但这并不是我们的核心重点，因为我认为它带来的欺骗性风险可能大于任何其他东西。但这显然是我们未来会关注的目标，随着模型的提升。
Demetrios：是的。你也不想让人失望，让他们觉得某事是可能的，然后他们去查看，把事情完全交给代理处理，结果他们却发现自己被解雇了，因为代理并没有真正完成他们承诺要完成的工作。
Stanislas Polu：是的。我们今天不做的一件事是，我们有不同的方法将数据引入助手，然后再进行生成。我们正在扩展这一点。其中一个领域的用例是基于 Qdrant 的，也就是检索类用例。我们也有点像一个工作流系统，你可以在其中创建一个应用。一个大语言模型应用，你可以在其中进行。
Stanislas Polu：对模型进行多次调用，可以调用外部 API 进行搜索。我们正在深入研究的另一件事是结构化数据用例，这回不用 Qdrant，这个想法是，语义搜索很棒，但对于定量问题来说，它的表现真是糟糕透顶。基本上，典型的用例是，你某个地方有一个很大的 CSV 文件，它被分块，然后你进行检索。你得到的是一些无序的、部分的块，诸如此类。最重要的是，模型在计数方面非常糟糕。所以你得到的结果真的就是胡说八道，你知道吗。
Demetrios：你比任何人都清楚。
Stanislas Polu：是的，没错。过去的生活。输入垃圾，输出垃圾。基本上，我们正在研究是否能够在数据结构化时，实际存储。
Stanislas Polu：以结构化的方式存储它，并在需要时。即时生成一个内存中的 SQL 数据库，以便模型可以生成 SQL 查询来查询这些数据，并得到 SQL 答案，因此希望能更好地回答定量问题。最后，显然，下一步是我们已经集成了 Notion、Google Drive、Slack 等平台，基本上，我们可以在那里执行一些操作。我们不会直接执行这些操作，但我认为让模型准备一个操作很有趣，这意味着，“这是我准备好的邮件，发送它，或者和我一起修改”，或者“这是我准备好的 Slack 消息”，或者“这是我对 Notion 文档准备好的编辑”。
Stanislas Polu：这仍然不是代理式的，它更接近执行动作，但我们绝对希望保留人工介入。但这显然都在我们的路线图上。我们不支持的另一件事，也是我们将首先着手的一种操作类型，显然是代码解释，我认为这是所有用户都会要求的功能之一，因为他们在 ChatGPT 上使用过。所以我们也会考虑这一点。
Demetrios：是什么让您选择了 Qdrant？
Stanislas Polu：如果我没记错的话，决定是在去年二月或三月左右做出的。我当时考察的替代方案有 Pinecone、Weaviate，还有一些 ClickHouse，因为当时 Chroma 在使用 ClickHouse。但 Chroma 当时也只有 2000 行代码。所以当时我想，“哦，Chroma，我们是 AI Grant 的一部分。Chroma 也是 AI Grant 的一部分。”但是，如我所描述的，那时是去年，他们非常早期。所以这绝对不是一个对我们来说合理的选择。最后是在 Pinecone、Weaviate 和 Qdrant 之间选择。Weaviate 你看看文档，你会觉得，嗯，不行。然后最终是 Qdrant 和 Pinecone。我们显然很欣赏 Qdrant 的开源性质。
Stanislas Polu：从使用体验来看，它的性能非常强大，用 Rust 编写，文档清晰合理，而且基本上感觉，因为它是开源的（我们正在使用托管的 Qdrant 云解决方案），但这不是付费不付费的问题，更多的是一种能感觉到拥有更多控制权的感觉。当时，我认为正好是 Pinecone 犯下巨大错误的时候，他们删除了用户的无数数据库，所以我们一直在使用 Qdrant，我认为这真的是一个两步走的过程。入门非常顺畅，但到了这个阶段，Qdrant 也提供了很多“旋钮”需要调整。当你开始扩展规模时，你会达到某个点，需要开始调整旋钮。我认为这很棒，因为有很多旋钮，它们很难理解，但一旦你理解了它们，你就会看到它们的力量。Qdrant 团队在这方面给予了我们出色的支持。所以我们已经达到了第一个规模级别，需要调整旋钮，并且我们已经达到了第二个规模级别，需要有多个节点。但到目前为止一直非常顺利。我认为我们借助 Qdrant 能够做一些事情，而这些事情只有因为数据库出色的性能才成为可能。举例来说，我们没有使用你们的集群设置。我们有 n 个独立的节点。随着我们扩展规模，我们会有点重新分配用户到不同的节点上。尽量将我们最大的用户和付费最多的用户放在明确识别的节点上。举例来说，我们有一个“垃圾节点”专门放所有免费用户，即使是迁移一个非常大的集合，从一个节点。我们构建的一个能力是，比如，哦，我那里有个集合，挺大的。我会在另一个节点上启动，在两个节点上设置影子写入（shadow writing），然后实时迁移数据。
Stanislas Polu：这用 Qdrant 做起来非常容易，因为抓取很快，写入快得惊人。所以即使是一个相当大的集合，你也可以在一分钟内迁移完成。考虑到这一点，管理你的集群就变得非常可行了，我认为这在其他系统中可能就不可能做到了。
Demetrios：感觉就像当你帮助公司构建他们的助手时，你会去那里给他们关于他们可以做什么的点子吗？
Stanislas Polu：是的，我们正处于一个阶段，显然我们必须这样做，因为我认为产品基本上开始站稳脚跟了，但我认为它仍然非常早期，所以还有很多激活方面的工作要做，举例来说。所以我们今天处于一种模式，做那些无法规模化复制的事情。基本上，我们确实花了一些时间。
Stanislas Polu：显然是和公司一起，因为这是绕不过去的。但我们还看到，在 Dust 或任何其他与让人们在公司内部采用生成式 AI 相关的事情上，效果最好的用户是那些公司实际为这个问题分配了资源的公司，这意味着效果最好的公司是那些有专人的公司。他们的职责就是真正在公司内部走访，寻找用例，支持团队等等。在使用 Dust 的公司中，这种类型的接口对我们来说是完美的，因为我们为他们提供全面支持，并帮助他们构建他们认为对其团队有价值的任何东西。
Demetrios：你是否也必须扮演坏消息的传达者，告诉他们，“是的，我知道你在 Twitter 上看到了那个演示，但这实际上不可能实现，或者无法可靠地实现”？
Stanislas Polu：有趣的问题。这是个好问题。没有太多，因为我认为一个重要的经验是，你看看任何一家公司，即使是一家技术含量很高、相当年轻的公司，现实情况是，大多数人并不一定在这个生态系统中，他们只是想把事情搞定。他们很高兴能让电脑完成一些事情。他们不一定非要说，“哦，我想要在 Twitter 上看到的最新的那个闪闪发光的小玩意儿。”所以我们到目前为止还算安全，没遇到这种情况。
Demetrios：太好了。嗯，老兄，这次谈话太棒了。我非常感谢你来到这里做这次分享。太谢谢你了。如果有人想看看 Dust，我鼓励他们去看看。
Stanislas Polu：是 dust。
Demetrios：网站有点意思。是什么来着？
Stanislas Polu：Dust TT。
Demetrios：对了。我就是忘了那个，dust。就是那个。所以如果有人想了解一下，我鼓励他们去看看。非常感谢你来到这里。
Stanislas Polu：是的。
Stanislas Polu：而且 Qdrant 超赞。
Demetrios：这就对了。太棒了，伙计。这次谈话很愉快。
Stanislas Polu：嗯，谢谢，Vintu。祝你愉快。
