生命科学公司洞察生成平台 - Hooman Sedghamiz | 向量空间对话

“最近出炉了一份非常棒的向量数据库对比。我看到在2024年，可能有超过40个向量存储库。而我们在2023年刚开始时，只有几个。我认为，在检索增强生成这个流程中，真正缺乏的是围绕数据管道的重大创新。”
– Hooman Sedghamiz

Hooman Sedghamiz，拜耳股份公司（Bayer AG）AI/ML - 洞察高级总监，是生命科学领域人工智能和机器学习领域的杰出人物。凭借多年的经验，他领导的团队和项目极大地推进了医疗产品的发展，包括植入式和可穿戴设备。值得注意的是，他曾担任拜耳制药的生成式 AI 产品负责人和高级总监，在开发基于 GPT 的精准医疗中央平台方面发挥了关键作用。

2023年，他担任 EMNLP 2023 GEM 工业方向的联合主席，进一步贡献于该领域。Hooman 也曾在加州大学圣迭戈分校担任 AI/ML 顾问和科学家，利用其在深度学习方面的专业知识推动生物医学研究和创新。他的优势在于指导数据科学项目从概念到商业化，并通过 MLOps、LLMOps 和深度学习产品管理弥合医疗保健应用的差距。Hooman 与研究机构合作，并与哈佛大学和 UCSD 的 Nemati 博士密切合作，持续活跃于数据科学社区并发挥重要影响。

请在 Spotify、Apple Podcast、Podcast addicts、Castbox 上收听本期节目。您也可以在 YouTube 上观看本期节目。

要点

为什么实时评估对于维护聊天机器人交互的完整性、防止推广竞争对手或做出虚假承诺等问题至关重要？开发人员采用哪些策略来最大限度地降低成本，同时最大程度地提高模型评估的有效性，尤其是在处理大型语言模型时？这些可能只是行业内人们问自己的众多问题中的一部分。我们的目标是在本次对话中涵盖大部分这些问题。

收看他们的对话，他们深入探讨了 AI 聊天机器人评估的世界。了解如何确保您的聊天机器人在各种指标上的质量和持续改进。

以下是本期节目的主要议题

1. 评估聊天机器人有效性：探索评估聊天机器人在各个阶段质量的系统方法，包括检索准确性、响应生成和用户满意度。
2. 实时评估的重要性：深入了解为什么对聊天机器人进行持续和实时评估对于维护完整性并确保它们按设计运行而不促进不良行为至关重要。
3. 系统受损的指标：了解识别表明系统可能容易被“越狱”的行为的重要性，以及通过 API 集成应对这些行为的方法。
4. 经济高效的评估模型：讨论使用较小模型进行评估以降低成本，同时不损害分析深度，重点关注失败案例和根本原因评估。
5. 定制评估指标：强调根据特定用例需求定制评估标准的重要性，包括探索适用于不同场景的不同指标。

趣味事实：大型语言模型，如 Mistral、Llama 和 Nexus Raven，在执行函数调用方面的能力有所提高，幻觉少，输出质量高。

节目笔记

00:00 拜耳股份公司介绍
05:15 药物发现、临床试验预测、医疗虚拟助理。
10:35 Llama 等新语言模型可与 GPT 3.5 媲美。
12:46 大型语言模型解决方案、高效技术、开源。
16:12 针对多样化、个性化模型扩展应用。
19:02 开源提供多语言嵌入。
25:06 稳定性提高，可靠的函数调用能力出现。
27:19 平台旨在提高效率，衡量影响。
31:01 构建知识发现工具，衡量价值
33:10 总结

Hooman 的更多引言

“我认为（创新）一直集中在向量存储库上。所以很多初创公司都围绕向量存储库这个想法涌现出来，但我认为真正缺乏的是处理大量知识和信息来源的工具。”
– Hooman Sedghamiz

“你现在可以看看，它们的性能真的非常接近，甚至在同一水平上已经优于 GPT 3.5，并且正一步步逼近 GPT 4。”
– Hooman Sedghamiz 谈语言模型的进步

“我认为最大的，我认为尚未开发的潜力，在于你何时可以进行科学发现和所有那些更具挑战性的应用，而不仅仅是围绕效率等方面的问题。”
– Hooman Sedghamiz

文字记录

Demetrios: 我们在这里，我想不出还有什么比和你 Hooman 一起度过情人节更好的方式了，这真是太不可思议了。我为你即将带来的这次演讲感到非常兴奋，我想让所有正在收听的人知道我们今天邀请到的演讲者的水平，因为你做了很多事情。各位，不要被这位年轻人的外表所欺骗。你看起来不像五十多岁或六十多岁。但看看你的简历，你看起来应该有七十多岁了。我非常兴奋。你在运行数据科学项目、机器学习项目、大型语言模型项目以及所有这些有趣的事情方面经验丰富。你在拜仁慕尼黑工作，哦不，对不起，不是拜仁慕尼黑，是拜耳股份公司（Bayer AG）。你是人工智能和机器学习高级总监。

Demetrios: 我认为你在机器学习、人工智能方面还做了很多其他事情。我认为你既有传统的机器学习背景，又有这个新的生成式人工智能背景，所以你可以两者兼顾。但你也以数据工程的方式思考问题。你了解整个生命周期。所以今天我们可以好好聊聊所有这些有趣的事情。我知道你准备了一些幻灯片。我会让你把它们放上来，同时我也鼓励聊天中的其他人随时提问，我会在需要时插进来打断他们。

Demetrios: 但我们也可以在播放几分钟幻灯片后进行一些讨论。所以请大家期待，我们将观看这个，然后我们将真正讨论2024年企业中的人工智能是什么样的，以及真正利用它需要什么。Hooman，我把舞台交给你了，老兄，我会在需要时插进来。

Hooman Sedghamiz: 非常感谢你的介绍。我们开始吧。你已经看到我的屏幕了吗？

Demetrios: 是的，我们看到了。

Hooman Sedghamiz: 好的，太好了。好的，希望我能切换幻灯片。是的，如你所说，首先非常感谢你和我一起度过这一天。我知道今天是情人节，至少在美国，到了情人节人们会很疯狂。但我知道你们很多人可能热爱大型语言模型、语义搜索以及所有这些东西，所以很高兴你们能来。让我先从……顺便说一句，我有很多幻灯片，但也许我可以先简单介绍一下我工作的公司，他们做什么，以及我们在像拜耳这样的生命科学公司做什么，拜耳真正涉及人类的主要需求，对吧？所以健康和食物链，以及农业，我们在公司有三个主要的产品或部门，主要是消费者健康产品，也就是你们很多人可能服用过的非处方药，阿司匹林，所有那些好东西。我们有作物科学部门，致力于确保作物产量高，食物链正常运转，还有制药部门，专注于治疗和预防。

Hooman Sedghamiz: 所以现在你可以想象，拜耳对我们来说非常重要，因为它有潜力开启一个健康成为现实、饥饿成为回忆的未来。所以也许我可以先给你们一些关于人工智能可以在生命科学行业帮助解决的众多用例或挑战的提示。你可以想想不良事件检测，当病人服用过多药物时。病人可能会报告不良事件，比如胃出血，并在社交媒体上发帖。几年前，自动处理所有这些自然文本并以可扩展的方式进行处理非常困难。但现在，由于大型语言模型的出现，可以自动化这一过程，并识别是否有药物或任何东西可能对病人群体产生负面影响或不良事件。同样，现在可以使用这些大型语言模型为产品创建大量营销内容。

Hooman Sedghamiz: 同时，药物发现正在取得巨大进展，尤其是在识别新化合物方面。本质上，你可以使用像 SMILES 这样的格式描述这些化合物，它们可以被表示为真实文本。然后，这些大型语言模型可以在其上进行训练，并预测序列。同时，还有临床试验结果预测，这对于制药公司来说至关重要。如果能够预测临床试验的结果，将为许多公司节省大量时间和资源。当然，我们很多人已经在市场上看到许多使用大型语言模型的医疗虚拟助手，它们可以回答医疗咨询并提供相关建议。而且我认为这里最大的潜力在于真实世界数据，就像我们大多数人现在都拥有某种传感器或手表，可以每分钟监测我们的健康状况，或者监测我们的心率。你去了医院，你有所有的医疗记录在那里，这些大型语言模型有能力处理这些复杂的数据，你将能够为病人获得更好的、个性化的见解。

Hooman Sedghamiz: 如我之前提到的，我们公司也在作物科学领域，以及作物产量预测。如果你能帮助农民提高作物产量，这意味着他们可以更快地生产更高质量的更好产品。所以也许我可以先从2023年发生的一些历史事件开始，像我们这样的公司如何看待大型语言模型和它们带来的机会。我认为在2023年，每个人都对提高效率感到兴奋，对吧？每个人都想用它们来创建内容、起草邮件，所有这些唾手可得的用例。其中一个我非常喜欢的早期非常好的架构，我认为是在2023年非常非常早的时候，来自 A16z Enterprise。LangChain 是新的，我们有了 LangChain，我们有了所有这些。当然，Qdrant 已经存在很长时间了，但这是第一次看到向量存储库产品可以大规模集成到应用程序中。

Hooman Sedghamiz: 确实规模庞大。它包含不同的组件。这是一个相当复杂的架构。在右侧，您可以看到如何托管大型语言模型。在顶部，您可以看到如何使用外部数据增强它们。当然，我们有这些插件，对吧？因此，您可以将这些大型语言模型与 Google 搜索 API 等连接起来，以及中间的一些验证，您可以使用这些验证来快速验证响应。快进到未来。也许我可以花几分钟时间，让我看看时间。也许我可以花几分钟谈谈大型语言模型 API 和托管的组件，因为我认为这在需要真正可扩展的应用方面具有巨大的潜力。

Hooman Sedghamiz: 简单来说，就我的公司而言，我们在全球几乎所有地方拥有约100,000名员工。人们使用的语言非常多样化。因此，构建一个能服务200,000人且高效、成本不高、等等的应用变得非常困难。所以也许我可以花几分钟时间谈谈这意味着什么，以及大型公司如何有效地解决这个问题。当然，我们有开箱即用的解决方案，对吧？您已经有面向企业的 Chat GPT，您也有来自微软和其他公司的 Copilot 等产品。但它们通常是基于席位的，对吧？您需要支付订阅费，就像 Spotify 一样，您每月支付约20美元、30美元，平均介于20到60美元之间。对于像我这样的公司来说，如果您为3000人计算，这意味着每月180,000美元的订阅费。

Hooman Sedghamiz: 我们知道大多数用户不会使用那么多。我们知道这是一个基于使用的应用程序。您可能只是去那里，根据您的日常工作，您可能会使用它。有些人不会大量使用。我做了一些计算。如果您使用可以自行访问的 API 以及公司可以内部和本地部署的大型语言模型来构建它，那么成本节约将是巨大的，真的可以便宜很多倍，也许便宜20到30倍。所以，与2023年相比，2024年发生了很多变化。

Hooman Sedghamiz: 就像你看看涌现出来的那些开源大型语言模型，Mistral 推出的非常棒的模型，现在我们有了基于 Llama、Llama 2 的模型，所有这些模型都出来了。你现在可以看看，它们的性能真的非常接近，如果不是比 GPT 3.5 更好，已经在同一水平，并且正一步步逼近 GPT 4。再看看右侧的价格和速度或吞吐量，你会发现，例如，Mistral 7B 可以是一个非常便宜的选择来部署。而且它在许多企业用例中的性能非常接近 GPT 3.5。我认为今年年底，或者说去年年底，出现了两个大变化，让这一切真正成为现实。那就是一些大型语言模型。我不知道我是否能称它们为大型语言模型。它们大约在70亿到130亿参数，相比 GPT 4、GPT 3.5。我认为它们并非真正意义上的大型模型。

Hooman Sedghamiz: 但其中一个是 Nexus Raven。我们知道，如果应用程序要健壮，它们确实需要函数调用。我们正在看到这种函数调用的范式，本质上是要求语言模型生成结构化输出，你给它一个函数签名，对吧？你要求它为该函数生成一个结构化输出参数。Nexus Raven 去年就出来了，正如你在这里看到的，它正非常接近 GPT 4，对吧？而 GPT 4 的规模比这个模型大几个数量级。这个模型只有130亿参数，却提供了非常低的幻觉，同时函数调用质量非常高。所以这让我对开源以及那些想构建需要函数调用的自有应用程序的公司感到非常兴奋。这在大概五个月前是真正缺乏的。同时，我们也有专门用于编程语言或脚本语言的大型语言模型，比如 SQL，我们也看到像 SQL Coder 这样的模型已经打败了 GPT 4。

Hooman Sedghamiz: 那么，也许我们现在可以快速看看对于像我们这样的大公司来说，模型的解决方案会是什么样子，像那些在全球拥有大量员工的公司，在这一方面，社区也取得了巨大的进步，对吧？我们有 Hugging Face 的 Text Generation Inference，它是开源的，大部分情况下可以使用，也是我和我的团队可能更喜欢的选择。但我们有 Olama，它很棒，很多人都在用。我们有 Llama CPP，它确实优化了大型语言模型以便进行本地部署，也支持边缘设备。看到树莓派运行大型语言模型，我真的很惊讶，对吧？使用 Llama CPP。而且你还有 Text Generation Inference，它支持量化，持续批处理，所有这些特性使得这些大型语言模型更加量化或更压缩，也更适合部署给大量用户。也许我可以给你们一个简要的总结，如果你决定部署这些大型语言模型，你可以使用什么技术来使它们更高效、成本更友好、更可扩展。所以我们有很多优秀的开源项目，比如 Lite LLM，它本质上在你部署的大型语言模型之上创建了一个 OpenAI 的签名。假设你想使用 Azure 或 OpenAI 来访问 GPT 4、GPT 3.5 或 OpenAI API。

Hooman Sedghamiz: 为了访问这些，您可以将它们放在 Lite LLM 后面。您可以使用 Hugging Face 部署在内部的模型，您可以将 Lite LLM 放在它们前面，然后您的应用程序就可以使用 OpenAI Python SDK 或任何其他方式自然地调用它们。然后您可以简单地在它们之间进行负载均衡。当然，如我所提到的，我们现在也有很多用于部署这些模型的服务机会，您可以对其进行加速。语义缓存是另一种节约成本的机会。例如，如果您有 Qdrant，您正在存储对话。您可以语义检查用户是否问过类似的问题，如果该问题与历史记录非常相似，您可以直接返回该响应，而不是调用可能会产生费用的大型语言模型。当然，您还有 LangChain，可以总结对话等等。

Hooman Sedghamiz: 而且我们有像 Prompt Compression 这样的技术。正如我所提到的，这种负载均衡可以为扩展大型语言模型提供很多机会。正如您所知，OpenAI API 或 Microsoft Azure 的许多产品都有速率限制，对吧？所以您不能大量调用这些模型。因此，您可以怎么做呢？您可以在多个区域部署它们，您可以拥有多个 API，使用 Hugging Face TGI 部署本地 TGI 模型，或者拥有 Azure 端点和 OpenAI 端点。然后您可以使用 Lite LLM 在这些模型之间进行负载均衡。一旦用户进入，对吧。用户一，您将用户一发送到一台部署，您将用户二的请求发送到另一台部署。

Hooman Sedghamiz: 这样你就可以真正将你的应用扩展到大量用户。当然，我们也有一些应用机会叫做 Lorex，它使用了 Lora。你们中的许多人可能听说过它是一种非常高效的方式，用更少的参数微调这些模型，我们可以利用它为许多应用创建真正个性化的模型。你会看到成本根本无法相比，如果你想使用它，对吧。所以即使在性能等方面，也无法与 GPT 3.5 相比，因为你可以使用非常小的硬件 GPU 来部署数千个 Lora 权重或适配器，然后你就可以为你的用户提供多样化的模型集合。我认为这类应用中一个非常重要的部分是你添加上下文数据，你添加增强功能，使它们更智能，更及时。例如，在医疗保健领域，许多美国人已经对人工智能在医疗决策方面的信任度不高。这就是为什么数据增强或大型语言模型的增强对于建立信任和将所有这些最先进的知识带给大型语言模型至关重要。

Hooman Sedghamiz: 例如，如果你问关于癌症的问题，或者需要建立在科学知识基础上的专门问题，使用这些增强或检索增强生成是非常重要的。不，对不起，下一个。跳过了一个。但是让我看看。我认为我漏了一张幻灯片，但是是的，我这里有。所以通过这种，比如说，检索增强生成，它的不同部分。你当然有这些向量存储库，在2024年，我看到向量存储库爆发式增长。

Hooman Sedghamiz: 对。最近出炉了一份非常棒的向量数据库对比。我看到在2024年，可能有超过40个向量存储库。而我们在2023年刚开始时，只有几个。我认为，在检索增强生成这个流程中，真正缺乏的是围绕数据管道的重大创新。而且我认为我们在这场对话之前也聊过，ETL 至今没有被认真对待。到目前为止，我们有很多嵌入模型，可能每周都有新的出来。

Hooman Sedghamiz: 我们有很棒的开源嵌入模型，BgEM. Three 就是一个多语言模型，支持100多种语言。你可以在这些语言中嵌入文本。我们有很多向量存储库，但我们没有真正的 ETL 工具，对吧？所以我们可能有一些 Airbyte，对吧？你如何有效地重新索引数据？你如何解析科学论文？想象一下我这里有一张图片，我们有这些发表在 ArXiv 或 PubMed 等上的文章，它们包含图片和复杂的结构，我们的解析器无法高效地解析它们并理解它们，以便你可以很好地嵌入它们。而且真正做到互联网级别、科学级别的检索非常困难。我认为目前还没有人能大规模地做到这一点。我刚刚跳了一下，我有很多幻灯片，也许我可以跳到最后一张，然后我们可以暂停一下，回答一些问题。我看到2024年及以后，大型语言模型在企业中的发展方向，我看到的是助手，对吧？我看到针对不同用例的个性化助手正在涌现，对吧？这些可能包含四个组件。

Hooman Sedghamiz: 你甚至拥有一个个性化的大型语言模型，它不仅可以通过增强方式，还可以通过学习你的对话历史来改进。也许你可以使用 Lora 和所有这些技术对其进行微调。你拥有的知识可能需要为你的助手进行定制，并使用向量存储和其他所有我们拥有的技术进行集成。你知道，插件带来了很多插件，有些人称它们为技能，它们也可以涵盖很多 API，这些 API 可以赋予大型语言模型超能力，以及多代理设置。对。我们有 Autogen，还有很多正在进行的很酷的事情。随着时间的推移，代理技术正在变得越来越成熟。我们有 Langchain 的 LangGraph，它带来了更多稳定的代理技术。然后你可以想象公司构建这些应用程序商店或助手商店，用例存储在那里。同事可以去那里搜索。

Hooman Sedghamiz: 我在找这个应用程序，这个应用程序是为他们定制的，或者甚至他们可以拥有自己的助手，这是为他们自己定制的，他们自己的大型语言模型，他们可以用它来带来价值。然后即使是一个非技术人员也可以创建他们自己的助手。他们可以附上他们喜欢的文档，他们可以选择他们喜欢的插件，他们希望连接到哪里，例如，连接到 archive，或者他们需要连接到 API 以及你想要多少代理。你想建立一个营销活动，也许你需要一个做市场研究的代理，一个经理。然后你就建立了一个为你定制的应用程序。然后根据你的反馈，大型语言模型也可以从你的反馈中学习。 आगे चलें, शायद मैं यहीं रुक जाऊं और फिर हम आगे बढ़ें। यह मेरी अपेक्षा से थोड़ा लंबा था, लेकिन हां, सब ठीक है। (Note: The last sentence "आगे चलें, शायद मैं यहीं रुक जाऊं और फिर हम आगे बढ़ें। यह मेरी अपेक्षा से थोड़ा लंबा था, लेकिन हां, सब ठीक है।" appears to be in Hindi. I will translate the English version which is implied by the context.) 前进，也许我可以在这里暂停一下，然后我们可以……这比我预期的要长一点，但是，是的，没问题。

Demetrios: 是的，这很酷。非常酷。感谢你介绍了这些，我也感谢你从过去，从2014年穿越回来谈论我们将在2024年要做的事情。太棒了。所以我想立刻深入探讨的一件事是 ETL 的概念，以及你为什么觉得它有点像一个障碍，以及你认为我们可以在哪里改进。

Hooman Sedghamiz: 是的。我认为，（创新）一直集中在向量存储库上。对。所以很多初创公司都围绕向量存储库这个想法涌现出来，但我认为真正缺乏的是处理大量知识和信息来源的工具。你有你的 Gmail，如果你用 Outlook，如果你用科学知识，比如 ArXiv 这样的来源。我真的没有听说有任何一家初创公司说：好的。我有一个平台，可以实时检索 ArXiv 上的论文。

Hooman Sedghamiz: 而且你想问一个问题，例如关于 transformer。它可以根据 ArXiv 上所有正在发表的论文进行检索增强生成，并且在它们被添加时实时进行，然后将答案返回给你。我们没有这个。我们没有这些同步工具。当然，你可以用一些技巧来构建一些智能解决方案，但我没有看到很多这方面的倡议。同时，我们还有这个付费墙的知识。所以我们有这些令人惊叹的 Nature Medicine 论文，它们是付费墙的。我们无法访问它们。

Hooman Sedghamiz: 对。所以我们还不能围绕它们构建 RAG，但也许一些初创公司可以开始提出策略，与这类出版公司合作来构建这类东西。

Demetrios: 是的，这几乎就像你认为这不仅仅是 Nature 或...

Hooman Sedghamiz: 也许他们可以做。

Demetrios: 是的，他们可能有潜力，但这可能不是他们的核心业务，所以他们不想做。那么初创公司如何介入并获取这些付费信息，并将其纳入他们的产品中呢？还有你提到的另一件事，关于使用代理，我想知道，你有没有大量使用过它们？你有没有看到它们的可靠性变得更好？因为我相当确定我们许多人尝试过摆弄代理，也许只是在 GPT-4 API 调用上花了一大笔钱。然后就觉得这东西不太稳定。发生了什么？所以你知道我们不知道的东西吗？

Hooman Sedghamiz: 我认为它们变得越来越稳定了。如果你回顾2023年，比如6月、7月，它们还是非常新的，比如 AutoGPT。我们当时推出了所有这些新项目，但正如你所说，它们并没有真正奏效，它们不稳定。但我会说，到2023年底，我们有了非常稳定的框架，例如围绕代理函数调用的定制解决方案。我认为，当函数调用出现时，那种你可以提供签名或函数文档字符串，并且可以可靠地获得响应的能力，我认为这改变了很多。而且 LangChain 有这个 OpenAI 函数调用代理，它在某些方面运行良好。我的意思是，当然，我不会说你可以100%自动化某个东西，但对于知识类的东西来说。

Hooman Sedghamiz: 所以，例如，如果你有一个能够访问数据源等的代理，你要求它出去看看最新的临床试验设计趋势是什么，它可以调用这些工具，现在它能够可靠地给你答案，十次里有八次是有效的。现在它已经变得非常稳定了。让我感到兴奋的是最新的多代理场景，我们正在测试它们。它们非常有前景。对。所以你有来自 Microsoft 平台的 Autogen，它是开源的，你还有 LangChain 的 LangGraph，我认为这些框架正变得非常稳定。我的预测是，在接下来的几个月里，很多很多应用将依赖于代理。

Demetrios: 所以你也提到了如何识别一个项目是成功还是失败。考虑到你可以接入人工智能的领域实在太多了，特别是当你看看拜耳，以及所有那些你可以说“哦，是的，我们可以给这里添加一些人工智能”的地方。你如何设定指标，从而知道哪些是值得继续投入的，而哪些可能听起来像个好主意，但在实践中并没有那么好？

Hooman Sedghamiz: 是的，这取决于你正在构建的平台。对。所以我们从2023年开始的时候，平台的目的是为了提高效率，对吧？所以你如何让我们的同事更高效？他们能在日常工作中更快完成任务，比如把那些无聊的事情委派出去，像你想总结一份文件，或者你想创建一个演示文稿，所有这些事情，而且你有一些衡量标准，例如，你可以问，好的，你已经使用这个平台几个月了。告诉我们你在日常工作中节省了多少小时。而且我们真的看到了转变，对吧？我们做了一个问卷调查，我认为我们看到了在节省时间、日常工作等许多方面都有很多转变，这是可以衡量的。这就像你可以然后将其转化为它给企业或公司带来的价值。而且我认为最大的，我认为尚未开发的潜力，在于你何时可以进行科学发现和所有那些更具挑战性的应用，而不仅仅是围绕效率等方面的问题。然后你真的需要，如果你正在构建一个产品，如果它不是通用产品。例如，假设你正在构建一个自然语言到 SQL 的工具，比如说你有一个数据库。

Hooman Sedghamiz: 这是一个关系型数据库。你想构建一个应用，能在后台搜索汽车。客户可以进去问，我想找一辆2013年的宝马。它在后端使用 Qdrant，对。它会做语义搜索，所有这些很酷的事情，然后返回结果。我认为那时候你需要有非常好的衡量标准，看看你的客户在你网站上集成这种生成式应用来销售汽车时，他们的满意度如何。所以要以一种，像是周期性的方式来衡量，人们不会一开始就满意，因为你刚开始，有很多事情你没有考虑到。你衡量所有这些指标，然后你继续改进你的平台。

Demetrios: 嗯，你还提到了别的东西，这让我想到了一个念头，毫无疑问，你有这些唾手可得的问题，它们主要基于效率提升。对。所以它帮助人们从 PDF 中提取数据或其他什么，你在那里节省了时间。你看到了你在节省时间，而且设置起来相当容易。对。但然后你可能有“登月计划”，我想象一下，比如创造一种全新的阿司匹林或泰诺或任何类似的东西，而这需要更多的时间、精力和基础设施等方面的投资。你如何看待这两者，然后说，我们要确保在这两个方向上都取得进展。而且我不确定你是否有无限的资源来做所有事情，或者你必须认识到取舍在哪里，以及你如何衡量这类指标。

Demetrios: 再问一次，我们在哪里投资，在哪里终止不同的计划。

Hooman Sedghamiz: 是的。这是一个很好的问题。所以对于产品开发，就像你举的例子，这确实涉及很多阶段。对。所以你从科学发现阶段开始。我可以想象你在这个过程中可以有多个产品来提供帮助。所以如果你已经有一个产品，你想要生成见解并了解。假设你已经有了阿司匹林。

Hooman Sedghamiz: 你想看看它是否也对患者可能有的心血管问题有帮助。所以你可以构建一个知识发现工具，它可以为你搜索，你给它你的产品名称，它就会去搜索 PubMed 等所有正在发表的文章，然后把结果带给你。然后你需要有非常清晰的指标，看看这个知识发现平台在几个月后是否能够为客户或你构建平台的利益相关者带来价值。我们有这些在各自领域真正专业的专家。他们需要花费大量时间阅读这些文章来得出结论或回答关于真正复杂主题的问题。我认为这真的很难。根据我们看到的初步反馈，它有帮助，它帮助他们节省了时间。但我想这又回到了我们仍然没有付费墙，我们还不能访问很多科学知识的 ETL 问题。

Hooman Sedghamiz: 而且这些人一开始有点气馁，因为他们期望很多人，特别是非技术人员，会说就像你去 Chat GPT，你问问题，它就会给你答案，对吧？但不是那样。它不是那样工作的。但我们可以衡量它，我们可以看到改进，他们可以更快地访问知识，但它不是全面的。这就是问题所在。它不是真正深入的知识。而且我认为公司仍然非常鼓励开发这些平台，他们可以看到这是一个正在发展的领域。对。所以很难给你一个简短的答案，很难在短期内想出衡量成功或失败的指标。

Demetrios: 是的，我喜欢你谈论的那种创造力。也就是说，沿着这种多步骤、非常复杂的产品创建过程，你可以做一些潜在的副项目，这些项目可以在过程中展示和证明价值，而且它们不一定需要像那个更大的项目那样复杂。

Hooman Sedghamiz: 确实。

Demetrios: 太棒了，老兄。这次对话棒极了。我非常感谢你来到这里参加向量空间对话（Vector Space Talks）。任何想加入我们，并且有一些很酷的内容要分享的人，我们随时欢迎建议。请直接联系我，我们会确保送你一件 T恤或手头的任何周边产品。记住，各位宇航员，不要在向量空间中迷失方向。这是 Qdrant 向量空间对话的又一期，与 Hooman，我的朋友，在情人节这天。我不敢相信你决定把时间花在我身上。

Demetrios: 我很感激。

Hooman Sedghamiz: 谢谢。保重。