在生产环境中构建由 LLM 提供支持的应用程序 - Hamza Farooq | 矢量空间讲座

“每天有 100 亿次搜索查询，估计其中一半没有得到解答。因为人们实际上并没有使用我们过去使用的搜索方式。”
– Hamza Farooq

您认为 Hamza 在机器学习方面的背景以及之前在 Google 和 Walmart Labs 的经验如何影响了他构建 LLM 驱动应用程序的方法？

Hamza Farooq 是一位卓有成就的教育家和人工智能爱好者，是 Traversaal.ai 的创始人。他的旅程以对人工智能探索的不懈热情为标志，尤其是在构建大型语言模型方面。作为加州大学洛杉矶分校安德森商学院的兼职教授，Hamza 通过教授尖端技术课程来塑造人工智能的未来。在 Traversaal.ai，他通过领域特定的人工智能解决方案赋能企业，专注于对话式搜索和推荐系统以提供个性化体验。Hamza 在学术界、工业界和创业领域拥有多元化的职业生涯，并从 Google 的经历中带来了丰富的经验。他的总体目标是弥合人工智能创新与实际应用之间的差距，将变革性解决方案引入市场。Hamza 热切期待人工智能和机器学习这个不断发展的领域中的动态挑战和机遇。

收听此集：Spotify、Apple Podcast、Podcast addicts、Castbox。您也可以在 YouTube 上观看此集。

主要收获

用户体验专家？您在为 GenAI 产品设计无缝用户体验方面的专业知识必将受到高度需求。让我们提升下一代技术的用户界面！

在本集中，Hamza 介绍了大型语言模型和复杂搜索的未来，讨论了实际应用以及在生产环境中实施这些技术所面临的挑战。

从本集学习的 5 个关键点

1. 复杂搜索 - 探索 LLM 如何彻底改变我们与搜索引擎交互的方式，并超越基本查询增强搜索体验。
2. 对话式搜索和个性化 - 探索使用开源 LLM 进行对话式搜索和个性化推荐的潜力，带来全新水平的用户参与度。
3. 挑战与解决方案 - 揭示 LLM 服务面临的停机挑战，并学习缓解这些问题以实现无缝运行的策略。
4. Traversal AI 的独特方法 - 了解 Traversal AI 如何创建了一个包含各种应用程序的统一平台，简化了 LLM 和领域特定搜索的集成。
5. 用户体验 (UX) 的重要性 - 了解用户体验专业人员在塑造 Gen AI 产品未来方面无与伦比的重要性，以及他们在增强用户与 LLM 驱动应用程序交互方面发挥的关键作用。

趣闻：用户体验 (UX) 设计师预计将在 AI 驱动产品的开发中发挥关键作用，因为他们弥合了用户交互和 AI 系统技术方面之间的鸿沟。

笔记

00:00 用开源产品教授 GPU AI。
06:40 复杂搜索导致会话搜索实现。
07:52 轻松生成个性化旅行行程。
12:02 Maxwell 的演讲强调了搜索技术中的挑战。
16:01 平衡旅行中的偏好和取舍。
17:45 Beta 模式，选择性，个性化数据库。
22:15 所需应用：聊天机器人、知识检索、推荐、职位匹配、副驾驶
23:59 开发生成式 AI 中用户体验的挑战。

Hamza 更多语录

“能够从事生成式 AI 产品的用户体验人员将比产品经理和技术人员更稀有，因为技术人员可以遵循和理解代码，他们可以观看视频，业务人员正在学习 GPT 提示等等。但是用户体验人员，除了 Chat GPT 界面之外，几乎没有教学指南。所以这些用户体验人员，他们的价值将是无价的。”
– Hamza Farooq

“通常他们不会来找我们说我们需要一个 Pinecone 或者我们需要一个 Qdrant 或者我们需要一个本地 llama，他们会说，这是你正在尝试解决的问题。我们公司正在从解决问题的角度出发，我们做到了。你不需要为了两个人的成本雇佣三个机器学习工程师，两个自然语言处理研究科学家和三个其他地方的人。我们可以进行完整的端到端实施。因为我们拥有 80% 的已构建产品，我们可以根据你的需求调整 20%。”
– Hamza Farooq

“想象一下你正在预订酒店，然后你还会收到《纽约时报》的一篇文章，上面写着‘这就是为什么这个很棒’，或者你关注的博主的内容会显示在你的页面上。这就是我们一直在赋能的优势，你不再需要等待或仅仅依赖公司的网站本身。你可以利用整个互联网来武装自己。”
– Hamza Farooq

文字记录

Demetrios：是的，我们在线。怎么回事？Hamza，很高兴您能来参加本期矢量空间讲座。让我们先从这个开始。现在和我们在一起的每个人，很高兴有你们。在聊天中告诉我们您是从哪里来的，并且在接下来的 20-25 分钟内，随时在聊天中提出任何问题。我将监控它，并可能在我们需要在任何时候阻止 Hunts 时介入。如果您或您认识的任何人想来我们的矢量空间讲座进行演讲，我们非常乐意。通过 Discord 或 LinkedIn 或您首选的沟通方式联系我。也许是信鸽。无论是什么，我都在这里准备好听您的推销。您想谈论什么。听到人们如何使用 Qdrant 构建或他们正在这个领域构建什么总是很酷。所以，话不多说，让我们和我的朋友 Hamza 一起进入这个话题。很高兴您能来，伙计。

Hamza Farooq：谢谢您的邀请。我很荣幸。

Demetrios：您现在这么说。等等看。您还不了解我。我想这是唯一的事情。所以我们这样说吧。您正在做一些不可思议的事情。您是 Traversaal.ai 的创始人。您过去一直在构建大型语言模型，并且您还是加州大学洛杉矶分校的教授。您正在做各种各样的事情。这就是为什么我认为。很荣幸今天能邀请您来。我知道您有很多有趣的事情想谈。而且这实际上是关于在生产环境中构建 LLM 驱动的应用程序。我相信您有一些幻灯片给我们。所以我将把它交给您，让您开始工作，如果出现任何情况，我会介入并阻止您走得太远。

Hamza Farooq：太棒了。谢谢您。我真的很喜欢您关于信鸽的笑话。它是一只带有多个区域和连接着 H100 的基因信鸽吗？

Demetrios：没错。那些是昂贵的信鸽。那是高级版。我还没那么富裕的 GPU。

Hamza Farooq：当然。好的。我想这是一个很好的过渡。我通常会告诉人们，我将教大家如何成为一个 GPU 贫乏的 AI 差距人士，而我的工作基本上是教每个人，或者说我的组织的宗旨也是，我们如何通过使用开源产品和开源 LLM 和架构来构建强大的解决方案，LLM 驱动的解决方案，以便我们尽可能地节约成本。这一直是我的宗旨，我一直推崇开源，因为它们在这方面做得非常出色，并且它们正在接近行业标准的水平。但我离题了。让我们开始我的整体演讲。我在这里谈论搜索和副驾驶的未来，以及我们正在通过 LLM 寻求的整体体验。

Hamza Farooq：我知道您给我做了背景介绍。我是 Traversaal.ai 的创始人。之前我在 Google 和 Walmart Labs 工作。我在机器学习方面有相当多年的经验。事实上，我 2007 年的第一份工作是在 SaaS 工作，我正在实施树来识别欺诈，用于欺诈检测。老实说，我当时不知道那是数据科学，但我们正在实施它。我曾有多所大学的教学经验，这种经验真的帮助我在工作中做得更好，因为当您能教导某件事时，您才能真正理解它。好的，我们为什么在这里？我们为什么真的在这里？我有一个非常强大的梗。

Hamza Farooq：我们将近一年前开始使用 Char GPT，突然之间我们就开始使用它了。我想在 1 月、2 月、3 月，它只是使用量爆炸式增长。现在我们知道所有正在发生的不同事情，并且我们看到了许多进入这个领域的新兴公司。其中一些是包装器，另一些做得更多，拥有更多的动力。我们使用它的方式有很多种，我想我们甚至不知道有多少种方式可以使用 Charge GBT，但大多数情况下，它只是文本生成，一种形式或另一种形式。这就是重点。但如果我们深入研究，我们所知道的 LLM 也可以帮助我们完成一个非常重要的部分，称为复杂搜索。

Hamza Farooq：复杂搜索基本上是当我们与搜索系统进行对话以提供更长的查询时，就像我们与人交谈一样。这在我们与任何搜索引擎的交互中，长期以来一直缺失。谷歌一直处于为我们提供最佳搜索形式的最前沿。但想象一下，如果您要查看亚马逊以外的任何其他电子商务网站。想象一下，您去 Nike.com，您去 Gap，您去 Banana Republic。您会发现他们的搜索非常基本，这对许多公司来说是一个机会，可以为用户创建出色的搜索体验，并提供多层参与模型。因此，您基本上会提出一个请求。我想买一件 Nike 蓝色 T 恤，专门为高尔夫设计，具有我需要的所有这些功能，而且价格合理。

Hamza Farooq：它向您显示一组结果，然后您可以从中进一步交谈并说：“嘿，您能删除五六个或者将其减少一定程度吗？”这就是我们通过复杂搜索所拥有的力量。复杂搜索正在迅速成为一个很好的切入点，说明为什么我们需要实现对话式搜索。我们需要在我们的生态系统中实施大型语言模型，以便我们能够理解用户一直在询问的上下文。因此，我将向您展示一个关于 TripAdvisor 所进行的复杂搜索的绝佳示例。上周在斯坦福大学我的一堂课上，我们邀请了 TripAdvisor 的 AI 负责人前来，他带我们体验了一种新的旅行规划方式。所以我将分享这个示例。如果您访问该网站，您可以使用 AI 并实际选择一个城市。所以我们假设我将选择伦敦。

Hamza Farooq：我可以告诉我将去几天，我点击下一步，然后我将和我的伴侣一起去。现在在后端。这只是在构建一个复杂搜索版本，我想看到景点、美食、隐藏的瑰宝。我基本上只想看到几乎所有东西。然后当我点击提交时，它所做的最棒的事情是它成为了一个起点，对于我来说可能需要相当长的时间才能将所有这些信息整合起来，它会获取我的所有信息并生成一个行程。现在看看这有什么不同。它有关于我可以住宿的地方、我可以每天做的事情的实际数据，而且它是免费的，在 10 秒内生成。这是一种以前不存在的体验。你必须自己构建它，你通常会做的是你会去聊天。

Hamza Farooq：如果你今年开始使用 GPT，你会说七天伦敦行程，它会在这里识别一些东西。然而，你看它能够整合预订功能，能够实际在一个地方看到这些餐馆。这是以前从未做过的事情。这是将复杂搜索投入生产并为用户创造出色体验的最真实形式，让他们了解他们可以选择什么。他们可以突出显示并与之互动。我在这里暂停一下。有什么问题吗？我可以帮忙解答吗？

Demetrios：不。

Demetrios：伙计，这真是太棒了。我甚至没有意识到这已经上线了，但这 100% 就是一个旅行社做的事情。现在您触手可及。

Hamza Farooq：所以他们构建了一个用户体验，只需 10 秒即可完成。那么，在后台到底发生了什么？您有这个宏任务，我想在巴黎计划一个假期，我想在伦敦计划一个假期。而网络代理或自动代理，或者您想怎么称呼它们，它们正在递归地将任务分解为子任务。当您到达一个单独的原子子任务时，它能够将其分解为可以采取的行动。所以正在发生任务分解和任务识别场景。从那以后，例如，Stripadvisor 能够构建一些单独的行动。然后它为您创建一个界面，您可以在其中看到一切准备就绪。这是我一直非常感兴趣的部分。

Hamza Farooq：每当我们去亚马逊或任何地方搜索时，我们都只进行一层搜索。我们基本上说，我想买一条牛仔裤，我想买一件衬衫，我想买。这是一个原子性的事情。你想买机票吗？你想预订住宿吗？想象一下，如果你能说，我想去东京，或者我需要什么样的装备？我需要什么样的总体等级才能去冰川？它可以识别其中涉及的所有不同的子任务，然后最终向你展示这个行动。好吧，它存在是件好事，但最大的问题是，构建复杂搜索实际上很困难。谷歌可以做到，亚马逊可以做到。但是如果你想象一下，我们如何确保它能被更广泛的大众所用？如果任何公司想建立这种体验，它对他们来说都是可用的。

Hamza Farooq：这是 Maxwell 几个月前的一次演讲。每天有 100 亿次搜索查询，估计其中一半没有得到解答。因为人们实际上并没有使用我们过去使用的搜索方式。因为，也是因为 GPT 的出现以及我们与产品对话的方式，我们的搜索变得更加连贯，正如我们所期望的那样。我们会与人交谈，这对于寻找网站、解决更复杂的问题或任务很有用，但它往往力不从心，因为很多公司，99.99% 的公司，我想他们只是停留在 Elasticsearch 上，因为它运行成本更低，更容易，开箱即用，而且很多公司不想花钱，或者他们没有人才来帮助他们将其构建为可用的产品或 SDK，他们可以实施并开始为他们工作。最重要的一点是，复杂搜索不仅仅是一个查询，它是多个查询、会话或深入的查询，需要与搜索进行深入互动。我所说的深入互动是指想象一下，当你现在去谷歌时，你输入一个搜索，你可以对你的搜索提供反馈，但你不能做任何事情，除非你重新开始一个新的搜索。

Hamza Farooq：在 Perplexity 中，你可以问后续问题，但这也有点像一种破碎的体验，因为你不能像钢铁侠中的 Jarvis 那样真正地简化。所以想象一下，它有人性化的一面。让我再给你看一个副驾驶系统的例子，比如说。

Demetrios：有一个问题，实际上有两个非常好的问题提出来了，所以在您进入这个酷炫的副驾驶系统之前，我要打断您。Carlos 问，这些 LLM 服务的停机时间如何？

Hamza Farooq：我认为停机时间。这是一个完美的问题。如果您有一个在 Chat GPT 上运行的生产级系统，您会在五天内了解到您无法在 Chat GPT 上运行生产系统，您需要自己托管它。然后您从 Hugging Face 开始，然后您意识到 Hugging Face 也可能宕机。所以您基本上会去 Bedrock，或者您会去 AWS 或 GCP 并将您的 LLM 托管在那里。所以本质上，演示展示“天哪，它运行得很漂亮”很有趣。但是，如果您有 99.9% 正常运行时间的 SLA，您需要将其部署在具有冗余的架构中，以便它正常运行。最终的解决方案是为其提供专门支持。

Hamza Farooq：我认为这可以通过 Azure open AI 来实现，但我认为即使是 Azure openi 也会在 open ais 出现问题时宕机，这有点……

Demetrios：好一点，但肯定不是 100%。

Hamza Farooq：我能举个例子吗？最近我们遇到了一个新问题，令牌速度也随着日期和时间而变化。所以令牌生成。我们还发现另一个问题，就是 InstructGPT。Instruct 非常棒，令人惊叹。但它会泄露数据。即使在机架解决方案中，它也会泄露数据。所以你必须回到 16k。

Hamza Farooq：它真的很慢。所以生成一个答案可能需要三分钟。

Demetrios：是的。所以这几乎是一个两难的境地。您更喜欢泄露数据还是慢速？总是有取舍的，各位。总是有取舍的。所以 Mike 在聊天中提出了另一个问题。Carlos，感谢您的精彩问题。Mike 问道，我想您可以通过类似于“如果可能，我更喜欢意大利餐厅”来修改搜索行程。我当时在想，当谈到。所以补充 Mike 的话，这几乎就像您的旅行或行程的每一部分都会以“哦，我喜欢晚上的航班，或者我喜欢坐在靠过道的座位，我不想支付超过 X 金额，但如果我们在 12 月的任何时候去，我也没问题”等等来作为前缀。

Demetrios：然后一旦你到达那里，我喜欢去这个城市这部分附近的酒店。我想你明白我的意思，但是这些偏好列表中的每一个都可以变得非常详细。你可以用你刚才说的来偏好所有这些不同的搜索。

Hamza Farooq：绝对。所以我认为这是一个很好的观点。我将向您介绍一家我们一直密切合作的公司。它叫做 Tripsby 或 Tripspy AI，我们实际上帮助他们构建了生态系统，您可以在其中获得个性化推荐和私人发现。这几乎就是您所说的一切。我更喜欢这个时间，我更喜欢这个。我更喜欢这个。它会接收音频和文本，您可以通过 WhatsApp 或不同的方式与它进行交流。

Hamza Farooq：他们仍在测试阶段，并且是选择性地推出，但实际上，他们已经构建了这个，他们更多地考虑了个性化，因为数据库都是相同的，是阿马迪厄斯（如果我发音正确的话）提供酒店、餐厅或可用性的数据库，然后你可以在此基础上构建东西。所以他们已经超前并构建了一些东西，但更符合用户的期望。想象一下你正在预订酒店，你还会收到《纽约时报》的一篇文章，上面写着“这就是为什么这个很棒”，或者你关注的博主的内容会显示在你的页面上。这就是我们一直在赋能的优势，你不再需要等待或仅仅依赖公司的网站本身。你可以利用整个互联网来武装自己。

Demetrios：是的。

Demetrios：您的能力。我想另一个例子就是我喜欢看 TikTok 视频，我的 TikTok 动态中出现的一些内容是关于亚马逊你需要知道的发现，它谈论的是你可以从亚马逊购买的不同很酷的东西。如果亚马逊知道我在 TikTok 上喜欢这些内容，它可能会在我下次使用亚马逊时向我展示。

Hamza Farooq：是的，我的意思是，那就是 cookie，对吧？是的。这是一个阴谋论，你正在谈论一个产品，它就会出现。

Demetrios：没错。好吧，所以，好的。您正在展示的这个网站绝对令人难以置信。Carlos 在我们进入下一部分之前有一个后续问题，是关于这些开源模型的质量以及您如何处理它，因为 OpenAI 的 GPT-3.5 和 GPT-4 似乎仍然相当领先。

Hamza Farooq：这些天，那就是你必须买的灵丹妙药。所以我们建议，让开源 LLM 作为备用。所以在某个时候，我知道它会次优，但次优的东西可能比你的整个系统崩溃要好一点。这就是我们一直在使用的，我们已经部署了。我们所做的是，当我们构建大型产品时，我们基本上倾向于在背后放置一个生态系统或一个备份，就像，如果令牌率不是我们想要的，如果它不工作，花费太长时间，我们会自动切换到一个冗余版本，也就是开源的。它确实表现良好。例如，即使是现在，Perplexity 也在开源 LLM 上运行很多东西，而不是仅仅是 GPT 包装器。

Demetrios：是的。让您有更多控制权。所以我不想再跑题太多了。我知道我们时间不多了，所以请随时跳回去，加快语速。

Demetrios：是的。

Hamza Farooq：那么您能告诉我时间吗？我们进展如何？

Demetrios：好的，我们还剩下大约六到八分钟。

Hamza Farooq：好的，我将介绍一个重要的原因，为什么我创立了我的公司 Traversaal.ai。这张幻灯片很能说明每个人都在做什么。每个人都在做这么多不同的事情。他们正在为每个不同的事情寻找不同的产品。您可以选择一件事。想象一下，这样做的担忧是您实际上必须考虑您必须选择的每一个产品，因为您必须一丝不苟地检查，哦，为此我需要这个。为此我需要这个。为此我需要这个。

Hamza Farooq：我们所做的一切就是创建了一个包罗万象的平台。我将通过一个非常简单的例子向您展示。这是我们的网站。我们称自己为一个拥有多个应用程序的平台。在此平台上，我们拥有各种数据格式，您需要的各种集成，例如任何应用程序。我将放大一点。如果您需要特定领域的搜索。所以基本上，如果您正在寻找互联网搜索，任何市场上的 LLM，以及向量数据库，您会在这里看到 Qdrant。

Hamza Farooq：需要哪些应用程序？你需要一个聊天机器人吗？你需要一个知识检索系统吗？你需要一个推荐系统吗？你需要一个职位匹配工具或者一个副驾驶吗？所以如果你建立了一个一站式商店，很多时候当客户进来的时候，通常他们不会来找我们说我们需要一个 Pinecone 或者我们需要一个 Qdrant 或者我们需要一个本地 llama，他们会说，这是你正在尝试解决的问题。我们公司正在从解决问题的角度出发，我们做到了。你不需要为了两个人的成本雇佣三个机器学习工程师，两个自然语言处理研究科学家和三个其他地方的人。我们可以进行完整的端到端实施。因为我们拥有 80% 的已构建产品，我们可以根据你的需求调整 20%。这是一件如此强大的事情，一旦他们开始信任我们，让他们信任我的最好方法是他们可以来我的 Maven 课堂，他们可以来我的斯坦福课堂，他们可以来我的加州大学洛杉矶分校课堂，或者他们可以。

Demetrios：听这个播客，然后。

Hamza Farooq：这增加了我们与他们所做工作的可信度。抱歉，停止分享我们与他们所做的工作，然后就朝那个方向发展，我们可以很快地完成这些事情，而且我们倾向于更新。我只想讲一张幻灯片。归根结底，这是主要的幻灯片。现在。所有工程师和产品经理都在想，哦，LLM 和 Gen AI 以及这个那个。我认为我们没有谈论的一件事是用户体验。我刚刚向您展示了 Tripadvisor 上的用户体验。

Hamza Farooq：解释起来太容易了，对吧？就像你会说，哦，我知道怎么用，而且你已经能发现问题了，这意味着他们在思考用户体验方面做得非常出色。我预测一件主要的事情。能够从事生成式 AI 产品的用户体验人员将比产品经理和技术人员更稀有，因为技术人员可以遵循和理解代码，他们可以观看视频，业务人员正在学习 GPT 提示等等。但是用户体验人员，除了 Chat GPT 界面之外，几乎没有教学指南。所以这些用户体验人员，他们的价值将是无价的，而不是比特币，而是黄金。这基本上是因为他们将不得不构建用户体验，因为我们现在无法想象它会是什么样子。

Demetrios：是的，我百分百同意。

Demetrios：我。

Demetrios：想象一下，您已经看过 Notion 的 Linus Lee 的一些作品，以及 Notion 如何尝试添加点击。您不需要总是与 LLM 聊天，您只需点击并指示它执行您想要的操作。我注意到您分享的演示中，正是如此，您突出显示了您喜欢做的事情，并缩小了搜索范围，在不需要输入“我喜欢意大利菜，我不喜欢肉丸”或类似内容的情况下提供了更多上下文。

Hamza Farooq：是的。

Demetrios：太不可思议了。

Demetrios：这太完美了，伙计。

Demetrios：所以对于任何想继续与您交流的人，您在 LinkedIn 上。我们将留下您 LinkedIn 的链接。您还在 Maven 上授课。您在斯坦福大学、加州大学洛杉矶分校等地授课，所有这些有趣的事情。很高兴能邀请您来。

Demetrios：我非常兴奋，并希望您能再次回来，因为看到您正在构建什么以及如何构建它，真是令人惊叹。

Hamza Farooq：太棒了。我想，再次，我很荣幸也很高兴，谢谢你让。

Demetrios：我谈谈用户体验部分。

Hamza Farooq：很多时候，当你去见客户时，你会意识到你需要用户体验和所有这些不同的东西。

Demetrios：哦，是的，真是这样。确实如此。好吧，所有在座的观众。

Demetrios：谢谢大家的参与，下次再见。下周我们将再次举办另一场。

Demetrios：这些矢量讲座的环节，很高兴再次邀请您。

Demetrios：如果你想加入我们，请联系我。

Demetrios：你想做个演讲吗？大家再见。祝大家一切顺利。

Hamza Farooq：谢谢。再见。