OpenLIT

OpenLIT 是一款 OpenTelemetry 原生的 LLM 应用可观测性工具,它包含 OpenTelemetry 自动埋点功能,用于监控 Qdrant 并提供洞察,以改进数据库操作和应用性能。

本页面假设您正在使用 qdrant-client 1.7.3 或更高版本。

使用方法

步骤 1:安装 OpenLIT

打开您的命令行或终端并运行

pip install openlit

步骤 2:在您的应用中初始化 OpenLIT

将 OpenLIT 集成到 LLM 应用中非常简单,只需两行代码

import openlit

openlit.init()

OpenLIT 默认将跟踪定向到您的控制台。要将遥测数据转发到 HTTP OTLP 端点,请配置 otlp_endpoint 参数或 OTEL_EXPORTER_OTLP_ENDPOINT 环境变量。

对于需要身份验证的 OpenTelemetry 后端,请使用 otlp_headers 参数或带有所需值的 OTEL_EXPORTER_OTLP_HEADERS 环境变量。

延伸阅读

随着 OpenLIT 收集到 LLM 可观测性数据,下一步是可视化和分析这些数据,以获取有关 Qdrant 性能、行为的洞察,并找出需要改进的领域。

要开始在 OpenLIT UI 中探索您的 LLM 应用性能数据,请参阅快速入门指南

如果您想将生成的指标和跟踪集成并发送到您现有的可观测性工具,如 Promethues+Jaeger、Grafana 等,请参考OpenLIT 连接官方文档,获取详细说明。

本页面是否有用?

感谢您的反馈!🙏

很抱歉听到这个消息。😔 您可以 在 GitHub 上编辑 本页面,或 创建一个 GitHub 问题。