OpenLIT
OpenLIT 是一款 OpenTelemetry 原生的 LLM 应用可观测性工具,它包含 OpenTelemetry 自动埋点功能,用于监控 Qdrant 并提供洞察,以改进数据库操作和应用性能。
本页面假设您正在使用 qdrant-client
1.7.3 或更高版本。
使用方法
步骤 1:安装 OpenLIT
打开您的命令行或终端并运行
pip install openlit
步骤 2:在您的应用中初始化 OpenLIT
将 OpenLIT 集成到 LLM 应用中非常简单,只需两行代码
import openlit
openlit.init()
OpenLIT 默认将跟踪定向到您的控制台。要将遥测数据转发到 HTTP OTLP 端点,请配置 otlp_endpoint
参数或 OTEL_EXPORTER_OTLP_ENDPOINT
环境变量。
对于需要身份验证的 OpenTelemetry 后端,请使用 otlp_headers
参数或带有所需值的 OTEL_EXPORTER_OTLP_HEADERS
环境变量。
延伸阅读
随着 OpenLIT 收集到 LLM 可观测性数据,下一步是可视化和分析这些数据,以获取有关 Qdrant 性能、行为的洞察,并找出需要改进的领域。
要开始在 OpenLIT UI 中探索您的 LLM 应用性能数据,请参阅快速入门指南。
如果您想将生成的指标和跟踪集成并发送到您现有的可观测性工具,如 Promethues+Jaeger、Grafana 等,请参考OpenLIT 连接官方文档,获取详细说明。