Dagster
Dagster 是一个专为数据工程师构建的 Python 数据编排框架，集成了血缘关系、可观测性、声明式编程模型和一流的可测试性。
dagster-qdrant 库允许您将 Qdrant 的向量数据库与 Dagster 集成，从而轻松构建 AI 驱动的数据管道。您可以在 Dagster 中直接运行向量搜索和管理数据。
安装
pip install dagster dagster-qdrant
示例
from dagster_qdrant import QdrantConfig, QdrantResource
import dagster as dg
@dg.asset
def my_table(qdrant_resource: QdrantResource):
with qdrant_resource.get_client() as qdrant:
qdrant.add(
collection_name="test_collection",
documents=[
"This is a document about oranges",
"This is a document about pineapples",
"This is a document about strawberries",
"This is a document about cucumbers",
],
)
results = qdrant.query(
collection_name="test_collection", query_text="hawaii", limit=3
)
defs = dg.Definitions(
assets=[my_table],
resources={
"qdrant_resource": QdrantResource(
config=QdrantConfig(
host="xyz-example.eu-central.aws.cloud.qdrant.io",
api_key="<your-api-key>",
)
)
},
)