Redpanda Cover

Redpanda Connect 是一种声明式的、数据无关的流媒体服务,旨在实现高效、无状态的处理步骤。它提供了基于事务的弹性以及背压机制,确保连接到至少一次源和接收器时能够实现至少一次交付,而无需在传输过程中持久化消息。

Connect 管道使用 YAML 文件进行配置,该文件按层次结构组织组件。每个部分代表不同类型的组件,例如输入、处理器和输出,这些组件可以包含嵌套的子组件和动态值

启用 Qdrant 输出组件后,您可以在 RedPanda 管道中将向量数据流式传输到 Qdrant 集合。

示例

设置输入和处理器后,一个输出示例配置如下所示

input:
    # https://docs.redpanda.com/redpanda-connect/components/inputs/about/

pipeline:
  processors:
    # https://docs.redpanda.com/redpanda-connect/components/processors/about/

output:
  label: "qdrant-output"
  qdrant:
    max_in_flight: 64
    batching:
      count: 8
    grpc_host: xyz-example.eu-central.aws.cloud.qdrant.io:6334
    api_token: "<provide-your-own-key>"
    tls:
      enabled: true
    #   skip_cert_verify: false
    #   enable_renegotiation: false
    #   root_cas: ""
    #   root_cas_file: ""
    #   client_certs: []
    collection_name: "<collection_name>"
    id: root = uuid_v4()
    vector_mapping: 'root = {"some_dense": this.vector, "some_sparse": {"indices": [23,325,532],"values": [0.352,0.532,0.532]}}'
    payload_mapping: 'root = {"field": this.value, "field_2": 987}'

延伸阅读

此页面有帮助吗?

感谢您的反馈! 🙏

很抱歉听到您这样说。😔 您可以在 GitHub 上编辑此页面,或创建一个 GitHub 问题。