由 Apache Kafka® 的原创者构建，Confluent Cloud 是一个云原生且完整的流数据平台，可在 AWS、Azure 和 Google Cloud 上使用。该平台包括一个完全托管、弹性伸缩的 Kafka 引擎、120 多个连接器、无服务器 Apache Flink®、企业级安全控制和强大的治理套件。
通过我们的 Qdrant-Kafka Sink Connector，Qdrant 成为了 Connect with Confluent 技术合作伙伴计划的一部分。它将完全托管的数据流直接从 Confluent Cloud 引入组织，使组织能够通过完全托管的 Apache Kafka 服务更轻松地将任何数据流传输到 Qdrant。
用法
先决条件
- 一个 Confluent Cloud 账户。您可以从一个免费试用开始，前 30 天可获得积分。
- 要连接的 Qdrant 实例。您可以在 cloud.qdrant.io 获取免费云实例。
安装
从 Confluent Hub 下载最新的连接器 zip 文件。
在 Confluent 上配置环境和集群，并创建一个用于生成消息的主题。
导航到 Confluent 集群的
Connectors部分，然后点击Add Plugin。上传包含以下信息的 zip 文件。
- 安装后，导航到连接器并设置以下配置值。
用您的凭据替换占位符值。
- 将 Qdrant 实例主机添加到允许的网络端点中。
- 启动连接器。
生成消息
现在您可以为配置的主题生成消息，它们将被写入配置的 Qdrant 实例。
消息格式
连接器支持以下格式的消息。
点击每个以展开。
未命名/默认向量
参考：创建带有默认向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vector": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
命名多向量
参考：创建带有多个向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vector": {
"some-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"some-other-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
]
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
稀疏向量
参考：创建带有稀疏向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vector": {
"some-sparse": {
"indices": [
0,
1,
2,
3,
4,
5,
6,
7,
8,
9
],
"values": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
]
}
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
多向量
参考
{
"collection_name": "{collection_name}",
"id": 1,
"vector": {
"some-multi": [
[
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
],
[
1.0,
0.9,
0.8,
0.5,
0.4,
0.8,
0.6,
0.4,
0.2,
0.1
]
]
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
命名密集向量和稀疏向量的组合
参考
{
"collection_name": "{collection_name}",
"id": "a10435b5-2a58-427a-a3a0-a5d845b147b7",
"vector": {
"some-other-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"some-sparse": {
"indices": [
0,
1,
2,
3,
4,
5,
6,
7,
8,
9
],
"values": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
]
}
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}