Confluent Cloud 由 Apache Kafka® 的原始创建者构建，是一个云原生且完整的数据流平台，可在 AWS、Azure 和 Google Cloud 上使用。该平台包括一个完全托管、弹性伸缩的 Kafka 引擎、120 多个连接器、无服务器 Apache Flink®、企业级安全控制以及强大的治理套件。
借助我们的 Qdrant-Kafka Sink 连接器，Qdrant 已成为 Connect with Confluent 技术合作伙伴计划的一部分。它将完全托管的数据流直接从 Confluent Cloud 带给组织，使组织更容易通过完全托管的 Apache Kafka 服务将任何数据流传输到 Qdrant。
用法
前提条件
- 一个 Confluent Cloud 账户。您可以开始免费试用，前 30 天将获得积分。
- 要连接的 Qdrant 实例。您可以在 cloud.qdrant.io 获取免费的云实例。
安装
从 Confluent Hub 下载最新的连接器 zip 文件。
在 Confluent 上配置环境和集群，并创建一个用于生成消息的主题。
导航到 Confluent 集群的
Connectors部分，然后点击Add Plugin。上传包含以下信息的 zip 文件。
- 安装完成后，导航到连接器并设置以下配置值。
将占位符值替换为您的凭据。
- 将 Qdrant 实例主机添加到允许的网络端点。
- 启动连接器。
生成消息
您现在可以为配置的主题生成消息，这些消息将被写入配置的 Qdrant 实例。
消息格式
连接器支持以下格式的消息。
点击每项以展开。
未命名/默认向量
参考：创建包含默认向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vector": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
命名多向量
参考：创建包含多个向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vector": {
"some-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"some-other-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
]
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
稀疏向量
参考：创建包含稀疏向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vector": {
"some-sparse": {
"indices": [
0,
1,
2,
3,
4,
5,
6,
7,
8,
9
],
"values": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
]
}
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
多向量
参考
{
"collection_name": "{collection_name}",
"id": 1,
"vector": {
"some-multi": [
[
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
],
[
1.0,
0.9,
0.8,
0.5,
0.4,
0.8,
0.6,
0.4,
0.2,
0.1
]
]
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
命名密集向量和稀疏向量的组合
参考
{
"collection_name": "{collection_name}",
"id": "a10435b5-2a58-427a-a3a0-a5d845b147b7",
"vector": {
"some-other-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"some-sparse": {
"indices": [
0,
1,
2,
3,
4,
5,
6,
7,
8,
9
],
"values": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
]
}
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}