使用 Ollama 配合 Qdrant

Ollama 为小众应用提供专门的嵌入。Ollama 支持多种嵌入模型，这使得构建检索增强生成 (RAG) 应用成为可能，这些应用可以将文本提示与特定领域的现有文档或其他数据结合起来。

安装

您可以使用以下 pip 命令安装所需的包

pip install ollama qdrant-client

集成示例

以下代码假设 Ollama 可通过端口 11434 访问，Qdrant 可通过端口 6334 访问。

from qdrant_client import QdrantClient, models
import ollama

COLLECTION_NAME = "NicheApplications"

# Initialize Ollama client
oclient = ollama.Client(host="localhost")

# Initialize Qdrant client
qclient = QdrantClient(host="localhost", port=6333)

# Text to embed
text = "Ollama excels in niche applications with specific embeddings"

# Generate embeddings
response = oclient.embeddings(model="llama3.2", prompt=text)
embeddings = response["embedding"]

# Create a collection if it doesn't already exist
if not qclient.collection_exists(COLLECTION_NAME):
    qclient.create_collection(
        collection_name=COLLECTION_NAME,
        vectors_config=models.VectorParams(
            size=len(embeddings), distance=models.Distance.COSINE
        ),
    )

# Upload the vectors to the collection along with the original text as payload
qclient.upsert(
    collection_name=COLLECTION_NAME,
    points=[models.PointStruct(id=1, vector=embeddings, payload={"text": text})],
)

此页面有用吗？

本页内容