Vector stores

Qué son los Vector Stores

Los vector stores son bases de datos especializadas que almacenan representaciones vectoriales de documentos y permiten realizar búsquedas semánticas eficientes. En el contexto de OpenAI, un vector store actúa como una base de conocimiento donde puedes subir archivos que se procesan automáticamente para generar embeddings y facilitar la recuperación de información relevante.

Cuando subes un archivo a un vector store de OpenAI, el sistema realiza automáticamente varias operaciones críticas. Primero, procesa el contenido del documento dividiéndolo en fragmentos manejables. Luego, genera embeddings vectoriales para cada fragmento utilizando modelos de OpenAI especializados en la creación de representaciones semánticas. Finalmente, almacena estos vectores junto con los metadatos del documento original.

Funcionamiento interno de los vector stores

La arquitectura subyacente de los vector stores se basa en algoritmos de búsqueda por similitud vectorial. Cada fragmento de texto se convierte en un vector de alta dimensionalidad que captura el significado semántico del contenido. Cuando realizas una consulta, el sistema genera un embedding de tu pregunta y busca los vectores más similares en el almacén.

El proceso de indexación automática elimina la complejidad de gestionar embeddings manualmente. OpenAI se encarga de:

• Dividir documentos en chunks apropiados
• Generar embeddings consistentes
• Optimizar el índice para búsquedas rápidas
• Mantener la coherencia entre actualizaciones

Creación y gestión de vector stores

Para crear un vector store, utilizas la API de OpenAI de forma directa. El proceso comienza subiendo archivos al sistema de archivos de OpenAI y luego asociándolos con un vector store específico:

from openai import OpenAI

client = OpenAI()

# Crear un vector store
vector_store = client.vector_stores.create(
    name="documentos_empresa"
)

print(f"Vector store creado: {vector_store.id}")

Una vez creado el vector store, puedes agregar archivos que se procesarán automáticamente. El sistema soporta múltiples formatos incluyendo PDF, Word, Markdown, y archivos de código:

# Subir archivo al sistema de archivos
with open("manual_usuario.pdf", "rb") as archivo:
    file_response = client.files.create(
        file=archivo,
        purpose="assistants"
    )

# Asociar el archivo con el vector store
client.vector_stores.files.create(
    vector_store_id=vector_store.id,
    file_id=file_response.id
)

Ejemplo:

Verificación del estado de procesamiento

El procesamiento de archivos en vector stores es asíncrono. Después de subir un archivo, necesitas verificar que el procesamiento se haya completado antes de utilizarlo en consultas:

# Verificar estado de los archivos en el vector store
archivos = client.vector_stores.files.list(
    vector_store_id=vector_store.id
)

for archivo in archivos.data:
    print(f"Archivo: {archivo.id}, Estado: {archivo.status}")
    
    if archivo.status == "completed":
        print("✓ Archivo listo para búsquedas")
    elif archivo.status == "in_progress":
        print("⏳ Procesando...")
    elif archivo.status == "failed":
        print("❌ Error en el procesamiento")

Ventajas de los vector stores gestionados

Los vector stores de OpenAI ofrecen ventajas significativas sobre implementaciones personalizadas. No necesitas gestionar la infraestructura de embeddings, optimizar algoritmos de búsqueda, o manejar la escalabilidad del sistema. La integración nativa con los modelos de OpenAI garantiza compatibilidad óptima y rendimiento consistente.

La gestión automática de metadatos permite filtrar búsquedas por características específicas de los documentos. Puedes asociar información adicional a cada archivo que luego utilizarás para refinar las consultas:

# Agregar archivo con metadatos personalizados
client.vector_stores.files.create(
    vector_store_id=vector_store.id,
    file_id=file_response.id,
    metadata={
        "departamento": "ventas",
        "tipo_documento": "manual",
        "version": "2.1"
    }
)

Los vector stores representan una abstracción de alto nivel que simplifica significativamente la implementación de sistemas de recuperación de información. Al encapsular la complejidad técnica de los embeddings y la búsqueda vectorial, permiten que los desarrolladores se concentren en la lógica de aplicación específica de sus casos de uso.

La gran ventaja es que ya podemos hacer búsquedas sobre esos vector stores y openai gestiona su uso internamente:

Qué es RAG con vector stores en OpenAI

RAG (Retrieval-Augmented Generation) con vector stores representa una metodología que combina la capacidad de recuperación de información de los vector stores con la generación de respuestas de los modelos de lenguaje de OpenAI. Esta aproximación permite que los modelos accedan a conocimiento específico almacenado en tus documentos para generar respuestas más precisas y contextualizadas.

El flujo de trabajo de RAG con vector stores funciona en dos fases principales. Primero, el sistema realiza una búsqueda semántica en el vector store para encontrar fragmentos de información relevantes a la consulta del usuario. Posteriormente, estos fragmentos se incorporan como contexto en la generación de la respuesta, permitiendo que el modelo base su respuesta en información específica de tus documentos.

Implementación de RAG con la API Responses

La API Responses de OpenAI simplifica significativamente la implementación de RAG al integrar automáticamente la búsqueda en vector stores con la generación de respuestas. Solo necesitas especificar la herramienta file_search junto con los IDs de los vector stores que deseas consultar:

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-4.1-mini",
    input="¿Cuáles son los procedimientos de seguridad en caso de emergencia?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": ["vs-abc123def456"]
    }]
)

print(response.output_text)

Este enfoque automatizado elimina la necesidad de implementar manualmente la lógica de recuperación y combinación de contexto. OpenAI gestiona internamente la búsqueda vectorial, la selección de fragmentos relevantes, y la integración con el prompt del modelo.

Análisis de la respuesta RAG

Cuando utilizas RAG con vector stores, la respuesta incluye múltiples componentes que proporcionan transparencia sobre el proceso de recuperación. La respuesta contiene tanto el texto generado como información detallada sobre las fuentes consultadas:

response = client.responses.create(
    model="gpt-4.1-mini",
    input="Explica el proceso de onboarding para nuevos empleados",
    tools=[{
        "type": "file_search",
        "vector_store_ids": ["vs-abc123def456"]
    }],
    include=["file_search_call.results"]
)

# Acceder a los diferentes componentes de la respuesta
for output in response.output:
    if output.type == "file_search_call":
        print(f"Búsqueda realizada: {output.queries}")
        print(f"Estado: {output.status}")
    elif output.type == "message":
        print(f"Respuesta: {output.content[0].text}")
        # Revisar anotaciones y citas
        for annotation in output.content[0].annotations:
            if annotation.type == "file_citation":
                print(f"Fuente: {annotation.filename}")

Personalización de la recuperación

RAG con vector stores ofrece opciones de personalización que permiten ajustar el comportamiento de la búsqueda según las necesidades específicas de tu aplicación. Puedes limitar el número de resultados para optimizar el rendimiento y reducir el uso de tokens:

response = client.responses.create(
    model="gpt-4.1-mini",
    input="¿Qué políticas tenemos sobre trabajo remoto?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": ["vs-abc123def456"],
        "max_num_results": 3  # Limitar a 3 fragmentos más relevantes
    }]
)

La filtración por metadatos permite realizar búsquedas más específicas cuando tienes documentos categorizados. Esto es especialmente útil en organizaciones con múltiples departamentos o tipos de documentación:

response = client.responses.create(
    model="gpt-4.1-mini",
    input="¿Cuáles son los beneficios para empleados de tiempo completo?",
    tools=[{
        "type": "file_search",
        "vector_store_ids": ["vs-abc123def456"],
        "filters": {
            "type": "eq",
            "key": "departamento",
            "value": "recursos_humanos"
        }
    }]
)

Ventajas del RAG gestionado

El RAG con vector stores de OpenAI proporciona ventajas operacionales significativas comparado con implementaciones personalizadas. El sistema maneja automáticamente la optimización de consultas, la selección de fragmentos relevantes, y la integración contextual con el modelo de lenguaje.

La trazabilidad automática es otra característica clave. Cada respuesta incluye referencias específicas a los documentos fuente, permitiendo verificar la información y mantener la transparencia en las respuestas generadas. Esto es crucial para aplicaciones empresariales donde la verificabilidad de la información es fundamental.

El enfoque de RAG con vector stores transforma documentos estáticos en conocimiento consultable de forma dinámica. Los modelos pueden acceder a información actualizada sin necesidad de reentrenamiento, manteniendo la coherencia entre el conocimiento base del modelo y la información específica de tu organización.

Alternativa a vector stores de openai

Como alternativa se puede:

1. Crear embeddings nosotros mismos usando un modelo de embeddings ya sea de OpenAI u otro proveedor o incluso un modelo open source.
2. Guardar embeddings en base de datos vectorial propia para almacenar los embeddings.
3. Hacer las queries retrieval antes de hacer las llamadas al LLM y añadir los resultados en el contexto del prompt.

For searching over many vectors quickly, we recommend using a vector database.

https://learn.microsoft.com/en-us/azure/search/search-get-started-rag 

Ejemplos de bases de datos vectoriales:

• AnalyticDB
• Cassandra/Astra DB
• Azure AI Search
• Azure SQL Database
• Chroma
• Elasticsearch
• Hologres
• Kusto
• Milvus
• MyScale
• MongoDB
• Neon Postgres
• Pinecone
• PGVector (PostgreSQL)
• PolarDB
• Qdrant
• Redis
• SingleStoreDB
• Supabase
• Tembo
• Typesense
• Vespa AI
• Weaviate
• Zilliz

Modelos embeddings de OpenAI:

• text-embedding-3-small
• text-embedding-3-large
• text-embedding-ada-002

El proceso de crear embeddings y almacenarlos en una base de datos vectorial, así como el de buscar contenido relevante utilizando estos embeddings, se conoce comúnmente como búsqueda vectorial o búsqueda por similitud.

Cuando este proceso se integra con modelos de lenguaje para mejorar sus respuestas, se denomina generación aumentada por recuperación (Retrieval-Augmented Generation, RAG).