§SOLUTION

RAG Local

Retrieval-Augmented Generation sin la nube

100% local · BM25 + HNSW · RRF

Compatible con LLM local · cero egress de datos · chunk + embed + hybrid search

El dolor

Tus docs salen de la máquina

RAG en la nube significa que tus documentos salen de tu máquina. Los costes de API escalan con el volumen de queries. La latencia se acumula a través del hop de red.

Solución VantaDB

RAG que se queda en casa

VantaDB almacena tus chunks de documento + embeddings localmente. Hybrid search (BM25 + HNSW vía RRF) recupera el contexto más relevante. Alimentalo a tu LLM local (Ollama, llama.cpp). Cero datos salen de tu máquina.

Flujo

Cómo funciona end-to-end

Chunkea documentos → embed cada chunk → db.put("corpus", chunk-id, text, vector)

Usuario pregunta → embed pregunta → db.search_memory("corpus", query_vector=q, top_k=5)

Arma contexto de los top hits → prompt = contexto + pregunta

LLM local genera respuesta fundamentada en evidencia recuperada

Métricas

Egress de datos

In-process

Retrieval híbrido

99.8%

Recall@10

Código

local-rag.pyPython · vantadb

import vantadb

db = vantadb.VantaDB("./rag_corpus")

# Index document chunks
for i, chunk in enumerate(chunks):
    db.put("corpus", f"chunk-{i}", chunk,
           metadata={"source": doc.path, "page": i},
           vector=embed(chunk))

# Hybrid retrieval for a query
query_vec = embed(user_question)
hits = db.search_memory("corpus", query_vector=query_vec, top_k=5)

# Build context for the LLM
context = "\n\n".join(hit.payload for hit in hits)
answer = local_llm.generate(f"Context: {context}\n\nQ: {user_question}")

db.close()

Construye RAG local hoy

Combina VantaDB con Ollama o llama.cpp para un pipeline de retrieval totalmente local.

pip install vantadb-py