§STORAGE

Single-Binary Storage

LSM-tree → WAL con CRC32C → HNSW index → SDK boundary PyO3. Un binario Rust reemplaza Pinecone + Redis + S3. Sin containers, sin sidecars.

Binario Rust · PyO3 boundary

Arquitectura

Un binario. Cuatro capas.

Datos fluyen top → bottom: write entra por LSM, se persiste al WAL, actualiza el HNSW, se expone via PyO3. Lectura va directo a los índices.

01 / 04

LSM-tree

Capa 1

Log-structured merge tree. Writes secuenciales, compaction en background. Memtable → SSTables → bloom filters.

↓

02 / 04

WAL + CRC32C

Capa 2

Write-ahead log con checksums CRC32C por entrada. Cada mutación se persiste antes de confirmar. Crash-safe by design.

↓

03 / 04

HNSW index

Capa 3

Hierarchical Navigable Small World graph. Búsqueda vectorial approximada con recall 0.998@10. Derivado — rebuildable desde WAL.

↓

04 / 04

SDK boundary (PyO3)

Capa 4

FFI boundary Rust ↔ Python via PyO3. Sin leaks de raw pointers. Stable ABI entre releases. Python SDK expose, Rust core persists.

Write path ↓Read path ↑ (directo al índice)

Reemplaza

Pinecone + Redis + S3 → un binario

LSM-tree storage

Reemplaza B-tree de SQLite/Postgres para workloads write-heavy. Sequential I/O, no random seeks. Compaction tiered — sin write amplification excesivo.

WAL durability

Reemplaza Redis AOF + Postgres WAL. Una sola log structure, no dos. CRC32C por entrada — detecta corruption bit-level. Recovery en milisegundos.

HNSW vector index

Reemplaza el ANN index de Pinecone/Qdrant. In-process, sin serialization. M=32, efConstruction=200. Recall 0.998@10 con 1M vectores.

PyO3 SDK boundary

Reemplaza HTTP/gRPC SDK de cloud DBs. Zero network. Una llamada FFI, no una request. Python objects → Rust structs sin copy cuando es posible.

Un binario. Cero moving parts.

pip install vantadb-py — Pinecone, Redis y S3 ya no son necesarios.

pip install vantadb-py