# Arquitectura del Sistema 🏗️
`bgustscraper` utiliza una arquitectura híbrida multi-motor de alto rendimiento que combina el lenguaje de programación **Rust** para el núcleo asíncrono asimétrico y la orquestación, y **Node.js** para la simulación avanzada de navegación en navegador y el motor local de Inteligencia Artificial (ONNX).
---
## 🗺️ 1. Flujo General de Ejecución
El siguiente diagrama detalla la interacción entre el núcleo en Rust (Tokio), el worker secundario de Node.js, Playwright, y los modelos locales:
```
┌──────────────────────────────────────────────────────────┐
│ Orquestador Rust (src/main.rs) │ ◄── [ ÁRBITRO SUPREMO ]
│ - Tokio Runtime asíncrono de alto rendimiento. │
│ - CLI parsing y menús interactivos (dialoguer). │
└────────────┬──────────────────────────────────┬──────────┘
│ (Levanta subproceso Node) │
▼ ▼
┌────────────────────────┐ ┌──────────────────────────────────┐
│ src/cache.rs │ │ src/scheduler.rs (Cron Daemon) │
│ - Caché local redb │ │ - Bucle asíncrono persistente. │
└────────────────────────┘ └──────────────────────────────────┘
│
▼ (JSON a través de Standard Pipes IPC)
┌──────────────────────────────────────────────────────────┐
│ Stealth Worker Node.js (worker/index.js) │ ◄── [ EJECUTOR DE NAVEGACIÓN ]
│ - Levanta Playwright con evasión activa (Stealth). │
│ - Genera Markdown legible. │
└────────────┬──────────────────────────────────┬──────────┘
│ (Inferencia local) │
▼ ▼
┌────────────────────────┐ ┌──────────────────────────────────┐
│ all-MiniLM-L6-v2 │ │ Qwen2.5-0.5B-Instruct │
│ (Embeddings ONNX) │ │ (ONNX Q4 Quantized) │
└────────────────────────┘ └──────────────────────────────────┘
```
---
## 🧩 2. Principales Módulos del Sistema
El proyecto está dividido modularmente para mantener alta cohesión y bajo acoplamiento:
1. **Núcleo de Orquestación (`src/main.rs`):** Coordina los parámetros de entrada de la CLI, llama a las rutinas de DuckDuckGo, lee la caché antes de disparar navegación, y procesa la descarga final con barras de progreso concurrentes.
2. **Módulo de Comunicación IPC (`src/worker.rs`):** Gestiona el ciclo de vida del subproceso Node.js, redireccionando de forma asíncrona las llamadas serializadas JSON a través del estándar `stdin`/`stdout`.
3. **Caché Transaccional Embebida (`src/cache.rs`):** Desarrollada sobre **`redb`**, implementa una base de datos local embebida y transaccional que almacena la respuesta HTTP, el markdown y los embeddings semánticos por URL de forma 100% portable.
4. **Compresión Semántica (`src/clustering.rs`):** Emplea **`linfa-clustering`** (nativa en Rust) y `ndarray` para ejecutar el algoritmo **K-Means** sobre los embeddings de las oraciones del sitio web, seleccionando las oraciones más cercanas a los centroides para construir una compresión extractiva ultra-densa.
5. **Extractor Semántico (`src/semantic_extractor.rs`):** Invoca el modelo generativo local Qwen pasándole el texto comprimido y el prompt estricto de extracción.
6. **Servidor Web Axum (`src/api.rs`):** Expone los datos e historial de caché a través de una API HTTP securizada con JWT.