# Portal de Documentación Oficial de bgustscraper 📖📡
¡Bienvenido al portal oficial de documentación de **`bgustscraper`**! Este repositorio aloja una solución híbrida de ingesta y raspado de datos semánticos, segura, 100% local y modular, desarrollada en **Rust** y **Node.js/Playwright**.
A continuación, encontrarás el índice estructurado de la documentación. Este sistema está organizado de manera sencilla y secuencial para proporcionar una curva de aprendizaje óptima, imitando la estructura de Docusaurus:
---
## 🗺️ Índice de Contenidos
### 1. ⚙️ Primeros Pasos e Instalación
* [Instalación y Configuración](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/installation.md): Requisitos previos, puesta en marcha local, variables de entorno y despliegue rápido con Docker.
* [Configuración Manual e Intervenciones](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/manual_configuration.md): Detalles críticos sobre variables `.env`, el archivo `config/schedule.json`, y la caché offline de modelos de Hugging Face.
### 2. 🏗️ Arquitectura y Funcionamiento
* [Arquitectura del Sistema](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/architecture.md): Mapa conceptual, flujo general IPC, árbol de subprocesos y descripción modular de componentes.
* [Telemetría y Rendimiento (Benchmark)](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/benchmark.md): Análisis comparativo de uso de memoria RAM pico y tiempos de respuesta en CPU local.
### 3. 🎯 Métodos de Scraping e Ingesta (Detallados)
`bgustscraper` orquesta de forma asimétrica e inteligente cinco métodos y capas de red/procesamiento:
* [Método 1: Detección Sintáctica Estática](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/methods/syntactic.md): Búsqueda tradicional y parsing rápido HTML.
* [Método 2: Deep Scan Interactivo (Playwright)](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/methods/deep_scan.md): Automatización de clics interactivos de descarga en SPAs.
* [Método 3: Bypass TLS e IP Profile (Cloudscraper)](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/methods/tls_bypass.md): Conexiones HTTP simulando navegadores para eludir Cloudflare.
* [Método 4: Compresión Semántica K-Means (Rust)](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/methods/semantic_clustering.md): Resumen de oraciones clave mediante machine learning nativo.
* [Método 5: Extracción Estructurada Generativa (Qwen ONNX)](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/methods/semantic_extraction.md): Inferencia local offline para retornar JSON estructurado.
### 4. ⏰ Automatización y Exposición SaaS
* [Planificador de Agenda (Scheduler)](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/scheduler.md): Daemon de Tokio persistente que controla ventanas horarias evitando spam mediante marcas transaccionales en la caché.
* [Servidor Web API Axum](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/web_api.md): Arquitectura de servicio SaaS protegida con firma criptográfica JWT.
* [Especificación OpenAPI 3.0](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/openapi.md): Catálogo de endpoints públicos y seguros expuestos bajo la especificación OpenAPI.
### 5. 📦 Distribución y Producción
* [Empaquetamiento y Distribución en Linux](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/docs/cli_packaging.md): Cómo compilar el ejecutable nativo en Rust y empaquetar el ecosistema de dependencias en Linux.
---
## 📜 Licencias y Atribuciones de Código Abierto
* [Créditos del Proyecto](file:///home/august/code/bgust-nlp-ecosystem/bgustscraper/CREDITS.md): Agradecimientos, licencias y menciones de todas las librerías, modelos (all-MiniLM, Qwen) y paquetes npm/crates que hacen posible este ecosistema.