bgustscraper 0.2.0

Advanced semantic scraping engine with AI-driven compliance checks and legal terms validation
Documentation 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64

# Cr茅ditos y Atribuciones de C贸digo Abierto 馃摐

Este proyecto es posible gracias a la incre铆ble comunidad global de c贸digo abierto. A continuaci贸n se detallan de forma exhaustiva todas las bibliotecas, herramientas y modelos de inteligencia artificial utilizados en `bgustscraper` bajo sus respectivas licencias y atribuciones para garantizar el pleno cumplimiento legal y evitar cualquier infracci贸n de propiedad intelectual.

---

## 馃 Ecosistema Rust (N煤cleo y Orquestaci贸n)

El motor principal, la base de datos de cach茅 y la API segura est谩n desarrollados sobre crates de Rust licenciados bajo esquemas permisivos:

*   **[Tokio](https://tokio.rs/) (Licencia MIT):** Runtime as铆ncrono multi-hilo de alto rendimiento para la orquestaci贸n as铆ncrona de tareas y daemon del programador.
*   **[Axum](https://github.com/tokio-rs/axum) (Licencia MIT):** Framework web as铆ncrono, modular y fuertemente tipado para el servidor API seguro.
*   **[Tower-HTTP](https://github.com/tower-rs/tower-http) (Licencia MIT):** Middleware HTTP para Axum que implementa CORS y servicios de archivos.
*   **[jsonwebtoken](https://github.com/Keats/jsonwebtoken) (Licencia MIT):** Codificaci贸n y decodificaci贸n criptogr谩fica segura basada en HS256 para tokens JWT.
*   **[redb](https://github.com/cberner/redb) (Licencia MIT / Apache-2.0):** Base de datos embebida transaccional persistente y portable en Rust puro.
*   **[linfa](https://github.com/rust-ml/linfa) y [linfa-clustering](https://github.com/rust-ml/linfa) (Licencia MIT / Apache-2.0):** Caja oficial de Machine Learning en Rust, utilizada para el agrupamiento sem谩ntico K-Means de oraciones.
*   **[ndarray](https://github.com/rust-ndarray/ndarray) (Licencia MIT / Apache-2.0):** Estructura matricial n-dimensional para 谩lgebra y c谩lculos num茅ricos optimizados.
*   **[Chrono](https://github.com/chronotope/chrono) (Licencia MIT / Apache-2.0):** Biblioteca nativa y segura para la gesti贸n horaria, fechas y zonas horarias en Rust.
*   **[sysinfo](https://github.com/GuillaumeGomez/sysinfo) (Licencia MIT):** M贸dulo de telemetr铆a para la lectura de procesos y uso de RAM en el benchmark.
*   **[Burn](https://burn.dev/) (Licencia MIT / Apache-2.0):** Framework nativo de Deep Learning en Rust utilizado en el NLP Core.
*   **[Reqwest](https://github.com/seanmonstar/reqwest) (Licencia MIT / Apache-2.0):** Cliente HTTP as铆ncrono utilizado para la descarga de documentos con progreso.
*   **[Scraper](https://github.com/causal-agent/scraper) (Licencia MIT):** Biblioteca para el parseo est谩tico y consulta CSS sobre el 谩rbol DOM HTML.
*   **[Clap](https://clap.rs/) (Licencia MIT / Apache-2.0):** Procesador de comandos de consola e interfaz por CLI robusta.
*   **[Indicatif](https://github.com/console-rs/indicatif) (Licencia MIT):** Renderizador de barras de progreso concurrentes y din谩micas en la consola.
*   **[Dialoguer](https://github.com/console-rs/dialoguer) (Licencia MIT):** Suite de men煤s e interactivos t谩ctiles para la terminal.
*   **[Tokenizers](https://github.com/huggingface/tokenizers) (Licencia Apache-2.0):** Implementaciones r谩pidas de tokenizaci贸n de Hugging Face para Rust.
*   **[Anyhow](https://github.com/dtolnay/anyhow) (Licencia MIT / Apache-2.0):** Herramienta idiom谩tica para la propagaci贸n 谩gil de errores en Rust.
*   **[Futures-Util](https://github.com/rust-lang/futures-rs) (Licencia MIT / Apache-2.0):** Extensiones y utilidades as铆ncronas para el manejo de streams y futures en Rust.
*   **[Url](https://github.com/servo/rust-url) (Licencia MIT / Apache-2.0):** Parser de URLs e hiperv铆nculos conforme al est谩ndar WHATWG.
*   **[UrlEncoding](https://github.com/bt/rust_urlencoding) (Licencia MIT):** Codificaci贸n y decodificaci贸n ultra-r谩pida de cadenas de texto URL-safe.
*   **[Serde](https://serde.rs/) y [Serde_JSON](https://github.com/serde-rs/json) (Licencia MIT / Apache-2.0):** Framework universal para la serializaci贸n y deserializaci贸n de estructuras en formato JSON.
*   **[HF-Hub](https://github.com/huggingface/hf-hub) (Licencia MIT / Apache-2.0):** API ligera en Rust para interactuar con repositorios de Hugging Face.
*   **[Rand](https://github.com/rust-random/rand) (Licencia MIT / Apache-2.0):** Biblioteca aleatoria oficial para Rust, parcheada de forma segura.

---

## 馃寪 Navegaci贸n, Evasi贸n de Bloqueos e IPC (Worker JavaScript)

El subproceso de navegaci贸n as铆ncrona de fondo utiliza Node.js y un completo conjunto de dependencias de la comunidad JS:

*   **[Playwright](https://playwright.dev/) (Licencia Apache-2.0):** Motor de automatizaci贸n y orquestaci贸n de navegadores Chromium en modo Headless.
*   **[Playwright-Extra](https://github.com/berstend/puppeteer-extra/tree/master/packages/playwright-extra) (Licencia MIT):** Framework modular para soporte de plugins en Playwright.
*   **[Puppeteer-Extra-Plugin-Stealth](https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-stealth) (Licencia MIT):** Mecanismos de evasi贸n activa de firmas de bot y perfiles automatizados.
*   **[Cloudscraper](https://github.com/codemanki/cloudscraper) (Licencia MIT):** Cliente HTTP con simulaci贸n de negociaci贸n TLS y bypass para Cloudflare.
*   **[Axios](https://github.com/axios/axios) (Licencia MIT):** Cliente HTTP basado en promesas para peticiones JSON ligeras en Node.js.
*   **[Proxy-Chain](https://github.com/apify/proxy-chain) (Licencia MIT):** Herramienta para enrutar tr谩fico a trav茅s de proxies y retransmitir t煤neles.
*   **[Tough-Cookie](https://github.com/salesforce/tough-cookie) (Licencia BSD-3-Clause):** Parser y almacenamiento persistente (Cookie Jar) compatible con RFC 6265.
*   **[Turndown](https://github.com/mixmark-io/turndown) (Licencia MIT):** Biblioteca as铆ncrona para convertir c贸digo HTML en Markdown limpio.
*   **[Turndown-Plugin-GFM](https://github.com/mixmark-io/turndown-plugin-gfm) (Licencia MIT):** Plugin extensor de Turndown para dar soporte a GitHub Flavored Markdown (tablas, listas tachadas, etc.).
*   **[Node.js](https://nodejs.org/) (Licencia MIT / V8):** Entorno de ejecuci贸n as铆ncrono para el worker y los modelos ONNX.

---

## 馃 Modelos de Inteligencia Artificial (NLP Local)

*   **[Transformers.js](https://github.com/huggingface/transformers.js) (Hugging Face - Licencia Apache-2.0):** Biblioteca oficial para la inferencia de modelos ONNX Runtime de Hugging Face en JS.
*   **[ONNX Runtime](https://onnxruntime.ai/) (Microsoft - Licencia MIT):** Motor de inferencia multiplataforma de baja latencia utilizado para procesar modelos locales en CPU.
*   **[all-MiniLM-L6-v2 ONNX](https://huggingface.co/Xenova/all-MiniLM-L6-v2) (Sentence-Transformers / Xenova - Licencia Apache-2.0):** Modelo bi-encoder de embeddings con codificaci贸n espacial para similitud sem谩ntica.
*   **[Qwen2.5-0.5B-Instruct ONNX](https://huggingface.co/onnx-community/Qwen2.5-0.5B-Instruct) (Alibaba Qwen Team / ONNX Community - Licencia Apache-2.0):** Modelo generativo ultra-eficiente de 500 millones de par谩metros cuantizado en Q4 para estructuraci贸n local text-to-JSON.
*   **[SmolLM2-135M-Instruct](https://huggingface.co/HuggingFaceTB/SmolLM2-135M-Instruct) (HuggingFaceTB - Licencia Apache-2.0):** Modelo conversacional ultra-ligero para pre-procesamiento legal.

---

Agradecemos profundamente el esfuerzo incansable de los mantenedores y contribuidores de todos estos proyectos libres que hacen viable el desarrollo robusto y legal de `bgustscraper`.