crawlrs 0.2.0

crawlrs - Enterprise-grade web scraping and crawling platform built with Rust
Documentation
// Copyright (c) 2025-2026 Kirky.X🌠
// SPDX-License-Identifier: Apache-2.0

//! 领域服务模块
//!
//! 该模块包含系统的核心业务逻辑服务,这些服务封装了复杂的
//! 业务规则和领域逻辑,协调多个领域对象来完成业务操作。
//!
//! 包含的服务:
//! - 审计服务(audit_service):处理认证和授权决策的审计日志
//! - 提取服务(extraction_service):处理内容提取和数据解析逻辑
//! - 提取工具(extraction_utils):消除提取逻辑重复的共享工具函数
//! - 地理位置服务(geo_location):提供IP地址地理位置查询的抽象接口
//! - LLM 边界(llm):`LLMServiceTrait` 唯一边界,供应商访问由宿主注入 carrier
//! - 重试处理器(retry_handler):处理任务失败的重试逻辑
//! - 搜索服务(search_service):处理内容搜索和索引逻辑
//! - 团队服务(team_service):处理团队地理限制验证逻辑
//! - 限流服务(rate_limiting_service):处理请求限流逻辑
//! - Webhook服务(webhook_service):处理 Webhook 通知逻辑
//!
//! 领域服务与应用程序服务的区别在于:领域服务包含纯粹的业务逻辑,
//! 而应用程序服务负责协调和编排,可能包含技术实现细节。
//!
//! ## 重构
//!
//! 已删除 `auth_scope_service` 模块——API Key 权限范围管理已迁移到 garrison
//! RBAC,crawlrs 侧不再持有 `AuthScopeService`。Scope 由 `auth_middleware_inner`
//! 通过 `bridge_to_auth_state` 从 garrison `perms` 动态构造。

pub mod audit_log_builder;
pub mod audit_service;
/// 正文提取模块(content-processing R2/R3 -)
///
/// 特性门控
/// - `trafilatura`:启用 trafilatura 实现(主路径)
/// - `dom-smoothie`:启用 dom_smoothie 实现(性能回退)
/// - `extractors`:聚合两者
/// - 三特性均关闭时 Facade 退化为 CssRule 兜底(编译通过,功能可用)
pub mod content_extractor;
pub mod extraction_service;
pub mod extraction_utils;
pub mod geo_location;
pub mod id_service;
pub mod llm;
/// Markdown 转换器装配子模块(alchemize 默认 + htmd 诊断臂;moli 链已退役)
#[cfg(feature = "content")]
pub mod markdown;
/// Markdown 转换抽象与 htmd 诊断臂实现(content-processing R1)
///
/// gated `content` 特性(依赖 `htmd`)。`content` 已加入 `standard`/`full`。
#[cfg(feature = "content")]
pub mod markdown_service;
/// Noop Webhook 服务实现(webhook feature 关闭时使用)
///
/// webhook feature 关闭时编译此模块,
/// 提供 `NoopWebhookService` 替代 `WebhookServiceImpl`,
/// 所有方法返回 `Ok()`。
#[cfg(not(feature = "webhook"))]
pub mod noop_webhook_service;
/// RAG 增强提取策略
///
/// DOM 语义分块 + 向量嵌入 + 检索增强 LLM 提取。
pub mod rag_strategy;
pub mod rate_limiting_service;
pub mod relevance_scorer;
/// 语义重排(rerank):RerankProvider 抽象 + 搜索结果精准重排编排
pub mod rerank;
pub mod retry_handler;
pub mod search_service;
/// SearXNG 元搜索:实例采集 / 登记簿 / 探活 / 热池 / 熔断(见模块文档)
pub mod searxng;
pub mod team_semaphore;
pub mod team_service;
pub mod webhook_event_builder;
/// webhook feature 关闭时不编译此模块
/// (`WebhookSender` trait 只在 `WebhookServiceImpl` 中使用,后者已被门控)
#[cfg(feature = "webhook")]
pub mod webhook_sender;
pub mod webhook_service;