1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
// Copyright (c) 2025-2026 Kirky.X🌠
// SPDX-License-Identifier: Apache-2.0
//! 分层去重器
//!
//! 统一 UrlNormalizer + UrlInterner(Bloom + HashSet)的对外接口,
//! 供 `scrape_worker::extract_and_queue_links` 接入:
//!
//! ```text
//! candidate URL
//! │
//! ▼
//! normalizer.normalize(url)
//! │
//! ▼
//! normalizer.permutations(normalized) ← 生成等价变体
//! │
//! ▼
//! deduplicator.check(variants) ← L1+L2 双层预筛
//! │
//! ├─ DefinitelyNew ──► 直接入队 + insert(或用 check_and_insert 原子化)
//! │
//! └─ MaybeExisting ──► find_existing_urls DB 精确校验
//! ```
//!
//! ## 设计原则
//!
//! - **DB 保权威**:Bloom 阳性不直接判定为"已存在",必须回落 DB 校验
//! - **错误显性化** 去重错误显性返回 `DedupError`,不静默跳过
//! - **简洁优先** 仅暴露 `Deduplicator::check` 与 `Deduplicator::insert`,
//! 内部组合 UrlNormalizer + UrlInterner
//! - **TOCTOU 防御**:`Deduplicator::check_and_insert` 原子化 check + insert,
//! 避免多 worker 并发时重复入队
//! - **接口隔离** `mod.rs` 只放 trait/pub 结构体/re-export,
//! 实现见 `deduplicator`、`bloom`、`interner` 子模块
pub use ;
pub use Deduplicator;
pub use UrlInterner;
use crateUrlError;
/// 去重检查结果
///
/// 严格区分"绝对新"与"可能已存在"两种语义:
/// - `DefinitelyNew`:Bloom 全部阴性 → 100% 未爬过(无假阴性保证)
/// - `MaybeExisting`:Bloom 至少一个阳性 → 可能已爬过,需 DB 精确校验
/// 去重错误(显性化)