cfprobe
Cloudflare CDN / 反向代理 识别引擎。通过综合 IP 段归属、DNS 解析、TLS 握手、HTTP 指纹 四路证据,
以 基于规则的证据评分引擎 判定一个 IP + Hostname 是否是 Cloudflare 边缘节点上的站点,
并给出置信度、详细证据链和各阶段探测结果。
特性
- 多路证据融合:Cloudflare 官方 IP 段 + DNS 多解析器共识 + CNAME 链 + TLS 证书 + HTTP 头指纹(
CF-Ray、Server: cloudflare等) - 可插拔策略:内置
CloudflareWebProxyV1策略;也可实现DetectionPolicytrait 自定义分类规则 - 安全 SSRF 防护:
TargetPolicy默认拒绝私网 / link-local / 组播 / localhost 等目标,可按需放宽 - 多级缓存:
- DNS 内存缓存(TTL + 容量淘汰)
- Cloudflare 官方 IP 范围:内存 + 磁盘 + 跨进程文件锁 + stale-while-revalidate
- 高并发:
- 单目标内 DNS / TLS / HTTP 三路探测并发执行
- DNS 单解析器内 A/AAAA、MX、TXT、NS 并发;多解析器同时并发
- 批量扫描:可控并发度 + RPS 限流 + 按目标超时 + CancellationToken 取消
- 运行模式:
- Rust 库(
cfprobecrate) - 命令行(
cfprobe probe / scan / serve) - HTTP 服务(
axum,/probe单目标 +/scan批量 +/metrics统计)
- Rust 库(
- 完整观测:每个阶段有独立
ProbeResult,含duration、错误、最终DetectionResult(总分、置信度等级、正负证据列表、可读 summary)
架构
┌──────────────────────────────────┐
│ CfProbe (facade) │
└──────────────────────────────────┘
│
┌──────────────────────────┼──────────────────────────┐
│ │ │
┌─────▼─────┐ ┌─────▼─────┐ ┌─────▼─────┐
│ IP/DNS │ │ TLS │ │ HTTP │
│ Detector │ │ Prober │ │ Prober │
└─────┬─────┘ └─────┬─────┘ └─────┬─────┘
│ │ │
└──────────────────────────┼──────────────────────────┘
▼
┌──────────────────────────┐
│ Evidence Engine │
│ + DetectionPolicy │
└──────────────────────────┘
│
▼
DetectionResult {
classification, confidence,
score, evidence[], summary
}
阶段顺序:
CloudflareRanges— 加载官方 IP/CIDR(内存 cache → 磁盘 cache → HTTP)Ip— 本地 CIDR 匹配,判断 IP 是否归属 CloudflareDns/Tls/Http— 三路 join 并发Evidence— 汇总所有信号,按策略打分分类
快速开始
作为库使用
Cargo.toml:
[]
= "0.1"
= { = "1", = ["rt-multi-thread", "macros"] }
单次探测
use IpAddr;
use ;
async
批量扫描(流式)
use IpAddr;
use Duration;
use StreamExt;
use ;
async
命令行
# 构建
# 单次探测
# 批量扫描(从 targets.jsonl 读取,每行一个 JSON Target)
# 启动 HTTP API 服务
# JSON 结构化日志
HTTP API
启动服务:cfprobe serve --listen 0.0.0.0:8080
GET /version
POST /probe 单目标
返回完整的 ProbeResult(含 IP/DNS/TLS/HTTP/Evidence 各阶段详情、错误列表)。
POST /scan 批量
按完成顺序 streaming 返回 application/x-ndjson(每行一个 BatchItemResult)。
GET /metrics
纯 JSON 指标(请求总数、成功/失败/超时/取消计数、Cloudflare 三态分类计数、in_flight 等)。
核心概念
Target(探测目标)
便捷构造:
Target::https(ip, hostname)→ port=443 + HttpsTarget::http(ip, hostname)→ port=80 + Http
DetectionClassification(最终分类)
| 枚举值 | 含义 |
|---|---|
Cloudflare |
综合证据判定为 Cloudflare 代理 |
NotCloudflare |
综合证据判定不是 Cloudflare |
Unknown |
证据不足,或 Cloudflare 官方 IP 段加载失败且 require_cloudflare_ranges = true |
ConfidenceLevel(置信度等级)
VeryHigh > High > Medium > Low > Insufficient
置信度由 DetectionPolicy::ConfidenceRuleSet 的 (base + score/divisor) 公式计算,
并按阈值映射到等级。
EvidenceItem(证据条目)
每个 EvidenceItem 包含:
kind:EvidenceKind枚举(共 22 种,如CloudflareIpRange、HttpCfRay、DnsResolverConsensus…)direction:Positive/Negative/Neutralcategory:Ip/Dns/Tls/Httpscore: 该条证据的加权分(正值加分、负值减分,最终累加到DetectionResult.score)detail:serde_json::Value可读细节
最终 summary 字段会把所有证据按正负数量、强信号拼成人可读的一句话说明。
模块速览
cloudflare— 官方 IP 段拉取(CloudflareClient)+ 多级缓存(CloudflareRangeCache:内存 / 磁盘 fs2 文件锁 / stale fallback)+ 命中检测dns— 抽象DnsBackend+HickoryDnsResolver(hickory-resolver, 支持 DoH) +DnsPool(多解析器并发聚合,可插拔 DNS 内存缓存)+DnsDetector(CNAME 链遍历、多解析器共识、私网应答过滤、熔断、PTR 反查)tls— rustls 握手,证书 SHA256 / subject / issuer / SAN 解析;支持verify_certificate与observation_fallback(验证失败但仍记录证书信号)http— reqwest 连接池复用(按(scheme, ip, hostname, port)缓存 Client),抽取 Cloudflare 头信号(CF-Ray / CF-Cache-Status / Server: cloudflare / CF-Connecting-IP 等)evidence—EvidenceEngine+DetectionPolicy;内置CloudflareWebProxyV1是一组针对 Cloudflare Web 反代的调优规则集(IP 段 25 分、DNS 共识、CNAME 指向 Cloudflare、CF-Ray 头 50 分等)probe— 外层 facade:CfProbe、CfProbeConfig、TargetPolicy(SSRF 防护)、批量scan_unorderedserver— axum HTTP 服务:/probe/scan/metrics/health/version,JSON metrics
性能要点
本引擎设计用于批量扫描公网目标,核心性能关键路径:
| 优化点 | 实现 |
|---|---|
| DNS 多路并发 | 解析器间并发(semaphore 控制) + 单解析器内 A/AAAA/MX/TXT/NS join! 并发 |
| 单目标三阶段并发 | DNS / TLS / HTTP tokio::join!,总耗时 ≈ max(三阶段) 而非 sum |
| TLS ClientConfig 预构建 | TlsProber::new 时一次性初始化 RootCertStore(webpki-roots 150+ 根),缓存 Arc<ClientConfig> |
| HTTP 连接池 | 按目标 (scheme, ip, hostname, port) 复用 reqwest::Client,避免每次重建 connector |
| 平滑 RPS 限流 | StartRateLimiter 预约式槽位:先短暂持锁排期、再解锁 sleep,避免持锁等待阻塞其他任务 |
| Cloudflare 缓存 | 三级 cache:内存 RwLock → 磁盘 JSON(fs2 文件锁跨进程互斥) → stale-while-revalidate(网络失败时可回退陈旧磁盘缓存) |
| DNS 内存缓存 | 容量上限 + TTL 双重淘汰;CNAME 链、IP、MX、TXT、NS、PTR 六类独立缓存 |
| 批量取消 | CancellationToken 贯穿所有阶段:IP 范围拉取、DNS、TLS、HTTP、PTR、证据引擎全路径可提前退出 |
SSRF / 目标策略
TargetPolicy::cloudflare_web_proxy_v1() 默认启用以下防护(可调):
- ❌ 拒绝 loopback / RFC1918 / link-local / 组播 / unspecified / documentation(192.0.2.x 等) / benchmark / IPv4 映射 IPv6 的私网段
- ❌ 拒绝 hostname 为
localhost/.local./.internal./.localhost - ❌ 拒绝 DNS 解析结果为私网 IP(可避免 DNS rebinding)
- ❌ 仅允许 Cloudflare Web Proxy 官方端口:
- HTTP: 80, 8080, 8880, 2052, 2082, 2086, 2095
- HTTPS: 443, 2053, 2083, 2087, 2096, 8443
可单独构造 TargetPolicy 并通过 CfProbeConfig::with_target_policy() 覆盖以适配内网扫描场景。
安全说明
cfprobe是主动出站探测工具,目标 IP/端口完全由调用方提供。请在接入不可信输入前过一层TargetPolicy::validate_target / validate_dns。- rustls 采用
ring加密提供者,首次使用前请在 main 入口调用cfprobe::init_rustls_crypto()(在CfProbe::new内部会自动调用;如果直接使用单独模块如TlsProber::new请手动调用一次)。 - HTTP 探测最大 body 读取量由
HttpProbeConfig.max_body_bytes控制(默认 1 MiB),避免大响应吞带宽。 - 批量扫描的 QPS、并发度、超时请按出口带宽和对端容忍度合理设定;
CloudflareWebProxyV1仅用于授权资产审计。
测试
# 单元/集成测试(排除需要真实公网访问的 slow tests)
# 单独跑集成测试(需要真实公网访问)
License
MIT