Module crawl 

整站爬取和 map（PRD 6.6）：URL 规范化、爬取范围、sitemap 解析、广度优先遍历， 以及带查询时的相关性优先遍历（见 crate::focus）。

限速、robots 和冷却全部走策略层，所以整站爬取和单页抓取一样守规矩。

Structs

Scope

爬取范围：哪些发现的 URL 可以进入队列。

Functions

allow_subdomains

要不要进同站点的其他子域名：没明说时，带查询的爬取要（国际生服务、招生常在子域上），广度优先不要。

normalize

URL 规范化（F-6.2），用来去重：去掉 fragment；查询参数排序，或者整个去掉。 协议和主机的小写、默认端口、.. 路径由 URL 解析本身处理。