Expand description
审计日志:每次抓取写一行 JSON(只有元数据),结果可疑时另存当时的 HTML,供事后复现。
单进程长期运行的服务(serve、mcp http)用它当真实流量的测试场:抓了什么、走了哪个引擎、
结果怎样、哪里不对,都能从日志里按站点和调用方汇总,可疑页面能用快照在本地反复重放。
- 日志按大小轮转:超过上限就把当前文件改名为
<path>.1(覆盖旧的)再新开,磁盘占用不超过两份上限。 - URL 默认去掉用户名密码,查询参数里像凭证的值(token、key、signature……)换成
REDACTED。 - 快照只在结果可疑时写,每天有条数上限,单个文件有大小上限。
Structs§
- Audit
- Audit
Config - 审计日志配置。
Constants§
- SUSPICIOUS_
WARNINGS - 这一类问题值得留快照:页面抓到了,但正文可能丢了。
Statics§
- CLIENT
- 发起这次抓取的客户端(MCP 的 clientInfo 名称等),只用于审计日志。
- COLLECT
- 多服务器工人:这个任务写出的审计记录另收集一份,随结果交给网关统一追加(见
pagesift的cluster模块)。
Functions§
- redact_
url - 去掉 URL 里的用户名密码,查询参数里像凭证的值换成
REDACTED。