Skip to main content

Module change

Module change 

Source
Expand description

变化检测(Firecrawl 的 changeTracking 格式):和存储里同一 URL、同一 tag 上一次抓到的 正文 Markdown 比较,给出 new/same/changed/removed,按需附上 git diff 风格的差异。

每次抓取都把这次的正文追加成一份快照(内容按哈希去重,没变的页面不多占空间)。 快照的第一个字节标明种类:正文,或者页面已经不存在(404/410)。

Structs§

Outcome
比较的结果:给 Firecrawl 的字段,加上计算 json 模式需要的上一版正文。
Tracking
解析好的 changeTracking 格式参数。

Enums§

Current
这一次抓到的内容。
Previous
上一份快照的内容。

Functions§

git_diff
{"text": ..., "json": ...}:文本是统一格式的 hunk,JSON 是 parse-diff(Firecrawl 用的库)的结构。
json_changes
json 模式:两版提取结果里值不同的字段,写成 {"字段": {"previous": 旧值, "current": 新值}}。
track
和上一次比较并记录这一次。