Skip to main content

Module attachments

Module attachments 

Source
Expand description

附件的存储与下载:响应里只列 {id, format, bytes, hash},内容用 GET /v2/attachments/{id} 取。

  • 保留期与结果相同(crate::jobs::JOB_TTL,任务结果的保留期);每次再出现同一内容就续期。
  • 内容寻址(id 是 SHA-256 前缀加扩展名),同一内容只存一份。
  • 占用有上限:内存预算(pagesift_net::resources::budget)的 δ,超出时先淘汰最早过期的。
  • 存在进程内存里,服务重启后附件不在了(任务结果若持久化,重启后仍在,附件需要重抓)。
  • 下载接口和其他抓取接口一样在鉴权之后;id 是 128 位哈希前缀,猜不到。

Functions§

get
取一个附件:(内容,MIME 类型)。过期或不存在时为 None。
keep
记下文档里的附件内容(没有内容的跳过)。