bms_table/
fetch.rs

1//! 数据获取与 HTML 解析辅助模块
2//!
3//! 在启用 `scraper` 特性时提供 HTML 解析能力，用于从页面的
4//! `<meta name="bmstable" content="...">` 中提取头部 JSON 的地址。
5//! 同时提供一个统一的入口将响应字符串解析为头部 JSON 或其 URL。
6//!
7//! # 示例
8//!
9//! ```rust
10//! # use bms_table::fetch::{get_web_header_json_value, HeaderQueryContent};
11//! let html = r#"
12//! <!DOCTYPE html>
13//! <html>
14//!   <head>
15//!     <meta name="bmstable" content="header.json">
16//!   </head>
17//!   <body></body>
18//! </html>
19//! "#;
20//! match get_web_header_json_value(html).unwrap() {
21//!     HeaderQueryContent::Url(u) => assert_eq!(u, "header.json"),
22//!     _ => unreachable!(),
23//! }
24//! ```
25#![cfg(feature = "scraper")]
26
27pub mod reqwest;
28
29use anyhow::{Result, anyhow};
30use scraper::{Html, Selector};
31use serde_json::Value;
32
33/// [`get_web_header_json_value`] 的返回类型。
34///
35/// - 当输入是 HTML 时，返回从 `<meta name="bmstable">` 提取的 URL；
36/// - 当输入是 JSON 时，返回解析后的 JSON 值。
37pub enum HeaderQueryContent {
38    /// 提取到的头部 JSON 地址。
39    ///
40    /// 可能为相对或绝对 URL，建议使用 `url::Url::join` 进行拼接。
41    Url(String),
42    /// 原始头部 JSON 内容。
43    Json(Value),
44}
45
46/// 将响应字符串解析为头部 JSON 或其 URL。
47///
48/// 解析策略：优先尝试按 JSON 解析；若失败则按 HTML 解析并提取 bmstable URL。
49///
50/// # 返回
51///
52/// - `HeaderQueryContent::Json`：输入是 JSON；
53/// - `HeaderQueryContent::Url`：输入是 HTML。
54///
55/// # 错误
56///
57/// 当输入为 HTML 且未找到 bmstable 字段时返回错误。
58pub fn get_web_header_json_value(response_str: &str) -> anyhow::Result<HeaderQueryContent> {
59    // 先尝试按 JSON 解析；失败则当作 HTML 提取 bmstable URL
60    match serde_json::from_str::<Value>(response_str) {
61        Ok(header_json) => Ok(HeaderQueryContent::Json(header_json)),
62        Err(_) => {
63            let bmstable_url = extract_bmstable_url(response_str)?;
64            Ok(HeaderQueryContent::Url(bmstable_url))
65        }
66    }
67}
68
69/// 从 HTML 页面内容中提取 bmstable 字段指向的 JSON 文件 URL。
70///
71/// 该函数会扫描 `<meta>` 标签，寻找 `name="bmstable"` 的元素，并读取其 `content` 属性。
72///
73/// # 错误
74///
75/// 当未找到目标标签或 `content` 为空时返回错误。
76pub fn extract_bmstable_url(html_content: &str) -> Result<String> {
77    let document = Html::parse_document(html_content);
78
79    // 查找所有meta标签
80    let Ok(meta_selector) = Selector::parse("meta") else {
81        return Err(anyhow!("未找到meta标签"));
82    };
83
84    // 1) 优先从<meta name="bmstable" content="...">或<meta property="bmstable">提取
85    for element in document.select(&meta_selector) {
86        // name 或 property 为 bmstable 的标签
87        let is_bmstable = element
88            .value()
89            .attr("name")
90            .is_some_and(|v| v.eq_ignore_ascii_case("bmstable"))
91            || element
92                .value()
93                .attr("property")
94                .is_some_and(|v| v.eq_ignore_ascii_case("bmstable"));
95        if is_bmstable
96            && let Some(content_attr) = element.value().attr("content")
97            && !content_attr.is_empty()
98        {
99            return Ok(content_attr.to_string());
100        }
101    }
102
103    // 2) 其次尝试<link rel="bmstable" href="...json">
104    if let Ok(link_selector) = Selector::parse("link") {
105        for element in document.select(&link_selector) {
106            let rel = element.value().attr("rel");
107            let href = element.value().attr("href");
108            if rel.is_some_and(|v| v.eq_ignore_ascii_case("bmstable"))
109                && let Some(href) = href
110                && !href.is_empty()
111            {
112                return Ok(href.to_string());
113            }
114        }
115    }
116
117    // 3) 再尝试在常见标签属性中寻找 *header*.json 线索
118    //    - a[href], link[href], script[src], meta[content]
119    let lower_contains_header_json = |s: &str| {
120        let ls = s.to_ascii_lowercase();
121        ls.contains("header") && ls.ends_with(".json")
122    };
123
124    // a[href]
125    if let Ok(a_selector) = Selector::parse("a") {
126        for element in document.select(&a_selector) {
127            if let Some(href) = element.value().attr("href")
128                && lower_contains_header_json(href)
129            {
130                return Ok(href.to_string());
131            }
132        }
133    }
134
135    // link[href]
136    if let Ok(link_selector) = Selector::parse("link") {
137        for element in document.select(&link_selector) {
138            if let Some(href) = element.value().attr("href")
139                && lower_contains_header_json(href)
140            {
141                return Ok(href.to_string());
142            }
143        }
144    }
145
146    // script[src]
147    if let Ok(script_selector) = Selector::parse("script") {
148        for element in document.select(&script_selector) {
149            if let Some(src) = element.value().attr("src")
150                && lower_contains_header_json(src)
151            {
152                return Ok(src.to_string());
153            }
154        }
155    }
156
157    // meta[content]
158    for element in document.select(&meta_selector) {
159        if let Some(content_attr) = element.value().attr("content")
160            && lower_contains_header_json(content_attr)
161        {
162            return Ok(content_attr.to_string());
163        }
164    }
165
166    // 4) 最后进行原始文本的极简启发式搜索：匹配包含"header"且以 .json 结尾的子串
167    if let Some((start, end)) = find_header_json_in_text(html_content) {
168        let candidate = &html_content[start..end];
169        return Ok(candidate.to_string());
170    }
171
172    Err(anyhow!("未找到bmstable字段或header JSON线索"))
173}
174
175/// 在原始文本中查找类似 "*header*.json" 的子串，返回起止下标（若找到）。
176fn find_header_json_in_text(s: &str) -> Option<(usize, usize)> {
177    let lower = s.to_ascii_lowercase();
178    let mut pos = 0;
179    while let Some(idx) = lower[pos..].find("header") {
180        let global_idx = pos + idx;
181        // 在 header 之后寻找 .json
182        if let Some(json_rel) = lower[global_idx..].find(".json") {
183            let end = global_idx + json_rel + ".json".len();
184            // 试着往前找最近的引号或空白作为起点
185            let start = lower[..global_idx]
186                .rfind(|c: char| c == '"' || c == '\'' || c.is_whitespace())
187                .map(|i| i + 1)
188                .unwrap_or(global_idx);
189            if end > start {
190                return Some((start, end));
191            }
192        }
193        pos = global_idx + 6; // 跳过 "header"
194    }
195    None
196}
bms_table/fetch.rs

bms_table/
fetch.rs
