# 优化后的集成测试说明
## 概述
`optimized_tests.rs` 提供了优化后的集成测试,具有以下特点:
- **网页采集测试**:随机选择 5 个新闻网站,每个网站 2 个真实网页,每次随机访问
- **搜索引擎测试**:随机选择 10 个关键词,每次测试随机一个关键词
- **反爬虫保护**:随机延迟、User-Agent轮换、完整请求头、减少并发
## 反爬虫保护措施
### 🔒 随机延迟机制
- **长延迟**:3-8秒之间的随机延迟
- **短延迟**:2-5秒之间的随机延迟
- **应用位置**:测试开始前、请求之间、迭代之间
### 🔒 User-Agent 轮换
- **5个不同User-Agent**:Chrome Windows、Chrome macOS、Firefox Windows、Safari macOS、Chrome Linux
- **随机选择**:每次请求随机选择一个User-Agent
### 🔒 完整请求头
- **Accept**:支持多种内容类型
- **Accept-Language**:zh-CN,zh;q=0.9,en;q=0.8
- **Accept-Encoding**:gzip, deflate, br
- **DNT**:Do Not Track
- **Connection**:keep-alive
- **Upgrade-Insecure-Requests**:1
### 🔒 减少并发请求
- **网页采集**:从3次减少到2次
- **搜索引擎**:从4个减少到2个
- **搜索次数**:从3次减少到2次
⚠️ **重要提示**:测试包含随机延迟(3-8秒),请耐心等待。避免频繁运行测试,防止IP被封。
## 测试列表
### 网页采集测试
#### 1. `test_random_news_scrape`
- **描述**:测试随机新闻网页采集
- **行为**:
- 随机选择 5 个新闻网站中的一个
- 从该网站的 2 个页面中随机选择一个进行采集
- 验证采集结果(状态码、内容长度、HTML 标签)
- **运行命令**:
```bash
cargo test --test integration_tests -- test_random_news_scrape
```
#### 2. `test_multiple_random_news_scrape`
- **描述**:测试多次随机新闻网页采集
- **行为**:
- 连续采集 2 个随机新闻网页(减少到2次以降低被封风险)
- 验证系统的稳定性
- 每次采集之间有随机延迟(3-8秒),避免被反爬虫
- **运行命令**:
```bash
cargo test --test integration_tests -- test_multiple_random_news_scrape
```
### 搜索引擎测试
#### 3. `test_search_engines_with_random_keyword`
- **描述**:测试单个搜索引擎(随机关键词)
- **行为**:
- 每次测试随机选择一个关键词
- 使用部分搜索引擎(Baidu、Bing)进行搜索(减少到2个以降低被封风险)
- 每次搜索之间有随机延迟(3-8秒)
- 至少需要 1 个引擎成功通过测试
- **运行命令**:
```bash
cargo test --test integration_tests -- test_search_engines_with_random_keyword
```
#### 4. `test_multiple_random_keyword_search`
- **描述**:测试多次随机关键词搜索
- **行为**:
- 连续进行 2 次搜索(从3次减少到2次以降低被封风险)
- 每次使用不同的随机关键词
- 使用 Baidu 和 Bing 搜索引擎
- **运行命令**:
```bash
cargo test --test integration_tests -- test_multiple_random_keyword_search
```
#### 5. `test_search_results_deduplication`
- **描述**:测试搜索结果去重
- **行为**:
- 使用随机关键词进行搜索
- 验证不同搜索引擎的结果是否被正确去重
- 统计重复 URL 的数量
- **运行命令**:
```bash
cargo test --test integration_tests -- test_search_results_deduplication
```
### 综合测试
#### 6. `test_combined_random_scrape_and_search`
- **描述**:综合测试:随机网页采集 + 随机关键词搜索
- **行为**:
- 第一部分:随机新闻网页采集
- 第二部分:随机关键词搜索
- 验证两个功能是否都正常工作
- **运行命令**:
```bash
cargo test --test integration_tests -- test_combined_random_scrape_and_search
```
## 配置
### 新闻网站配置
测试使用以下 5 个新闻网站,每个网站 2 个真实网页:
1. **新浪新闻**
- 基础 URL: `https://news.sina.com.cn`
- 页面: 2 个示例页面
2. **网易新闻**
- 基础 URL: `https://news.163.com`
- 页面: 2 个示例页面
3. **腾讯新闻**
- 基础 URL: `https://news.qq.com`
- 页面: 2 个示例页面
4. **新华网**
- 基础 URL: `http://www.xinhuanet.com`
- 页面: 2 个示例页面
5. **人民网**
- 基础 URL: `http://www.people.com.cn`
- 页面: 2 个示例页面
**注意**:示例页面的 URL 可能需要根据实际情况更新,确保它们是真实存在的。
### 搜索关键词配置
测试使用以下 10 个关键词:
1. "rust programming"
2. "人工智能"
3. "machine learning"
4. "web scraping"
5. "blockchain"
6. "云计算"
7. "docker"
8. "kubernetes"
9. "microservices"
10. "data science"
## 运行所有优化测试
```bash
# 运行所有优化后的测试
cargo test --test integration_tests optimized_tests
# 运行所有优化测试并显示输出
cargo test --test integration_tests optimized_tests -- --nocapture
# 运行特定的优化测试
cargo test --test integration_tests -- test_random_news_scrape -- --nocapture
```
## 测试输出示例
### `test_random_news_scrape` 输出示例
```
🚀 开始测试随机新闻网页采集
📰 随机选择新闻网站: 新浪新闻
📄 随机选择页面: https://news.sina.com.cn/c/2025-01-01/doc-imifzvms1234567.shtml
🚀 开始测试随机新闻网页采集
📍 目标 URL: https://news.sina.com.cn/c/2025-01-01/doc-imifzvms1234567.shtml
✅ 采集成功
⏱️ 响应时间: 1.234s
📊 状态码: 200
📝 内容长度: 12345 字符
🎉 随机新闻网页采集测试通过!
```
### `test_search_engines_with_random_keyword` 输出示例
```
🚀 开始测试搜索引擎(随机关键词)
🔍 随机选择搜索关键词: rust programming
🚀 开始测试搜索引擎(随机关键词)
🔍 关键词: rust programming
📊 最大结果数: 10
🔍 开始测试 Google 搜索引擎,关键词: rust programming
✅ Google 搜索成功,耗时: 2.345s,返回 10 条结果
Google 结果 1: Rust Programming Language - https://www.rust-lang.org
Google 结果 2: The Rust Programming Language - https://doc.rust-lang.org
Google 结果 3: Rust - Wikipedia - https://en.wikipedia.org/wiki/Rust
...
📋 搜索引擎测试报告
==================================================
✅ 通过 Google: 成功返回 10 个有效结果
❌ 失败 Bing: 搜索错误: ...
✅ 通过 Baidu: 成功返回 8 个有效结果
❌ 失败 Sogou: 搜索超时
📈 测试统计
总测试数: 4
通过: 2
失败: 2
成功率: 50.0%
⚠️ 警告: 2 个引擎测试未通过(可能是网络限制或反爬虫机制)
✅ 搜索引擎测试完成!成功: 2, 失败: 2
```
## 优势
### 1. 随机性
- 每次测试使用不同的网页和关键词,避免了固定数据的局限性
- 可以发现更多潜在的问题
### 2. 真实性
- 使用真实的新闻网站和搜索引擎,更接近实际使用场景
- 可以测试系统在真实网络环境下的表现
### 3. 覆盖性
- 覆盖了 5 个不同的新闻网站,测试系统的适应性
- 覆盖了 10 个不同的关键词,包括中英文混合
### 4. 可扩展性
- 可以轻松添加更多的网站和关键词
- 可以调整测试参数(如最大结果数、超时时间等)
## 注意事项
1. **网络依赖**:这些测试需要真实的网络连接,无法在离线环境中运行
2. **反爬虫保护**:
- ⚠️ 测试包含随机延迟(3-8秒),请耐心等待
- ⚠️ 避免频繁运行测试,建议间隔至少1小时
- ⚠️ 如遇IP被封,请更换IP地址或使用代理
- ⚠️ 查看反爬虫保护文档了解更多信息:[ANTI_BOT_PROTECTION.md](./ANTI_BOT_PROTECTION.md)
3. **URL 有效性**:示例页面的 URL 需要定期更新,确保它们是真实存在的
4. **搜索引擎限制**:某些搜索引擎可能会有访问限制或需要 API 密钥
## 反爬虫保护详情
### 随机延迟
- **长延迟**:3-8秒之间的随机延迟
- **短延迟**:2-5秒之间的随机延迟
- **目的**:避免固定模式,模拟真实用户行为
### User-Agent 轮换
- **5个不同User-Agent**:覆盖主流浏览器和操作系统
- **随机选择**:每次请求随机选择一个User-Agent
- **目的**:模拟不同浏览器,降低被识别的风险
### 完整请求头
- **Accept**:支持多种内容类型
- **Accept-Language**:多语言支持
- **Accept-Encoding**:支持多种压缩格式
- **DNT**:Do Not Track
- **Connection**:keep-alive
- **Upgrade-Insecure-Requests**:1
- **目的**:模拟真实浏览器请求
### 减少并发请求
- **网页采集**:从3次减少到2次(-33%)
- **搜索引擎**:从4个减少到2个(-50%)
- **搜索次数**:从3次减少到2次(-33%)
- **目的**:降低请求频率,减轻服务器压力
## 故障排查
### 测试超时
- 检查网络连接是否正常
- 增加超时时间(在代码中修改 `timeout_secs` 参数)
- 检查目标网站是否可访问
### 搜索引擎失败
- 某些搜索引擎可能需要 API 密钥(如 Google Custom Search API)
- 检查搜索引擎服务是否可用
- 查看错误消息,了解具体的失败原因
### 网页采集失败
- 检查目标网站是否可访问
- 检查 URL 是否正确
- 某些网站可能有反爬虫保护,可能需要使用其他引擎(如 PlaywrightEngine)
## 未来改进
1. **动态 URL 发现**:自动发现新闻网站的最新文章 URL
2. **更多搜索引擎**:添加更多的搜索引擎(如 DuckDuckGo、Yahoo 等)
3. **结果验证**:更严格的结果验证逻辑
4. **性能监控**:添加性能指标收集和报告
5. **并行测试**:支持并行运行多个测试,提高测试效率
## 相关文件
- `optimized_tests.rs` - 优化后的测试实现
- `mod.rs` - 集成测试模块声明
- `search_engines_test.rs` - 原始搜索引擎测试
- `real_world_test.rs` - 真实世界测试