dyer, 一个rust实现的类scrapy网络框架
与python实现的scrapy类似, dyer被设计成一个可靠,灵活且易于使用, 能够让你快速且构建你自己的应用的网路框架。
dyer的主要特性:
- 异步,lock-free, 并发io
- 事件驱动,只要设置了起始请求与任务递归, dyer就会启动
- 使用方便,
**github 仓库链接**: https://github.com/HomelyGuy/dyer
**api及文档**: https://docs.rs/dyer, https://homelyguy.github.io/dyer/
目前 dyer 实现了
- Database的集成, 便于数据存储,
- cli 工具项目支持, 便于使用
未来将加入`xpath/css`网页解析, 使entity extraction更简洁