优秀Github开源Java项目推荐:spider-flow,一个可以用流程图的方式编写爬虫的项目,提供源码!
spider-flow是一个爬虫制作平台,提供平台源码,即,允许使用者以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台 。spider-flow平台使用Java,既能学习优秀的平台代码,又可以学习如何编写一个爬虫框架,一举两得 。
spider-flow包含非常丰富的特性:
1. 支持Xpath/JsonPath/css选择器/正则提取/混搭提取
2. 支持JSON/XML/二进制格式
3. 支持多数据源、SQL select/selectInt/selectOne/insert/update/delete
4. 支持爬取JS动态渲染(或ajax)的页面
5. 支持代理
6. 支持自动保存至数据库/文件
7. 常用字符串、日期、文件、加解密等函数
8. 支持插件扩展(自定义执行器,自定义方法)
9. 任务监控,任务日志
10. 支持HTTP接口
11. 支持Cookie自动管理
12. 支持自定义函数
Github地址:GitHub - ssssssss-team/spider-flow: 新一代爬虫平台,以图形化方式定义爬虫流程,不写代...
还不心动吗?
【优秀Github开源Java项目推荐spider-flow】
文章插图
文章插图
文章插图
- 乐高优秀MOC作品日赏【vol.80】
- steam 今日优秀国产恐怖游戏纸人5折,29元,暂无DLC发售
- 一名优秀的领导必须具备的6项素质能力 领导者需要哪些品质和技能
- 有远见的父母懂得放手,教育最高境界是放手不放任,孩子更优秀
- 有格局的爸爸,会常说这几句话,孩子将来更优秀
- 今日优秀电影推荐绿皮书
- 那些看起来优秀,感情路却坎坷的星座(图文)
- 女孩都爱的app
- 给苹果官网做翻译的同学应当是很优秀的,但当同行华为卖荣耀了
- 视频与拍照均衡选择,选索尼A64004K画质更优秀