居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)
Scrapy我想很多的小伙伴多多少少都有听过这个框架的大名吧!本以为他是最适合的爬虫用的框架,今天看到一篇居然会比Scrapy还吊?简直不敢置信,大家看看,希望给我点建议哈!
接下来我们在浏览器中打开 http://localhost:8000/,就可以看到 Gerapy 的主界面了:
我们可以点击项目页面的右上角的创建按钮,增加一个可配置化爬虫,接着我们便可以在此处添加提取实体、爬取规则、抽取规则了,例如这里的解析器,我们可以配置解析成为哪个实体,每个字段使用怎样的解析方式,如 XPath 或 CSS 解析器、直接获取属性、直接添加值等多重方式,另外还可以指定处理器进行数据清洗,或直接指定正则表达式进行解析等等,通过这些流程我们可以做到任何字段的解析。
生成代码之后,我们只需要像上述流程一样,把项目进行部署、启动就好了,不需要我们写任何一行代码,即可完成爬虫的编写、部署、控制、监测。
谢谢阅读!!!
- 盘点!广州15种网红零食测评新鲜出炉,最好吃的居然12元不到!
- 农村合作医疗普及那么久以来为什么还有那么多农民不参保?
- #健康过大年#连打麻将十小时肺栓塞!久坐还有哪些危害?
- 在中国,还有比这个县城的河流更清澈、更漂亮吗?
- 今年是宅基地确权的最后一年,面临收回还有这几种情况可以弥补
- 同为恒星,差别太大,这颗最大的居然能装下十万亿个小恒星
- 榴莲和牛奶居然同时吃不会猝死,真的假的?
- 四川广元之最,除夕夜全村千人大团圆,还有乡土春晚首次亮相!
- 大年初二讲究多,三个风俗流传至今,还有一风俗让穷人生气
- 【PentaQ新年专访】Doinb:“还有光哥和马哥可以Carry”