居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

Scrapy我想很多的小伙伴多多少少都有听过这个框架的大名吧!本以为他是最适合的爬虫用的框架,今天看到一篇居然会比Scrapy还吊?简直不敢置信,大家看看,希望给我点建议哈!

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

接下来我们在浏览器中打开 http://localhost:8000/,就可以看到 Gerapy 的主界面了:

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

我们可以点击项目页面的右上角的创建按钮,增加一个可配置化爬虫,接着我们便可以在此处添加提取实体、爬取规则、抽取规则了,例如这里的解析器,我们可以配置解析成为哪个实体,每个字段使用怎样的解析方式,如 XPath 或 CSS 解析器、直接获取属性、直接添加值等多重方式,另外还可以指定处理器进行数据清洗,或直接指定正则表达式进行解析等等,通过这些流程我们可以做到任何字段的解析。

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)

生成代码之后,我们只需要像上述流程一样,把项目进行部署、启动就好了,不需要我们写任何一行代码,即可完成爬虫的编写、部署、控制、监测。

谢谢阅读!!!

居然还有比Scrapy功能更强大的框架!最实用的是它?(Gerapy)