苹果|不会爬虫,没有数据?这个Python模块可以帮你获取!

苹果|不会爬虫,没有数据?这个Python模块可以帮你获取!

文章图片

苹果|不会爬虫,没有数据?这个Python模块可以帮你获取!

文章图片

苹果|不会爬虫,没有数据?这个Python模块可以帮你获取!

文章图片

苹果|不会爬虫,没有数据?这个Python模块可以帮你获取!

文章图片

苹果|不会爬虫,没有数据?这个Python模块可以帮你获取!

文章图片

苹果|不会爬虫,没有数据?这个Python模块可以帮你获取!

文章图片

苹果|不会爬虫,没有数据?这个Python模块可以帮你获取!

文章图片


更多内容欢迎关注~
大家好 , 欢迎收看思路实验室出品的Python入门教程 , 我是室长 。
我们已经学习了那么多pandas数据分析以及matplotlib制作图表的方法 , 可能很多同学已经手痒了 。 但是如何获得大量的数据呢?随机数肯定是不能满足我们的要求 。 爬虫是一种好方法 , 可对于没有基础的同学来说 , 我们现在的水平距离制作爬虫还隔了好几道坎 。 不过不用担心 , 今天室长给大家带来一个非常好用的模块 , 不用任何爬虫的知识 , 就可以让我们获取到非常多有价值的数据 。 这个模块就是gopup , 我们一起来了解一下吧!
不过说在前边 , 这个模块虽然内置了大量的公开数据的获取方法 , 但已经长期不更新了 。 大家或许能够了解到 , 爬虫这种东西本身就是一种对抗行为 , 爬虫方和反爬虫方本身就在进行着激烈的斗争 , 手段也是在不断地升级 , 一旦停止更新 , 爬虫方法就会很快地失效 。 所以模块中的很多方法已经失效了 , 只是终归有些方法还是可以用的 , 毕竟聊胜于无 , 而且后期当我们学习了爬虫的方法 , 也可以亲手修改 , 让它变得重新可用 。
首先我们还是安装gopup模块 , 安装名和导入名都是gopup:

然后我们直接调用方法获取数据 , 返回值就是pandas的DataFrame , 这里我们以获取豆瓣新片为例:

命令行里显示不完全 , 我们将数据直接存为csv格式:

一下子就获取了豆瓣前9的新片 , 包括中外标题 , 上映日期 , 演员等 , 以及电影海报和详细信息的链接 。 而我们并没有进行具体的设置 , 仅仅是调用了一个方法 , 是不是非常方便?
gopup支持的公开数据种类非常多 , 都是通过直接调用方法来进行获取的 , 我们在这里就不一一列举了 , 在gopup的官方文档里写得非常详细:




不过这些数据的获取方法并非全部都如刚才那样简单 , 有一些要相对麻烦一点 , 不过也只是相对 。 比如诗词的数据:

这里有个token是需要我们填写的 。 如何获得token呢?我们需要到gopup的官网注册一个账号:


注册成功后这里的一长串乱七八糟的字符串就是我们的token , 我们把它填到token参数的位置:

注意我们是将调用pro_api方法后返回的结果存入到了变量g中 , 而后在变量g中调用的获取数据方法 , 这时不要再从gopup模块直接调用方法了 。

还有一种情况是需要获取cookies的 , 这种情况在gopup中仅限于从百度指数获取数据的情况 , 不过百度指数的爬取方法已经失效了 , 所以目前用不到 。
虽然gopup已经长期不更新了 , 许多功能都已经失效了 , 但它仍不失为一种获取数据的高效手段 。 想必随着反爬手段的日益更新 , 这个模块能够使用的方法也会越来越少 , 所以大家且用且珍惜吧!不过好在有些数据的获取 , 比如某些经济数据 , 还是比较稳定的 , 大家可以放心使用 。
最后 , 我们获取一下油价的数据并将它做成图表作为结束:
【苹果|不会爬虫,没有数据?这个Python模块可以帮你获取!】

具体的趋势就不再分析了 , 图表已经说明很多问题了 。 哎 , 说多了都是泪!
好了 , 如果这篇文章对你有所帮助 , 希望能帮室长点个赞和在看 , 你的鼓励是室长进步的动力!