Python金融量化，爬取生意社中期货的“基差数据” 点及财经

点及财经，股票期货专业投机者。
文章插图
前言好久没有跟大家分享爬虫了，本期准备带大家爬取生意社上面的期货基差数据。
文章插图
这个网站反爬并不严重，大部分是靠ip访问频率来限制，但封了之后过段时间又能访问了，并没有禁止你本机的ip永久不能访问。
文章插图
作者本期就爬取郑州商品交易所的PTA ， 2011年至今的基差数据。下面我们开始吧！需要读者
安装以下包：
文章插图
Python金融爬虫之生意社期货“基差”数据实战！爬取数据的第一步是分析所爬取数据的url构造，观察其有什么规律，然后再通过requests库去发送get请求，并通过正则、xpath等等进行数据的提取。
1.设置随机请求头。
如下图所示：
文章插图
其中：
【Python金融量化，爬取生意社中期货的“基差数据”】（1）header["User_Agent"] ，设置的随机请求头，每次调用都随机抽取不同"User_Agent"来进行访问，可以避免网站请求头反爬。
2.根据请求网址结构，构造日期列表。
当我们点击下图中的搜索按钮后，网址栏的url上面就出现了搜索的具体日期，所以作者可以根据url特征构造日期加上，就可以请求任意日期的基差网页。
如下图所示：
文章插图
如下图所示：
文章插图
run:
文章插图
构造后的url 。
如下图示：
文章插图
3.爬取数据。
这里需要配置微信群机器人，复制其地址放到webhook_url变量中，才能过爬取结果发送到群里。
文章插图
启动爬虫：
文章插图
run:
（1）基差数据推送。
文章插图
（2）抓取的数据。
文章插图
最后本期就主要给大家分享了一个简单的爬虫案例，爬取过程中可能会出现ip访问频繁的问题，建议读者在请求里增加代理，这样就不会被封ip 。
如果需要源码，关注我获得领取方式。