Power Query 腾讯位置数据获取
腾讯基于用户的位置信息的大数据 , 显示某一位置的人数:
文章插图
越亮的地方人数越多 , 这个就是腾讯的星云图 。
网站分析getXingyunPoints这一行就是位置数据 , 数据三个一组 , 前两个是经纬度*100 , 后一个是人数 。
文章插图
【Power Query 腾讯位置数据获取】一共有4组数据 , 使用POST方式传递数据 , 数据包4.8M 。
文章插图
头文件 , 中我们要注意框住的几个部分:
url、POST、Content-Type、Cookie、Uesr-Agent、Request Payload
这六个数据是Post方式重要的参数
- url:网址必须的参数
- POST:数据传递方式
- Content-Type:传递内容的类型约定
- Cookie:使用的cookie
- Uesr-Agent:使用的浏览器
- Request Payload:请求参数
文章插图
实际上有4个查询 , content对应4个查询参数 , content就是c0 , 然后c1、c2、c3
区别就是rank后面的数值是0、1、2、3
如果是很多个参数 , 我们就想办法统一调用方法 , 数量少又图省事 , 就直接引用就行 。
定义函数POST方式 , 也有能够直接试抓成功的 , 但是这个不行 , 网址中没有任何参数传递直接试抓就是这样的结果:
文章插图
所以我们要定义好函数 , 然后抓取 。
文章插图
通过网站分析 , 我们发现唯一的变量是需要传递的参数 , 所以就用这个作为函数的参数 。 这里的参数c就对应着我们定义好的参数c0、c1、c2、c3 。
这个函数是抓取函数 , 抓取之后我们还有进行整理 , 我们再把整理过程定义一个函数 , 这样就可以出结果了:
文章插图
我用的是和昨天一样的编号透视的方法 , 应该还有效率更高的办法 。
试抓我们测试一下:
文章插图
运行良好 , 我们要引用4次 , 得到4个表 , 然后追加合并成为一个表就可以了 。
抓取通过参数调用4次:
文章插图
我们直接输入的参数名称会被当做文本 , 要自己去掉引号:
文章插图
追加合并为新查询:
文章插图
加载数据就可以了 , 这个数据量有点大 , 需要点时间 。
文章插图
- 腾讯游戏发起对华为的挑战,或因后者对国内手机市场的影响力大跌
- 飞书文档微信小程序审核被卡?字节跳动副总裁谢欣:希望腾讯停止无理由封杀
- “科技+文化创意”加速文旅融合,腾讯文旅助力河南打造行业新名片
- 腾讯申请「打工鹅」商标,网友:“虾仁猪心”
- 腾讯苏州战略合作再升级,腾讯(苏州)数字产业基地揭牌
- 战火再起!字节跳动副总裁炮轰腾讯“无理封杀”
- 腾讯|以松江为起点和支点,腾讯“牵手”长三角G60科创走廊,开启合作新“朋友圈”
- 省人社厅与腾讯签署协议共同培养高素质“广东技工”
- 字节跳动高管喊话腾讯,称“飞书文档”小程序审核被卡近两月
- 疫情让线下教培机构停摆?别怕,腾讯教育“抗疫空投包”抵达