Python爬虫练习：爬取全民小视频（附代码，过程）前言本文的文字及图片来源于

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
本次目标爬取全民小视频
确定目标网页
文章插图
选择影视类目
文章插图
右键选择检查，开发开发者工具
文章插图
选择 Network ，网页往下滑，可以看到数据加载

视频地址
视频名字
视频ID

文章插图

文章插图
接口数据链接是通过pn的变化，实现翻页效果
如果想要爬取其他分类视频，把参数中tab_name 更改即可
环境

Python3.6
pycharm

文章插图
开始代码导入工具
import pprintimport requests相关库可以用 pip install 安装
请求、解析、爬取网页数据，并保存

url = 'wise/growth/api/home/tabmorelist'for page in range(1, 100):params = {'rn': '12','pn': '{}'.format(page),'timestamp': '1603442730716','session_id': '1603442719704','tab_name': 'movie','_format': 'json',}headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}response = requests.get(url=url, params=params, headers=headers)html_data = http://kandian.youth.cn/index/response.json()lis = html_data['data']['list']['video_list']for li in lis:play_url = li['play_url']title = li['title']filename = 'C:\\Users\\Administrator\\Desktop\\新建文件夹\\' + title + '.mp4'response_2 = requests.get(url=play_url, headers=headers)with open(filename, mode='wb') as f:f.write(response_2.content)print(title, play_url)

【Python爬虫练习：爬取全民小视频（附代码，过程）】运行代码，效果如下

文章插图