4399小游戏童年的乐趣,python爬取4399全站小游戏
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理 。
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
python免费学习资料以及群交流解答点击即可加入
基本环境配置
- python 3.6
- pycharm
- requests
- parsel
文章插图
'''动作类游戏:体育类游戏:益智类游戏:射击类游戏:...'''
文章插图
文章插图
import requestsimport parselimport csvf = open('4399游戏.csv', mode='a', encoding='utf-8-sig', newline='')csv_writer = csv.DictWriter(f, fieldnames=['游戏地址', '游戏名字'])csv_writer.writeheader()for page in range(1, 106):url = '{}.htm'.format(page)headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}response = requests.get(url=url, headers=headers)response.encoding = response.apparent_encodingselector = parsel.Selector(response.text)lis = selector.css('#classic li')for li in lis:dit ={}data_url = li.css('a::attr(href)').get()new_url = '' + data_url.replace('http://', '/')dit['游戏地址'] = new_urltitle = li.css('img::attr(alt)').get()dit['游戏名字'] = titleprint(new_url, title)csv_writer.writerow(dit)f.close()
文章插图
数据还是很多的 , 这里只保存了32548条数据
【4399小游戏童年的乐趣,python爬取4399全站小游戏】完整项目代码获取后台私信小编01获取
- 为什么很多用了几十年的主板也没听说过BIOS的数据坏了的呢?
- 鬼才设计暖手、充电二合一!从去年火到今年的暖手器,好看还好用
- 华为领跑小米紧跟!成立36年的联想,怎么突然就“掉队”了?
- 从3199元跌至2198元,去年的经典拍照旗舰迎来冰点价
- DeFi今年的大功臣流动性挖矿,会威胁以太坊2.0的安全性?
- GDDR5显存成本翻番!显卡被迫集体涨价
- 当年的好记星、诺亚舟都去哪了?
- 盒马入局火锅万亿市场,阿里要和海底捞打擂台了吗?
- 丑了六年的微信红包,今天宣布大改版
- 极速鲨课堂69:SSD对专业领域影响有多大?