教新手小白如何通过五分钟学会用Python爬取女神照片
今天咱们要爬取花瓣网 设计师寻找灵感的天堂!有海量的图片素材可以下载,是一个优质图片灵感库
这次我们用 requests 登录花瓣网 ， 爬取页面 ， 再用正则与json提取有用信息 ， 最后把获取的图片信息 保存到本地
一 、用到技术
- python 基础
- requests 登录页面获取session用户会话 ， 下载图片
- 正则表达式 提取页面的有用信息
- json解析页面中的图片
文章插图四、安装 必要的库
- win+R 打开运行
- 输出cmd 进入控制台
- 分别安装requests
pip installrequests 1五、分析页面- 页面规律我们单击分页按钮 ， 拿到页面最后一个参数的规律第一页：search/?q=女神 --tt-darkmode-color: #C7254E;">search/?q=女神 --tt-darkmode-color: #999999;">2.登录
文章插图
通过Fiddler我们查看到登录请求的地址和参数
# 地址auth/# 参数 "email": "******", "password": "*****", "_ref":"frame"123456我决定使用requests的session()功能来获取用户登录后的会话session信息
3. 页面信息我们通过右键查看源代码发现数据是保存在javascript里面的我们准备用正则表达式提取页面信息
文章插图
六、全部代码#-*- coding:utf-8 -*-import requestsimport reimport json# 导入 requestsre正则 json'''login登录花瓣 获取session'''def login():login_url = 'auth/'# 登录地址headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0","Accept": "application / json","Content-type": "application/x-www-form-urlencoded; charset=utf-8","Referer": "",}# 请求头信息session = requests.session()#sesson 会话login_data = http://kandian.youth.cn/index/{"email": "zengmumu%40126.com","password": "zmm123","_ref":"frame"}response = session.post(login_url, data=http://kandian.youth.cn/index/login_data, headers=headers,verify=False)# 登录页面getPic(session,5)# 获取图片 ， 前5页'''getPic解析页面中的图片地址session 会话信息num最大是页数'''def getPic(session,num):for i in range(1,num+1):response = session.get("search/?q=%E5%A5%B3%E7%A5%9E\napp.page\[\"page\"\]', response.text, re.M | re.I | re.S)# 提取到当前页面所在的所有图片信息data = http://kandian.youth.cn/index/json.loads(data.group(1))# 转换字符串为列表for item in data:url ="" + item["file"]["key"]# 拼接图片地址index = item["file"]["type"].rfind("/")type = "."+item["file"]["type"][index + 1:]# 获取图片的类型file_name = item["raw_text"]# 获取图片的中文名download_img(url, file_name,type)# 下载图片'''下载图片url图片的地址name图片的中文名type图片的类型'''def download_img(url,name,type):response = requests.get(url,verify=False)# 使用requests 下载图片index = url.rfind('/')file_name = name+url[index + 1:]+type# 获取图片的hash值print("下载图片：" + file_name)# 打印图片名称save_name = "./photo/" + file_name# 图片保存的地址（注意photo要自己建一个 ， 与当前.py文件同一个文件夹）with open(save_name, "wb") as f:f.write(response.content)# 写入图片到本地'''定义主函数'''def main():login()# 如果到模块的名字是__main__ 执行main主函数if __name__ == '__main__':main()
- Chiplet如何开拓半导体技术的未来
- 如何编写JAVA小白第一个程序
- 如何进行不确定度估算：模型为何不确定以及如何估计不确定性水平
- 学大数据是否有前途 如何系统掌握大数据技术
- Python爬虫入门第一课：如何解析网页
- 小辣椒要移花接木，金立要借尸还魂，抄袭现象如何破
- 如何使用 lshw 查看 Linux 设备信息
- 1分钟制作朋友圈9宫格照片，不用任何P图软件，新手小白也能会
- 华为科普：芯片是如何设计的
- 网络安全：如何使用MSFPC半自动化生成强大的木码？「下集」