【游戏世界】Scrapy框架中如何更改下载中间件里的headers?

大家好 , 我是我是皮皮 。
一、前言
前几天在Python最强王者交流群有个叫【麦当】的粉丝问了一个关于Scrapy框架中如何更改下载中间件里的headers问题 , 这里拿出来给大家分享下 , 一起学习 。
【游戏世界】Scrapy框架中如何更改下载中间件里的headers?
文章图片
二、解决过程
如果只是单纯的一次性添加 , 那么可以使用下面这个方式 , 直接在settings.py文件中设置:
【游戏世界】Scrapy框架中如何更改下载中间件里的headers?
文章图片
但是他想动态的修改 , 这样的话 , 单纯的修改就有点力不从心了 。
【游戏世界】Scrapy框架中如何更改下载中间件里的headers?
文章图片
不过不慌 , 这个这里给出【小王】大佬的解答 , 一起来看看吧 , 下面是他给的一个示例代码 , 下面这个代码写在middleware.py文件 。
fromfake_useragentimportUserAgentclassRandomUserAgentMiddleware:defprocess_request(self,request,spider):request.headers.setdefault(''User-Agent'',UserAgent().chrome)
下面这个代码写在settings.py文件里边 , 如下所示:
settings.pyDOWNLOADER_MIDDLEWARES={#'anjuke.middlewares.RandomProxyMiddleware':543,'anjuke.middlewares.RandomUserAgentMiddleware':400,}
【游戏世界】Scrapy框架中如何更改下载中间件里的headers?
文章图片
三、总结
大家好 , 我是皮皮 。 这篇文章基于粉丝提问 , 针对Scrapy框架中如何更改下载中间件里的headers问题 , 给出了具体说明和演示 , 顺利的帮助粉丝解决了问题 。
最后感谢粉丝【麦当】提问 , 感谢【dcpeng】和【小王】大佬给出的示例和代码支持 。
【游戏世界】Scrapy框架中如何更改下载中间件里的headers?】小伙伴们 , 快快用实践一下吧!如果在学习过程中 , 有遇到任何问题 , 欢迎加我好友 , 我拉你进Python学习交流群共同探讨学习 。