scrapy不能同时支持https和http代理
发布时间丨2022-08-18 10:09:37作者丨zhaomeng浏览丨20
背景:使用scrapy采集数据,遇到反爬虫,但是反爬虫的页面是http协议,而我使用的是https的代理,因此无法请求反爬虫的页面,进而区捕获该异常,从而触发中间件更换代理请求并重新发起请求!
报错如下:[<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', '', 'wrong version number')]>]
解决:上面的情况导致一直重复循环的请求http请求并报错,i因此我考虑过滤掉这样的异常保证程序往下进行,在代理中间件的异常处理中在重新发起请求前判断该http链接是否存在,存在就pass不发起请求,否则就正常重新请求.
如果有其他的处理方法,可以相互学习!