Python爬虫,反爬手段之防盗链的处理

Python爬虫,反爬手段之防盗链的处理

防盗链原理我们日常访问网页,如果从一个网页跳转到另一个网页,http 头字段里面会带个 Referer的参数。那么图片服务器通过检测 Referer 是否来自指定域名,来进行防盗链。当然,不止图片服务器,有的视频服务器也采用了这种方式,比如B站!

简单点说,服务器会判断你是否从规定的域名来访问图片或者视频,如果是那么就正常显示,不是的话,会跳转到别的地方,那么我们用爬虫所采集的图片就会出现问题!我们来通过一个实例看看是怎么回事。

实例说明上图是某图片网站的header截图,可以看到里面的Referer参数,写个代码看看

这里,取出了该页面的图片,直接用浏览器打开看看(建议换一个浏览器,打开会看到下面的效果)

直接被拒绝访问了!当然也可以试试代码保存,一样是会报错的哦!

解决办法其实解决办法很简单,加入header,然后把Referer写入即可!

后记这只是反爬手段中的一种很常见的,还有很多,慢慢分享给大家!

因为只是一个演示用的代码,写的很简单,如果图片不清楚,或者你遇到了其他的反爬手段,也可以私信或者评论里写一下,一起交流才能更快进步!

相关推荐

空调安装费计入哪个会计科目
江苏卫视365直播

空调安装费计入哪个会计科目

10-19 4417
《王者荣耀》V7等级充值详解
江苏卫视365直播

《王者荣耀》V7等级充值详解

02-15 1949
定制版手机能买吗?企业定制版手机和全新手机有啥区别!