Python爬虫返回403错误解决方法

来源：懂视网责编：小采时间：2020-11-27 14:24:33

Python爬虫返回403错误解决方法

Python爬虫返回403错误解决方法:问题抓取数据时，通常调试信息是：DEBUG: Crawled (200) <GET http://www.gxlcms.com/> (referer: None)如果出现DEBUG: Crawled (403) <GET http://www.gxlcms.com/> (referer: None)表示网站采用了防

推荐度：

点击下载本文 文档为doc格式

导读Python爬虫返回403错误解决方法:问题抓取数据时，通常调试信息是：DEBUG: Crawled (200) <GET http://www.gxlcms.com/> (referer: None)如果出现DEBUG: Crawled (403) <GET http://www.gxlcms.com/> (referer: None)表示网站采用了防

问题

抓取数据时，通常调试信息是：

DEBUG: Crawled (200) <GET http://www.gxlcms.com/> (referer: None)

如果出现

DEBUG: Crawled (403) <GET http://www.gxlcms.com/> (referer: None)

表示网站采用了防爬技术anti-web-crawling technique（Amazon所用），比较简单即会检查用户代理（User Agent）信息。

解决方法

在请求头部构造一个User Agent，如下所示：

def start_requests(self): 
 yield Request("http://www.gxlcms.com/", 
 headers={'User-Agent': "your agent string"})

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

Python爬虫返回403错误解决方法

推荐度：

点击下载本文 文档为doc格式

标签：错误解决问题

热门焦点

Python爬虫返回403错误解决方法

Python爬虫返回403错误解决方法

Python爬虫返回403错误解决方法

最新推荐

猜你喜欢

热门推荐