PySpider报”NotSupportedError “异常的原因以及解决办法

PySpider是一个强大的Python爬虫框架，但在使用中有时会遇到"NotSupportedError"异常。

这个异常的原因主要是因为PySpider使用了一些不被某些网站支持的HTTP/HTTPS请求方法。这些不被支持的HTTP/HTTPS请求方法包括：PUT、DELETE、OPTIONS等。如果你在使用PySpider时遇到"NotSupportedError"异常，那么可以尝试以下几种解决办法：

使用支持的HTTP/HTTPS请求方法

一些网站不支持PUT、DELETE、OPTIONS等请求方法，因此我们可以尝试使用其他支持的HTTP/HTTPS请求方法，如GET、POST等。

更改PySpider的默认请求方法

在PySpider的"settings"中可以设置默认的请求方法，我们可以将默认的请求方法改为一个被支持的方法。具体方法如下：

# 在settings.py文件中添加以下代码
DOWNLOADER_HTTP_METHOD = 'GET'

使用代理

有些网站可以检测到用户的请求的来源，如果请求来自于一个已知的爬虫框架，那么可能会拦截请求并返回"NotSupportedError"异常。为了解决这个问题，我们可以使用代理服务器。代理可以伪装我们的请求来源，让我们的请求看起来像是来自于一个普通的浏览器。在PySpider的"settings"中可以设置代理，具体方法如下：

# 在settings.py文件中添加以下代码
DOWNLOADER_MIDDLEWARES = {
    'pyspider.proxy.ProxyMiddleware': 100,
}
PROXY_HOST = 'your-proxy-host'
PROXY_PORT = your-proxy-port

使用其他的爬虫框架

最后，如果以上方法都无法解决"NotSupportedError"异常，那么我们可以尝试使用其他的爬虫框架，如Scrapy或BeautifulSoup等。这些框架可能更适合特定的网站或任务，并且也有更好的兼容性。