scrapy使用selenium时在爬虫类中关闭浏览器的方法

from scrapy import signals
# 此为官方推荐的信号使用方法，用来关闭浏览器
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):

   spider = super(YourSpider, cls).from_crawler(crawler, *args, **kwargs)
   crawler.signals.connect(spider.closeSpider, signals.spider_closed)
   return spider

def closeSpider(self):
   self.driver.quit()

# 说明
# spider.closeSpider是为了调用 def closeSpider(self):方法
# signals.spider_closed 发出信号，当爬虫关闭时调用，更可以使用spider_opened等各种方法，这些在源码中都可以找到

def parse(self, response):
　　pass

 

这里是官方提供的最新的方法，在自己的爬虫类中添加以上两个方法