开始爬取网页:(2)写入源文件的爬取

  为了使代码易于修改,更清晰高效的爬取网页,我们将代码写入源文件进行爬取。

  主要分为以下几个步骤:

    一.使用scrapy创建爬虫框架:

    二.修改并编写源代码,确定我们要爬取的网页及内容

    三.开始爬取并存入文件(数据库)

注:为了避免冗长的叙述,更直观地理解,这里先讲具体的操作方法,如果想要深入理解其原理,具体解释在最后。

 

*操作方法:

  1.创建爬虫框架

  打开命令行,使用cd命令,进入你想要创建文件的位置

  scrapy startproject 文件夹名称(假设为demo

    scrapy startproject demo

  强大的scrapy会在当前路径下自动生成爬虫框架如下:demo/

      scrapy.cfg						#项目配置文件
      demo/
          __init__.py
          items.py	          #设定数据存入的对象
          pipelines.py	        #与数据库交互
          settings.py					#爬虫配置文件
          spiders/
              	__init__.py
  2.编辑源代码,确定爬取方案
  scrapy不仅仅帮助我们生成好了框架,还提供了很多内置的方法供我们使用,我们只需要利用这些方法并结合BeautifulSoup库
进行网页信息的筛选。

  开始写代码吧!
  首先打开items.py文件,修改如下:
 1 # -*- coding: utf-8 -*-
 2 
 3 # Define here the models for your scraped items
 4 #
 5 # See documentation in:
 6 # http://doc.scrapy.org/en/latest/topics/items.html
 7 
 8 import scrapy
 9 
10 
11 class DemoItem(scrapy.Item):
12     # define the fields for your item here like:
13     name = scrapy.Field()
14     #pass

  然后在spider目录下新建spider.py,将下述代码复制到其中
 1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 from bs4 import BeautifulSoup
 4 from demo.items import DemoItem
 5 
 6 class demo(scrapy.Spider):
 7     name = "demo"
 8     start_urls = ['http://www.cnblogs.com/KoalaDream/']
 9 
10     def parse(self, response):
11         soup = BeautifulSoup(response.body)
12         tmp=soup.find_all('div',attrs={'class':'postTitle'})
13         for i in range(0,len(tmp)):
14             item=DemoItem()
15             item['name']=tmp[i].text.encode('utf-8')
16             yield item

  这段代码的作用是爬取我的博客主页的文章标题,具体语句的作用在后面有介绍。

  3.开始爬取并存入文件

    代码编写好了,我们要开始爬取网页了,是不是很容易?

    在命令行中,使用cd命令进入scrapy.cfg所在的目录

      scrapy crawl demo -o output.json

    开始爬取,并将内容输出到含有scrapy.cfg文件的目录下output.json文件中 

  完成!

 

  打开output.json文件,什么?怎么全是乱码?

  这是因为我们爬取下的中文字符,以unicode的编码格式存储在文件中。

  想要看到中文字符,可以将输出的内容复制,打开python,输入print u"---"将复制的unicode码粘贴,便可输出对应的中文字符。

 

*代码详解 

  首先,设置编码格式为utf-8,能够显示中文注释。

  在spider中,scrapy框架规定其中有三个必需的定义的成员。

    name: 名字,spider的标识,我们爬取时在命令行中输入的 scrapy crawl ____ 即为此处定义的name

    start_urls:一个url列表,spider从这些网页开始抓取

    parse():一个方法,当start_urls里面的网页抓取下来之后scrapy会自动调用这个方法解析网页内容。

  总的来说就是name告诉scrapy框架,我要运行哪个框架。然后scrapy会运行该框架,自动链接到start_url的web页面,生成response对象,将爬取下源代码存入response对象里面。

 

  下面我们来看具体的parse()方法是如何工作的。

  首先引入BeautifulSoup库,它可以大大简化我们的爬取过程。

  然后我们打开要爬取的网页即 http://www.cnblogs.com/KoalaDream/

  查看源代码。(chrome浏览器中,鼠标右键点击某一个文章标题,点击审查元素)

  可以看到,每一个标题都是在一个<div>标签里面,class属性均为postTitle

  于是,我们使用BeautifulSoup中提供的方法筛选出标题

    tmp=soup.find_all('div',attrs={'class':'postTitle'})

  将标题以列表的形式存入tmp中。

 

  还记得我们刚刚修改过的items.py文件吗?

  下面我们要遍历tmp中的每一项,并将其存入刚刚定义过的item中。

  通过 item=DemoItem(),创建了一个DemoItem类的对象,下面的操作

    item['name']=tmp[i].text.encode('utf-8')

  左侧的运算符有些让人费解。因为想要操作类中的成员,一般使用item.name,这个操作符是怎么回事呢?

  仔细观察items.py文件中,DemoItem类继承了scrapy.Item类。经试验证明,如果把继承去除,此运算符不再存在。

  说明在scrapy.Item类中,对运算符[]进行了重载。个人感觉意义上和.操作符没什么区别,我们直接使用此语法即可。

 

  最后就是 yield item了

  yield语法查了很久,已经被生成器,迭代器搞得有些晕。

  如果想了解具体的yield语法,请看下面的链接  

  http://www.oschina.net/translate/improve-your-python-yield-and-generators-explained

  对于这里的yield语句的作用,我说说我的理解,哪里不准确希望大家多多指教。

  首先简单介绍下yield语句:

  yield用于函数,就像return,给函数一个返回值。不同的是,return标志着函数结束,而yield是让函数暂停,直到这个函数再次被调用,会从暂停的地方继续执行,而不是从头开始。

  在spider.py的代码中,每循环一次,yield语句将列表中当前的值返回给parse。可是我们并没有主动调用和返回。那么输出的内容是哪里来的?

  因为parse是在scrapy框架中,自动被调用的方法,我们可以推测出:

  当告诉scrapy输出到output.json文件中时,对于每一次yield的返回值,会被自动print到output.json文件中。然后scrapy会再次调用parse方法,从刚刚间断的位置,即for循环的下一个列表项开始。如此循环,直到函数结束。这样一来,tmp中的内容就被存放到item['name']中,然后被输出到output.json中。

 

  每一次yield返回的一个值就是所谓的生成器。

  而每一次从暂停状态,再被调用时,自动从暂停前的下一个对象开始,就是所谓的迭代器。

 

  附:官方文档

    Scrapy  http://doc.scrapy.org/en/latest/