windows7 32、64位下python爬虫框架scrapy环境的搭建方法

一、安装Python3.6（64-bit）

1.到Python官网下载Python3.6的64-bit版本，下载地址为 https://www.python.org/downloads/release/python-360/

2.安装Python3.6，安装过程中注意勾选“Add Python 3.6 to PATH”选项

3.打开命令提示符(cmd)输入“python”，如果出现python的版本信息则代表Python3.6已经安装成功。

二、安装Scrapy框架

1.首先安装Twisted，命令为：pip install Twisted==18.9.0

2.安装Scrapy，命令为：pip install scrapy

三、安装依赖库

1.安装lxml，命令为：pip install lxml

2.安装pyOpenSSL，命令为：pip install pyOpenSSL

四、安装pywin32

1.在 http://sourceforge.net/projects/pywin32/files/pywin32/ 下载pywin32安装包，注意选择与Python版本、位数相对应的安装包

2.双击下载好的安装包，一路点击“下一步”，完成安装。

三条示例：
1.如果想要在子目录下创建一个爬虫，可以使用以下命令：

scrapy startproject myproject

cd myproject

scrapy genspider example example.com

2.在爬虫中定义item字段

import scrapy

class MyItem(scrapy.Item):
    field1 = scrapy.Field()
    field2 = scrapy.Field()

3.在爬虫中处理返回的数据

def parse(self, response):
    for sel in response.xpath('//ul/li'):
        item = MyItem()
        item['fieldname'] = sel.xpath('a/text()').extract()
        yield item