python爬虫入门（二）Opener和Requests

Handler和Opener

Handler处理器和自定义Opener

opener是urllib2.OpenerDirector的实例，我们之前一直在使用urlopen，它是一个特殊的opener(也就是我们构建好的)。

但是urlopen()方法不支持代理、cookie等其他的HTTP/GTTPS高级功能。所有要支持这些功能：

　　1.使用相关的Handler处理器来创建特定功能的处理器对象；

　　2.然后通过urllib2.build_opener()方法使用这些处理器对象，创建自定义opener对象；

　　3.使用自定义的opener对象，调用open()方法发送请求。

如果程序里所有的请求都使用自定义的opener,可以使用urllib2.install_open()将自定义的opener对象定义为全局opener,表示如果之后凡是调用urlopen,都将使用这个opener(根据自己的需求来选择)

简单的自定义opener()

# _*_ coding:utf-8 _*_
import urllib2

# 构建一个HTTPHandler处理器对象，支持处理HTTP的请求
http_handler = urllib2.HTTPHandler()
# 调用build_opener()方法构建一个自定义的opener对象，参数是构建的处理器对象
opener = urllib2.build_opener(http_handler)

request = urllib2.Request('http://www.baidu.com/s')

# 调用自定义opener对象的open()方法,发送request请求
response = opener.open(request) 

print response.read()

debug log模式

可以在HTTPHandler里面加参数（debuglevel=1）打开

# _*_ coding:utf-8 _*_
import urllib2

# 构建一个HTTPHandler处理器对象，支持处理HTTP的请求
# http_handler = urllib2.HTTPHandler()
# 主要用于调试用
http_handler = urllib2.HTTPHandler(debuglevel=1)
# 调用build_opener()方法构建一个自定义的opener对象，参数是构建的处理器对象
opener = urllib2.build_opener(http_handler)

request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
# print response.read()

ProxyHandler处理器（代理设置）

使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。

很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。

所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。

urllib2中通过ProxyHandler来设置使用代理服务器，使用自定义opener来使用代理：

免费代理网站：http://www.xicidaili.com/;https://www.kuaidaili.com/free/inha/

 

# _*_ coding:utf-8 _*_
import urllib2

# 构建一个Handler处理器对象，参数是一个字典类型，包括代理类型和代理服务器IP+Port
httpproxy_handler = urllib2.ProxyHandler({'http':'118.114.77.47:8080'})
#使用代理
opener = urllib2.build_opener(httpproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')

#1 如果这么写，只有使用opener.open()方法发送请求才使用自定义的代理，而urlopen()则不使用自定义代理。
response = opener.open(request)

#12如果这么写，就是将opener应用到全局，之后所有的，不管是opener.open()还是urlopen() 发送请求，都将使用自定义代理。
#urllib2.install_opener(opener)
#response = urllib2.urlopen(request)

print response.read()

 

但是，这些免费开放代理一般会有很多人都在使用，而且代理有寿命短，速度慢，匿名度不高，HTTP/HTTPS支持不稳定等缺点（免费没好货）,所以，专业爬虫工程师会使用高品质的私密代理

 私密代理

（代理服务器都有用户名和密码）必须先授权才能用

# _*_ coding:utf-8 _*_
import urllib2

#必须输入用户名密码，ip和port
authproxy_handler = urllib2.ProxyHandler({'http':'username:pwd@ip:port})
opener = urllib2.build_opener(authproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
print response.read()

为了安全一般把私密代理ip用户名密码保存到系统环境变量里面，再读出来

# _*_ coding:utf-8 _*_
import urllib2
import os 

# 从环境变量里面取到用户名和密码
proxyuser = os.environ.get('proxuser')   
proxypasswd = os.environ.get('proxpasswd')
#必须输入用户名密码，ip和port
authproxy_handler = urllib2.ProxyHandler({'http':proxyuser+':'+proxypasswd+'@ip:port'})
opener = urllib2.build_opener(authproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
print response.read()

 Cookielib库和HTTPCookieProcess处理器

 Cookie :是指某些网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户浏览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。

cookielib模块：主要作用是提供用于存储cookie的对象

HTTPCookieProcessor处理器：主要作用是处理这些cookie对象，并构建handler对象。

cookie库

该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

• CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。

• FileCookieJar (filename,delayload=None,policy=None)：从CookieJar派生而来，用来创建FileCookieJar实例，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。

• MozillaCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。

• LWPCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与libwww-perl标准的 Set-Cookie3 文件格式兼容的FileCookieJar实例。

其实大多数情况下，我们只用CookieJar()，如果需要和本地文件交互，就用 MozillaCookjar() 或 LWPCookieJar()

下面通过实例登录人人网，学习cookieJar()用法

登录人人网

# _*_ coding:utf-8 _*_
import urllib2
import urllib
import cookielib

#通过CookieJar()类构建一个cookieJar对象，用来保存cookie的值
cookie = cookielib.CookieJar()
#通过HTTPCookieProcessor()处理器类构建一个处理器对象，用来处理cookie
#参数就是构建的CookieJar()对象
cookie_handler = urllib2.HTTPCookieProcessor(cookie)
#构建一个自定义的opener
opener = urllib2.build_opener(cookie_handler)
# 通过自定义opener的addheaders的参数，可以添加HTTP报头参数
opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36')]
#renren网的登录接口
url = 'http://www.renren.com/PLogin.do'
#需要登录的账号密码
data = {'email':'15********','password':'py********'}
# 通过urlencode()编码转换
data = urllib.urlencode(data)
# 第一次是POST请求，发送登录需要的参数，获取cookie
request = urllib2.Request(url,data = data)
response = opener.open(request)
print response.read()

有了cookie之后，可以直接爬取其它页面

# _*_ coding:utf-8 _*_
import urllib2
import urllib
import cookielib

#通过CookieJar()类构建一个cookieJar对象，用来保存cookie的值
cookie = cookielib.CookieJar()
#通过HTTPCookieProcessor()处理器类构建一个处理器对象，用来处理cookie
#参数就是构建的CookieJar()对象
cookie_handler = urllib2.HTTPCookieProcessor(cookie)
#构建一个自定义的opener
opener = urllib2.build_opener(cookie_handler)
# 通过自定义opener的addheaders的参数，可以添加HTTP报头参数
opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36')]
#renren网的登录接口
url = 'http://www.renren.com/PLogin.do'
#需要登录的账号密码
data = {'email':'15********','password':'python********'}
# 通过urlencode()编码转换
data = urllib.urlencode(data)

request = urllib2.Request(url,data = data)
response = opener.open(request)
# print response.read()

# 可以直接爬取登录后的其它页面了
response_other = opener.open('http://friend.renren.com/managefriends')
print response_other.read()

Requests模块

安装：直接pip install requests

Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。

添加headers和查询参数

# _*_ coding:utf-8 _*_

import requests

kw = {'wd':'python'}
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}

# params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)

# 查看响应内容，response.text 返回的是Unicode格式的数据
print response.text

# 查看响应内容，response.content返回的字节流数据
print response.content

# 查看完整url地址
print response.url

# # 查看响应头部字符编码
print response.encoding

# 查看响应码
print response.status_code

使用代理

# _*_ coding:utf-8 _*_

import requests

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
# 根据协议类型，选择不同的代理
proxies = {
  "http": "http://119.28.152.208:80",
}

response = requests.get("http://www.baidu.com/", proxies = proxies,headers=headers)
print response.text

私密代理验证

urllib2 这里的做法比较复杂，requests只需要一步：

# _*_ coding:utf-8 _*_

import requests

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}

proxy = { "http": "name:pwd@ip:port" }

response = requests.get("http://www.baidu.com/", proxies = proxy,headers=headers)

print response.text

web客户端验证

import requests

auth=('test', '123456')

response = requests.get('http://192.168.xxx.xx', auth = auth)

print response.text

session

在 requests 里，session对象是一个非常常用的对象，这个对象代表一次用户会话：从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开。

会话能让我们在跨请求时候保持某些参数，比如在同一个 Session 实例发出的所有请求之间保持 cookie 。

登录人人网

# _*_ coding:utf-8 _*_

import requests

# 1. 创建session对象，可以保存Cookie值
ssion = requests.session()

# 2. 处理 headers
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}

# 3. 需要登录的用户名和密码
data = {"email":"158xxxxxxxx", "password":"pythonxxxxxxx"}

# 4. 发送附带用户名和密码的请求，并获取登录后的Cookie值，保存在ssion里
ssion.post("http://www.renren.com/PLogin.do", data = data)

# 5. ssion包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面
response = ssion.get("http://zhibo.renren.com/news/108")

# 6. 打印响应内容
print response.text

页面解析和数据处理

 爬虫一共就四个主要步骤：

1. 明确目标 (要知道你准备在哪个范围或者网站去搜索)
2. 爬 (将所有的网站的内容全部爬下来)
3. 取 (去掉对我们没用处的数据)
4. 处理数据（按照我们想要的方式存储和使用）

一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为两部分，非结构化数据和结构化数据。

非结构化数据：先有数据，再有结构

结构化数据：先有结构，再有数据

1.非结构化的数据处理

1.文本、电话号码、邮箱地址  

　　　　-->正则表达式

2.HTML文件   

　　　　 -->正则表达式，XPath,CSS选择器

2.结构化的数据处理

1.JSON文件 

　　　　-->JSON Path

　　　　-->转化成python类型进行操作

2.XML文件

　　　　-->转化成python类型（xmltodict）

　　　　-->XPath

　　　　-->CSS选择器

　　　　-->正则表达式

正则表达式

简单回顾下python正则表达式的一些使用方法

正则表达式测试网站：http://tool.oschina.net/regex/#

re 模块的一般使用步骤如下：

1. 使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象

2. 通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个 Match 对象。

3. 最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作

pattern = re.compile('\d')    #将正则表达式编译成一个pattern规则对象

pattern.match()    #从起始位置开始往后查找，返回第一个符合规则的，只匹配一次
pattern.search()   #从任意位置开始往后查找，返回第一个符合规则的，只匹配一次
pattern.findall()  #所有的全部匹配，返回列表
pattern.finditer() #所有的全部匹配，返回的是一个迭代器
pattern.split()    #分割字符串，返回列表
pattern.sub()      #替换

re.I   #表示忽略大小写

re.S   #表示全文匹配

1.match()

import re

pattern = re.compile('\d+')

m = pattern.match('aaa123bbb456',3,5)   #可以指定match起始和结束的位置match（string,begin,end）
print m.group()     #12

m = pattern.match('aaa123bbb456',3,6)
print m.group()     #123

import re
#匹配两组， re.I忽略大小写
pattern = re.compile(r"([a-z]+) ([a-z]+)",re.I)  #第一组（字母）和第二组（字母）之间以空格分开
m = pattern.match("Hello world and Python")

print m.group(0)     #Hello world    group(0)获取所有子串
print m.group(1)     #Hello          group(1)所有子串里面的第一个子串
print m.group(2)     #world          group(2)所有子串里面的第二个子串

2.search()

import re

pattern = re.compile(r'\d+')
m = pattern.search('aaa123bbb456')
print m.group()    #123

m = pattern.search('aaa123bbb456',2,5)
print m.group()    #12

3.findall()

import re

pattern = re.compile(r'\d+')
m = pattern.findall('hello 123456 789')   #
print m    #['123456', '789']

m = pattern.findall('hello 123456 789',5,10)
print m    #['1234']

4.split()

# _*_ coding:utf-8 _*_

import re

pattern = re.compile(r'[\s\d\\\;]+')    #以空格，数字，'\'，'；'做分割

m = pattern.split(r'a b22b\cc;d33d   ee')

print m        #['a', 'b', 'b', 'cc', 'd', 'd', 'ee']   

5.sub()

# _*_ coding:utf-8 _*_

import re

pattern = re.compile(r'(\w+) (\w+)')
str = 'good 111,job 222'

m = pattern.sub('hello python',str)

print m    #hello python,hello python

m = pattern.sub(r"'\1':'\2'",str)

print m    #'good':'111','job':'222'

# _*_ coding:utf-8 _*_

import re

pattern = re.compile(r'\d+')
str = 'a1b22c33d4e5f678'

m = pattern.sub('*',str)    #a*b*c*d*e*f*   把数字替换成'*'
print m

内涵段子实例

 爬取贴吧所有内容，并通过正则表达式爬取出所有的段子

url变化

• 第一页url: http: //www.neihan8.com/article/list_5_1 .html

• 第二页url: http: //www.neihan8.com/article/list_5_2 .html

• 第三页url: http: //www.neihan8.com/article/list_5_3 .html

 

pattern = re.compile('<dd\sclass="content">(.*?)</dd>', re.S)
每个段子内容都是在 <dd class='content'>......</dd>里面，通过正则可以获取内

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import urllib2
import re

class Spider:
    def __init__(self):
        # 初始化起始页位置
        self.page = 1
        # 爬取开关，如果为True继续爬取
        self.switch = True

    def loadPage(self):
        """
            作用：下载页面
        """
        print "正在下载数据...."
        url = "http://www.neihan.net/index_" + str(self.page) + ".html"
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
        request = urllib2.Request(url, headers = headers)
        response = urllib2.urlopen(request)

        # 获取每页的HTML源码字符串
        html = response.read()
        #print html

        # 创建正则表达式规则对象，匹配每页里的段子内容，re.S 表示匹配全部字符串内容
        pattern = re.compile('<dd\sclass="content">(.*?)</dd>', re.S)

        # 将正则匹配对象应用到html源码字符串里，返回这个页面里的所有段子的列表
        content_list = pattern.findall(html)

        # 调用dealPage() 处理段子里的杂七杂八
        self.dealPage(content_list)

    def dealPage(self, content_list):
        """
            处理每页的段子
            content_list : 每页的段子列表集合
        """
        for item in content_list:
            # 将集合里的每个段子按个处理，替换掉无用数据
            item = item.replace("<p>","").replace("</p>", "").replace("<br/>", "")
            # 处理完后调用writePage() 将每个段子写入文件内
            self.writePage(item)

    def writePage(self, item):
        """
            把每条段子逐个写入文件里
            item: 处理后的每条段子
        """
        # 写入文件内
        print "正在写入数据...."
        with open("tieba.txt", "a") as f:
            f.write(item)

    def startWork(self):
        """
            控制爬虫运行
        """
        # 循环执行，直到 self.switch == False
        while self.switch:
            # 用户确定爬取的次数
            self.loadPage()
            command = raw_input("如果继续爬取，请按回车（退出输入quit)")
            if command == "quit":
                # 如果停止爬取，则输入 quit
                self.switch = False
            # 每次循环，page页码自增1
            self.page += 1
        print "谢谢使用！"


if __name__ == "__main__":
    duanziSpider = Spider()
    duanziSpider.startWork()

可以按回车接着爬取下一页内容,输入QUIT退出。

 爬取后的内容：

 

 

 

 

Handler和Opener

Handler处理器和自定义Opener

opener是urllib2.OpenerDirector的实例，我们之前一直在使用urlopen，它是一个特殊的opener(也就是我们构建好的)。

但是urlopen()方法不支持代理、cookie等其他的HTTP/GTTPS高级功能。所有要支持这些功能：

　　1.使用相关的Handler处理器来创建特定功能的处理器对象；

　　2.然后通过urllib2.build_opener()方法使用这些处理器对象，创建自定义opener对象；

　　3.使用自定义的opener对象，调用open()方法发送请求。

如果程序里所有的请求都使用自定义的opener,可以使用urllib2.install_open()将自定义的opener对象定义为全局opener,表示如果之后凡是调用urlopen,都将使用这个opener(根据自己的需求来选择)

简单的自定义opener()

# _*_ coding:utf-8 _*_
import urllib2

# 构建一个HTTPHandler处理器对象，支持处理HTTP的请求
http_handler = urllib2.HTTPHandler()
# 调用build_opener()方法构建一个自定义的opener对象，参数是构建的处理器对象
opener = urllib2.build_opener(http_handler)

request = urllib2.Request('http://www.baidu.com/s')

# 调用自定义opener对象的open()方法,发送request请求
response = opener.open(request) 

print response.read()

debug log模式

可以在HTTPHandler里面加参数（debuglevel=1）打开

# _*_ coding:utf-8 _*_
import urllib2

# 构建一个HTTPHandler处理器对象，支持处理HTTP的请求
# http_handler = urllib2.HTTPHandler()
# 主要用于调试用
http_handler = urllib2.HTTPHandler(debuglevel=1)
# 调用build_opener()方法构建一个自定义的opener对象，参数是构建的处理器对象
opener = urllib2.build_opener(http_handler)

request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
# print response.read()

ProxyHandler处理器（代理设置）

使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。

很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。

所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。

urllib2中通过ProxyHandler来设置使用代理服务器，使用自定义opener来使用代理：

免费代理网站：http://www.xicidaili.com/;https://www.kuaidaili.com/free/inha/

 

# _*_ coding:utf-8 _*_
import urllib2

# 构建一个Handler处理器对象，参数是一个字典类型，包括代理类型和代理服务器IP+Port
httpproxy_handler = urllib2.ProxyHandler({'http':'118.114.77.47:8080'})
#使用代理
opener = urllib2.build_opener(httpproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')

#1 如果这么写，只有使用opener.open()方法发送请求才使用自定义的代理，而urlopen()则不使用自定义代理。
response = opener.open(request)

#12如果这么写，就是将opener应用到全局，之后所有的，不管是opener.open()还是urlopen() 发送请求，都将使用自定义代理。
#urllib2.install_opener(opener)
#response = urllib2.urlopen(request)

print response.read()

 

但是，这些免费开放代理一般会有很多人都在使用，而且代理有寿命短，速度慢，匿名度不高，HTTP/HTTPS支持不稳定等缺点（免费没好货）,所以，专业爬虫工程师会使用高品质的私密代理

 私密代理

（代理服务器都有用户名和密码）必须先授权才能用

# _*_ coding:utf-8 _*_
import urllib2

#必须输入用户名密码，ip和port
authproxy_handler = urllib2.ProxyHandler({'http':'username:pwd@ip:port})
opener = urllib2.build_opener(authproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
print response.read()

为了安全一般把私密代理ip用户名密码保存到系统环境变量里面，再读出来

# _*_ coding:utf-8 _*_
import urllib2
import os 

# 从环境变量里面取到用户名和密码
proxyuser = os.environ.get('proxuser')   
proxypasswd = os.environ.get('proxpasswd')
#必须输入用户名密码，ip和port
authproxy_handler = urllib2.ProxyHandler({'http':proxyuser+':'+proxypasswd+'@ip:port'})
opener = urllib2.build_opener(authproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
print response.read()

 Cookielib库和HTTPCookieProcess处理器

 Cookie :是指某些网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户浏览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。

cookielib模块：主要作用是提供用于存储cookie的对象

HTTPCookieProcessor处理器：主要作用是处理这些cookie对象，并构建handler对象。

cookie库

该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

• CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。

• FileCookieJar (filename,delayload=None,policy=None)：从CookieJar派生而来，用来创建FileCookieJar实例，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。

• MozillaCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。

• LWPCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与libwww-perl标准的 Set-Cookie3 文件格式兼容的FileCookieJar实例。

其实大多数情况下，我们只用CookieJar()，如果需要和本地文件交互，就用 MozillaCookjar() 或 LWPCookieJar()

下面通过实例登录人人网，学习cookieJar()用法

登录人人网

# _*_ coding:utf-8 _*_
import urllib2
import urllib
import cookielib

#通过CookieJar()类构建一个cookieJar对象，用来保存cookie的值
cookie = cookielib.CookieJar()
#通过HTTPCookieProcessor()处理器类构建一个处理器对象，用来处理cookie
#参数就是构建的CookieJar()对象
cookie_handler = urllib2.HTTPCookieProcessor(cookie)
#构建一个自定义的opener
opener = urllib2.build_opener(cookie_handler)
# 通过自定义opener的addheaders的参数，可以添加HTTP报头参数
opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36')]
#renren网的登录接口
url = 'http://www.renren.com/PLogin.do'
#需要登录的账号密码
data = {'email':'15********','password':'py********'}
# 通过urlencode()编码转换
data = urllib.urlencode(data)
# 第一次是POST请求，发送登录需要的参数，获取cookie
request = urllib2.Request(url,data = data)
response = opener.open(request)
print response.read()

有了cookie之后，可以直接爬取其它页面

# _*_ coding:utf-8 _*_
import urllib2
import urllib
import cookielib

#通过CookieJar()类构建一个cookieJar对象，用来保存cookie的值
cookie = cookielib.CookieJar()
#通过HTTPCookieProcessor()处理器类构建一个处理器对象，用来处理cookie
#参数就是构建的CookieJar()对象
cookie_handler = urllib2.HTTPCookieProcessor(cookie)
#构建一个自定义的opener
opener = urllib2.build_opener(cookie_handler)
# 通过自定义opener的addheaders的参数，可以添加HTTP报头参数
opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36')]
#renren网的登录接口
url = 'http://www.renren.com/PLogin.do'
#需要登录的账号密码
data = {'email':'15********','password':'python********'}
# 通过urlencode()编码转换
data = urllib.urlencode(data)

request = urllib2.Request(url,data = data)
response = opener.open(request)
# print response.read()

# 可以直接爬取登录后的其它页面了
response_other = opener.open('http://friend.renren.com/managefriends')
print response_other.read()

Requests模块

安装：直接pip install requests

Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。

添加headers和查询参数

# _*_ coding:utf-8 _*_

import requests

kw = {'wd':'python'}
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}

# params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)

# 查看响应内容，response.text 返回的是Unicode格式的数据
print response.text

# 查看响应内容，response.content返回的字节流数据
print response.content

# 查看完整url地址
print response.url

# # 查看响应头部字符编码
print response.encoding

# 查看响应码
print response.status_code

使用代理

# _*_ coding:utf-8 _*_

import requests

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
# 根据协议类型，选择不同的代理
proxies = {
  "http": "http://119.28.152.208:80",
}

response = requests.get("http://www.baidu.com/", proxies = proxies,headers=headers)
print response.text

私密代理验证

urllib2 这里的做法比较复杂，requests只需要一步：

# _*_ coding:utf-8 _*_

import requests

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}

proxy = { "http": "name:pwd@ip:port" }

response = requests.get("http://www.baidu.com/", proxies = proxy,headers=headers)

print response.text

web客户端验证

import requests

auth=('test', '123456')

response = requests.get('http://192.168.xxx.xx', auth = auth)

print response.text

session

在 requests 里，session对象是一个非常常用的对象，这个对象代表一次用户会话：从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开。

会话能让我们在跨请求时候保持某些参数，比如在同一个 Session 实例发出的所有请求之间保持 cookie 。

登录人人网

# _*_ coding:utf-8 _*_

import requests

# 1. 创建session对象，可以保存Cookie值
ssion = requests.session()

# 2. 处理 headers
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}

# 3. 需要登录的用户名和密码
data = {"email":"158xxxxxxxx", "password":"pythonxxxxxxx"}

# 4. 发送附带用户名和密码的请求，并获取登录后的Cookie值，保存在ssion里
ssion.post("http://www.renren.com/PLogin.do", data = data)

# 5. ssion包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面
response = ssion.get("http://zhibo.renren.com/news/108")

# 6. 打印响应内容
print response.text

页面解析和数据处理

 爬虫一共就四个主要步骤：

1. 明确目标 (要知道你准备在哪个范围或者网站去搜索)
2. 爬 (将所有的网站的内容全部爬下来)
3. 取 (去掉对我们没用处的数据)
4. 处理数据（按照我们想要的方式存储和使用）

一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为两部分，非结构化数据和结构化数据。

非结构化数据：先有数据，再有结构

结构化数据：先有结构，再有数据

1.非结构化的数据处理

1.文本、电话号码、邮箱地址  

　　　　-->正则表达式

2.HTML文件   

　　　　 -->正则表达式，XPath,CSS选择器

2.结构化的数据处理

1.JSON文件 

　　　　-->JSON Path

　　　　-->转化成python类型进行操作

2.XML文件

　　　　-->转化成python类型（xmltodict）

　　　　-->XPath

　　　　-->CSS选择器

　　　　-->正则表达式

正则表达式

简单回顾下python正则表达式的一些使用方法

正则表达式测试网站：http://tool.oschina.net/regex/#

re 模块的一般使用步骤如下：

1. 使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象

2. 通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个 Match 对象。

3. 最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作

pattern = re.compile('\d')    #将正则表达式编译成一个pattern规则对象

pattern.match()    #从起始位置开始往后查找，返回第一个符合规则的，只匹配一次
pattern.search()   #从任意位置开始往后查找，返回第一个符合规则的，只匹配一次
pattern.findall()  #所有的全部匹配，返回列表
pattern.finditer() #所有的全部匹配，返回的是一个迭代器
pattern.split()    #分割字符串，返回列表
pattern.sub()      #替换

re.I   #表示忽略大小写

re.S   #表示全文匹配

1.match()

import re

pattern = re.compile('\d+')

m = pattern.match('aaa123bbb456',3,5)   #可以指定match起始和结束的位置match（string,begin,end）
print m.group()     #12

m = pattern.match('aaa123bbb456',3,6)
print m.group()     #123

import re
#匹配两组， re.I忽略大小写
pattern = re.compile(r"([a-z]+) ([a-z]+)",re.I)  #第一组（字母）和第二组（字母）之间以空格分开
m = pattern.match("Hello world and Python")

print m.group(0)     #Hello world    group(0)获取所有子串
print m.group(1)     #Hello          group(1)所有子串里面的第一个子串
print m.group(2)     #world          group(2)所有子串里面的第二个子串

2.search()

import re

pattern = re.compile(r'\d+')
m = pattern.search('aaa123bbb456')
print m.group()    #123

m = pattern.search('aaa123bbb456',2,5)
print m.group()    #12

3.findall()

import re

pattern = re.compile(r'\d+')
m = pattern.findall('hello 123456 789')   #
print m    #['123456', '789']

m = pattern.findall('hello 123456 789',5,10)
print m    #['1234']

4.split()

# _*_ coding:utf-8 _*_

import re

pattern = re.compile(r'[\s\d\\\;]+')    #以空格，数字，'\'，'；'做分割

m = pattern.split(r'a b22b\cc;d33d   ee')

print m        #['a', 'b', 'b', 'cc', 'd', 'd', 'ee']   

5.sub()

# _*_ coding:utf-8 _*_

import re

pattern = re.compile(r'(\w+) (\w+)')
str = 'good 111,job 222'

m = pattern.sub('hello python',str)

print m    #hello python,hello python

m = pattern.sub(r"'\1':'\2'",str)

print m    #'good':'111','job':'222'

# _*_ coding:utf-8 _*_

import re

pattern = re.compile(r'\d+')
str = 'a1b22c33d4e5f678'

m = pattern.sub('*',str)    #a*b*c*d*e*f*   把数字替换成'*'
print m

内涵段子实例

 爬取贴吧所有内容，并通过正则表达式爬取出所有的段子

url变化

• 第一页url: http: //www.neihan8.com/article/list_5_1 .html

• 第二页url: http: //www.neihan8.com/article/list_5_2 .html

• 第三页url: http: //www.neihan8.com/article/list_5_3 .html

 

pattern = re.compile('<dd\sclass="content">(.*?)</dd>', re.S)
每个段子内容都是在 <dd class='content'>......</dd>里面，通过正则可以获取内

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import urllib2
import re

class Spider:
    def __init__(self):
        # 初始化起始页位置
        self.page = 1
        # 爬取开关，如果为True继续爬取
        self.switch = True

    def loadPage(self):
        """
            作用：下载页面
        """
        print "正在下载数据...."
        url = "http://www.neihan.net/index_" + str(self.page) + ".html"
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
        request = urllib2.Request(url, headers = headers)
        response = urllib2.urlopen(request)

        # 获取每页的HTML源码字符串
        html = response.read()
        #print html

        # 创建正则表达式规则对象，匹配每页里的段子内容，re.S 表示匹配全部字符串内容
        pattern = re.compile('<dd\sclass="content">(.*?)</dd>', re.S)

        # 将正则匹配对象应用到html源码字符串里，返回这个页面里的所有段子的列表
        content_list = pattern.findall(html)

        # 调用dealPage() 处理段子里的杂七杂八
        self.dealPage(content_list)

    def dealPage(self, content_list):
        """
            处理每页的段子
            content_list : 每页的段子列表集合
        """
        for item in content_list:
            # 将集合里的每个段子按个处理，替换掉无用数据
            item = item.replace("<p>","").replace("</p>", "").replace("<br/>", "")
            # 处理完后调用writePage() 将每个段子写入文件内
            self.writePage(item)

    def writePage(self, item):
        """
            把每条段子逐个写入文件里
            item: 处理后的每条段子
        """
        # 写入文件内
        print "正在写入数据...."
        with open("tieba.txt", "a") as f:
            f.write(item)

    def startWork(self):
        """
            控制爬虫运行
        """
        # 循环执行，直到 self.switch == False
        while self.switch:
            # 用户确定爬取的次数
            self.loadPage()
            command = raw_input("如果继续爬取，请按回车（退出输入quit)")
            if command == "quit":
                # 如果停止爬取，则输入 quit
                self.switch = False
            # 每次循环，page页码自增1
            self.page += 1
        print "谢谢使用！"


if __name__ == "__main__":
    duanziSpider = Spider()
    duanziSpider.startWork()

可以按回车接着爬取下一页内容,输入QUIT退出。

 爬取后的内容：