-------------------------------------------
--------------爬虫的思路-------------------
-------------------------------------------
先判断网页是否允许爬虫
(1)get_html()获取源码
  1、不允许就加上headers头部信息,模拟用户访问
        headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36'}
  2、请求进入网页
    request = urllib2.Rwquest(url,headers = headers)
  3、打开网页
    response = urllib2.urlopen(request)
  4、获取源码
    text = response.read()

(2)get_Url()获取标题或者内容
  1、进入网页寻找网页中我们寻找的内容部分
  2、找到标题或者内容那一部分,通过正则表达式匹配该部分
    pattern = re.compile('<a href="/story/(.*?)"',re.S)# re.S匹配换行符
  3、在整个网页中匹配这个内容
    items = re.findall(pattern,html)
  4、打印出来
    urls = []#多个页面,把每个页面的编码放到list中
    for item in items:
    urls.append('http://daily.zhihu.com/story/'+item)
    #print urls[-1] #切片
    return urls
  5、调用显示

(3)多页的显示
  1、看每页的网址的区别,一般是在后面加上+str(page)
  2、然后分别调用每页的内容

(4)把获取的内容写到文件中保存
  items = pattern.compile(patten,html)
  with open('test.txt','w') as test:
  for item in items:
  test.write(item)#往文件中写内容
  test.write("\n")#换行

 

我们如果想爬取一个网页,那么就需要打开网页获取网页的源码,一般使用谷歌和火狐稍微好点,现在教你们怎样获取网页源码:

1、打开网页,在网页空白处右击选择查看网页源代码;

2、进入源代码查找你需要用到的信息,复制下来,然后用正则匹配下来,我们有个懒惰匹配(.*?)就是代表你要获取的内容,不需要可以用.*?代替,很长的数字可以用\d+代替等等,具体的正则表达式看我之前的帖子http://www.cnblogs.com/zhangjiansheng/p/6853729.html,里面有详细描述。

比如下面这个例子:

    <tr><td>1</td><td>989584027708</td><td>(香港地区)National_Bank_Abu_Dhabi</td><td>00852-341343660</td><td>18/F_Nine_Queens_Road_Central</td></tr>

 <tr><td>\d+</td><td>\d+</td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td></tr>

爬虫一:爬取信息

以上只是爬取没有反爬机制的网页。

下面是用正则与urllib编写的一个爬虫,用来爬取http://furhr.com/,把所有的银行名称,联系电话,银行地址爬取下来,并把爬取到的内容放到Excel表格内,具体程序如下所示:

# -*- coding:utf-8 -*-
__author__ = 'Demon'

import xlwt#excel表格函数
import urllib,re

def getdata():
    url_list = []
    for i in range(1,100):
        url = 'http://furhr.com/?page={}'.format(i)#多页调用
        #print url
        try:#错误处理
            html = urllib.urlopen(url).read()#打开网页获取源码
            #print html
        except Exception as e:
            print e
            continue
        #正则表达式 获取想要获取的内容
        page_list = re.findall(r"<tr><td>\d+</td><td>\d+</td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td></tr>",html)
        #print page_list
        url_list.append(page_list)#把匹配到的内容放到list里面
    return url_list

def excel_write():
    newTable = 'test.xls'#新建一个excel表格并命名
    wb = xlwt.Workbook(encoding='utf-8')#申明表格编码格式
    ws = wb.add_sheet('test1')#增加表格单元
    headData = ['公司名称','电话','地址']#写表头
    for colnum in range(0,3):
        ws.write(0,colnum,headData[colnum],xlwt.easyxf('font: bold on'))
        #把表头写在第0行,0,1,2这三列,并把字体设置为加粗
    index = 1
    for item in items:#把数据写到表格里面
        for j in range(0,len(item)):
           for i in range(0,3):
#               print item[j]
               print item[j][i]
               ws.write(index,i,item[j][i])
           index +=1
    wb.save(newTable)

if __name__ == "__main__":#判断函数入口
    items = getdata()#调用网页源码获取函数
    excel_write()#调取Excel函数,把数据放在Excel中

爬取的结果如下图所示:

爬虫一:爬取信息

爬虫一:爬取信息