网络爬虫是根据一定的规则自动的对网络信息进行抓取,为了对爬虫有更深的了解,学习爬虫前有必要先了解一下一个网页打开的完整过程,可以参考http://blog.csdn.net/saiwaifeike/article/details/8789624

         接下来就是需要安装和了解常用的2个相关库,一个是urllib ,另一是BeautifulSoup。urllib是Python自带的标准库,不需要另外安装,而BeautifulSoup需要自己安装,可以通过pip或者easy_install来安装。可以直接命令行easy_install BeautifulSoup安装。
        urllib分为几个子模块:urllib.request, urllib.parse, urllib.error。具体功能可以从名字得出。其中使用最频繁的是urllib.request中的urlopen,这个函数用来打开并获取从网络获取的远程对象。其他函数参考https://docs.python.org/3/library/urllib.html
        这两个库配合使用就已经可以完成简单的爬虫任务了,我们以打开一个简单的网页为例:
http://www.heibanke.com/lesson/crawler_ex00/
    我们用urlopen访问这个网页,然后用BeautifulSoup转换成BeautifulSoup对象,最后输出其中的<h1>标签中的文本,代码如下:
  

1 __author__ = 'f403'
2 #coding = utf-8
3 from urllib.request import urlopen
4 from bs4 import BeautifulSoup
5 html = urlopen("http://www.heibanke.com/lesson/crawler_ex00/")
6 bsobj = BeautifulSoup(html,"html.parser")
7 print(bsobj.h1)

 

运行脚本后输出结果为:
<h1>这里是黑板客爬虫闯关的第一关</h1>
 
 小结:
urlopen完成访问远程网站以及读取的过程。
BeautifulSoup完成对html的转换,转换成BeautifulSoup结构:

 网络爬虫(1)--准备工作