好,现在进入高阶代码篇。 
目的: 
爬取昆明市中学的兴趣点POI。 
关键词:中学 
已有ak:9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO 
昆明市坐标范围: 
左下角:24.390894,102.174112 
右上角:26.548645,103.678942 
URL模板: 
http://api.map.baidu.com/place/v2/search?query=中学& bounds=24.390894,102.174112,26.548645,103.678942&page_size=20&page_num=0&output=json&ak=9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO 
工具:python2.7 
我们将使用python语言来写爬虫代码。

1.功能分解 
先把这个爬虫要实现的功能做一个分解。 
已经知道在这个URL中,变量是bounds和page_num的值。 
Bounds范围值要采取矩形分割,分4个矩形,就是4组坐标范围,page_num的值从0到19之间。 
1组坐标范围20个page_num值,4×20=80。要生成的URL阵列是80个。 
每个URL都能生成一个网页,每个网页上的信息都要被爬下来,保存到一个txt文件中。

A.根据bounds和page_num组合生成URL。 
B.根据URL爬取网页数据,添加到txt文件中。 
这将是一个循环代码: 
Bounds=[矩形1,矩形2,矩形3,矩形4] 
Page_nums=[0、1、2……19]

For 矩形 in bounds: 
For page_num in page_nums: 
URL=http://api.map.baidu.com/place/v2/search?query=中学& bounds=矩形&page_size=20&page_num=page_num&output=json&ak=9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO 
URL内容爬取,添加入txt文件 
Next 
Next 
End 
这个代码的框架说完了。 
然后进入每个功能的代码如何实现环节。

2.功能代码实现。 
代码要实现的功能是哪几个呢? 
按照步骤分: 
A.bounds列表的生成。 
B.URL列表的生成。 
C.爬取的网页内容保存到txt文本中。

(1)bounds列表生成 
再说一下,因为这个是零基础教程,所以我会讲解得非常细致,python代码会由浅入深,从最简单最基础的开始。 
我们看一下坐标范围: 
左下角:24.390894,102.174112 
右上角:26.548645,103.678942 
纬度差是2.157751,经度差是1.50483。 
用代码表示一下坐标范围: 
lat_1=24.390894 
lon_1=102.174112 
lat_2=26.548645 
lon_2=103.678942 
lat是纬度的英文,lon是经度的英文。 
我们切分矩形的话,这个矩形的坐标肯定是由上面这几个坐标范围计算的来的,内插运算。 
为了计算简便,我们就切方形吧,这个方形的边长我们设定一个值,假设是las(length of a side,边长英文)。 

零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(代码篇)

那么第一个矩形的左下角坐标是lat_1+las,lon_1,右上角坐标是lat_1+las*2,lon_1+las;第二个矩形的左下角坐标是lat_1+las,lon_1+las,右上角坐标是lat_1+las*2,lon_1+las*2…… 
我们设定的计算规则是: 
整个坐标范围的大矩形我们叫它矩形A,切分的小矩形我们叫它矩形B。 
矩形A的左下角坐标是:lat_1,lon_1,右上角坐标是lat_2,lon_2; 
矩形B的边长是las。 
那么计算一下矩形B的数量: 
(int((lat_2-lat_1)/las)+1)*(int((lon_2-lon_1)/las)+1) 
int是一个取整函数。 
int(1.334)=1 
int((lat_2-lat_1)/las)+1计算的是在纬度上切了几个,int((lon_2-lon_1)/las)+1计算的是在经度上切了几个,乘积就是一共几个矩形。 
我们看下面一段代码:

at_1=24.390894
lon_1=102.174112
lat_2=26.548645
lon_2=103.678942   #坐标范围
las=1  #给las一个值1
lat_count=int((lat_2-lat_1)/las+1)
lon_count=int((lon_2-lon_1)/las+1)
for lat_c in range(0,lat_count):
    lat_b1=lat_1+las*lat_c
    for lon_c in range(0,lon_count):
        lon_b1=lon_1+las*lon_c
        print str(lat_b1)+','+str(lon_b1)
        #这段代码生成的是矩形B的左下角坐标

在IDLE中敲入这些代码,运行结果是: 
24.390894,102.174112 
24.390894,103.174112 
25.390894,102.174112 
25.390894,103.174112 
26.390894,102.174112 
26.390894,103.174112 
因为我把las设置为1了,所以切出来6个矩形,这是这六个矩形的左下角坐标。 
这行代码很简单,只涉及到两组内嵌的循环语句:for lat_c in range(0,lat_count): 
用VB语言翻译一下这行就是 for lat_c=0 to lat_count step 1。 
说明几个注意点: 
a.python语言不需要声明变量。 
b.for语句后面的:别忘了。 
c.range(0,3)是[0,1,2],3不在数组里面,好好理解一下函数关系,这么个算法,说明左下角坐标是正好的,不会多一个。 
d.python没有结束循环的语句,靠回车,表示嵌套关系靠的“ ”,四个空格,for语句冒号后面跟着的那行,比for语句后退了四个空格,说明这个语句是在for循环中的,如果语句要跳出for循环的话,那么就删掉四个空格,表示跳出循环。这是一个很有意思的python写码规则。 
我们把这段代码改一改,获取矩形B的范围坐标:

lat_1=24.390894
lon_1=102.174112
lat_2=26.548645
lon_2=103.678942   #坐标范围
las=1  #给las一个值1
lat_count=int((lat_2-lat_1)/las+1)
lon_count=int((lon_2-lon_1)/las+1)
for lat_c in range(0,lat_count):
    lat_b1=lat_1+las*lat_c
    for lon_c in range(0,lon_count):
        lon_b1=lon_1+las*lon_c
        print str(lat_b1)+','+str(lon_b1)+','+str(lat_b1+las)+','+str(lon_b1+las)
        #这段代码生成的是矩形B的范围坐标

运行结果如下: 
24.390894,102.174112,25.390894,103.174112 
24.390894,103.174112,25.390894,104.174112 
25.390894,102.174112,26.390894,103.174112 
25.390894,103.174112,26.390894,104.174112 
26.390894,102.174112,27.390894,103.174112 
26.390894,103.174112,27.390894,104.174112 
好好理解一下这行代码。

(2)URL列表生成: 
bounds列表生成之后,page_num在range(0,20)中遍历一遍,就生成了URL列表了。 
代码如下: 

零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(代码篇)

看看这张图,好好理解一下循环与空格之间的关系,python没有结束循环的语句,就靠空格来做嵌套。 
把这段代码完善一下,主要是URL那段怎么写。 

零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(代码篇)

其中: 
url=’http://api.map.baidu.com/place/v2/search?query=中学& bounds=’+str(lat_b1)+’,’+str(lon_b1)+’,’+str(lat_b1+las)+’,’+str(lon_b1+las)+’&page_size=20&page_num=’+str(page_num)+’&output=json&ak=9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO’ 
print url 
URL列表也生成了,是不是曙光在望了? 
继续!

(3)网页解析 
我们先学习一下网页的爬取,依然用这行URL来学习。 
http://api.map.baidu.com/place/v2/search?query=中学& bounds=24.390894,102.174112,26.548645,103.678942&page_size=20&page_num=0&output=json&ak=9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO 
我用的python2.7,我们写一段代码,把这个URL上的数据爬下来。 
打开IDLE,file——new file(ctrl+n),新建一个py文件,在里面敲代码。当然也可以在python shell里面一行一行敲,对于初学者来说,这种方式比较合适,一行一行敲,错了就有提示。 
我们简单敲入一段代码,看看怎么爬取网页: 

零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(代码篇)

在代码的最开始,我们看到导入了两个库,一个是urllib2库,一个是json,这是要解析百度开放平台URL必须要导入的两个库,urllib2是做网页解析的,而URL中,我们仔细查看,会看到“output=json”,URL的网页输出是以这种格式输出的。 
输出结果如下: 

零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(代码篇)

但显然,我们不需要这样的数据,在结果“results”中,我们只需要name、lat、lng、address的值,这时候,就需要对json数据格式进行解析了。 
我们把这段代码修改一下: 

零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(代码篇)

上文不同的是,我们还导入了一个sys库,解释如图。 
用加载的方式,json.load(response)在python中载入了URL生成的json数据,用一个循环读入了json数据中的results中name,仔细观察json数据结构就能理解这些代码。 
运行结果如下: 

零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(代码篇)

当然,我们要获取的是四个值,name、lat、lng、address,那么把这行代码改写一下吧! 
改写的代码部分如下:

for item in data['results']:
    jname=item['name']
    jlat=item['location']['lat']
    jlon=item['location']['lng']
    jadd=item['address']

(5)python默认编码问题。 
python默认的编码是ASCII,不过URL解析的json文件编码是uft-8。 
如果不对编码方式进行重新设定,就会出现中文乱码问题。 
把python默认编码从ascii转到uft-8的代码是固定的。

# -*- coding:utf-8 -*
import os
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

把这段代码放在代码前端即可。 
我们将要实现的代码前端如图,保证代码行的顺序。 

零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(代码篇)

(6)txt文件写入

f=open(r'D:\python\kunmingschool.txt','a')
f.write('zhongxue')
f.close()

这是一段最简单的文本写入代码,打开D:\python\kunmingschool.txt这个文件,以添加方式写入,写入zhongxue,把文件关闭。 
A.文件全路径前面加一个r,这是防止字符转译的,就是怕识别不了路径。 
B.a的意思是以添加方式写入,如果是w的话,就是覆盖方式写入。 
C.写入完成后,要把文件关闭,close(),括号别忘了。 
把网页解析和txt文件写入,联合一下。 
还是把这个URL上的内容写入txt文件,文件的全路径是D:\python\kunmingschool.txt。 
http://api.map.baidu.com/place/v2/search?query=中学& bounds=24.390894,102.174112,26.548645,103.678942&page_size=20&page_num=0&output=json&ak=9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO 
这段的代码如下: 

零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(代码篇)

n\是python里面的换行符。 
运行结果如下图: 

零基础掌握百度地图兴趣点获取POI爬虫(python语言爬取)(代码篇)

至此,要用到的功能代码,我们都会了,现在只要把它们都组合到一切就可以了。 
3.全部代码

# -*- coding:utf-8 -*
import json  #导入json库
import os
import urllib2 #导入urllib2库
import sys #我知道了,这个东东是为了把默认编码从ascii转到uft-8。
reload(sys)
sys.setdefaultencoding('utf-8')

lat_1=24.390894
lon_1=102.174112
lat_2=26.548645
lon_2=103.678942   #坐标范围
las=1  #给las一个值1
ak='9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO'
keyword='中学'
push=r'D:\python\12345.txt'
#我们把变量都放在前面,后面就不涉及到变量了,如果要爬取别的POI,修改这几个变量就可以了,不用改代码了。
f=open(push,'a')
lat_count=int((lat_2-lat_1)/las+1)
lon_count=int((lon_2-lon_1)/las+1)
for lat_c in range(0,lat_count):
    lat_b1=lat_1+las*lat_c
    for lon_c in range(0,lon_count):
        lon_b1=lon_1+las*lon_c
        for i in range(0,20):
            page_num=str(i)
            url='http://api.map.baidu.com/place/v2/search?query='keyword'& bounds='+str(lat_b1)+','+str(lon_b1)+','+str(lat_b1+las)+','+str(lon_b1+las)+'&page_size=20&page_num='+str(page_num)+'&output=json&ak='+ak
            response = urllib2.urlopen(url2)
            data=json.load(response)
            for item in data['results']:
                jname=item['name']
                jlat=item['location']['lat']
                jlon=item['location']['lng']
                jadd=item['address']
                j_str=jname+','+str(jlat)+','+str(jlon)+','+jadd+'\n'
                f.write(j_str)
f.close()

说实话,一个脚本里面嵌入了四个循环,程序员见了能打人,不过能用就行。

接下来将要进入进阶篇教程,在这里会涉及到如何获取区域范围,例如昆明市的bounds值;如何更合理的切分矩形;如何简化代码,如何将代码移植到python3中;可否用别的方式、函数语句获取poi数据;通过什么样的设置可以更高效的获取poi;python中文乱码的解决方式;request、time等模块的应用;过程参考资料汇总……

 

转自-----http://blog.csdn.net/sinat_41310868/article/details/78746224