爬取的网页链接为https://tieba.baidu.com/p/5177270774

是一个美女警花哦！

所用Python环境为：python 3.3.2   用到的库为：urllib.request    re

用Python爬虫爬取“女神吧”上的照片。

 

下面上代码：

import urllib.request
import re

#获得url的html 源码格式，其中使用了一个通过修改User-Agent实现了隐藏
def open_url(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36')
    page = urllib.request.urlopen(req)
    html = page.read().decode('utf-8') #二进制的utf-8要解码得到html代码（Unicode）
    return html


#写正则表达式，获得html代码
def get_image(html):
    p = r'<img class="BDE_Image" src="([^"]+\.jpg)"' #正则表达式 [^]中的^是取反的意思
    temp = re.findall(p,html)
    i = 0
    page = 'C:/Users/lenovo/Desktop/mm/'
    for each in temp:
        i += 1
        file = open(page+str(i)+'.jpg','wb')
        each = urllib.request.urlopen(each).read()   #将图片链接读出来写入文件中
        file.write(each)
        file.close()
        
    
def main(url):
    get_image(open_url(url))

#规定只有直接运行这个模块才能执行主程序
if __name__ == '__main__':
    url = 'https://tieba.baidu.com/p/5177270774' 
    main(url)

 

下面是爬取结果：

用Python爬虫爬取“女神吧”上的照片。

当然，这个爬虫是不完善的，除了四张美女图片外还多了一些慕名奇妙的图片，但是总的来说还是爬到了美女的图片的。