贴吧图片爬虫进阶:在上次的第一个小爬虫过后,用了几次发现每爬一个帖子,都要自己手动输入帖子链接,WTF这程序简直反人类!不行了不行了得改进改进


 

  思路:  

  • 贴吧的链接可以从每个贴吧首页爬取
  • 再从爬取到的贴吧链接中一个个去下载图片
  • 图片得按帖子放置好,不然就太乱了

在这期间研究了下Xpath:

Xpath是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。

简单点来说就是能让你的爬虫通过标签的id、class、name等属性可以获取到标签的属性或内容的一门语言,就不用去写讨厌的正则表达式了(刚开始用正则人都要炸了)

Xpath的学习视频呢,在这里--->Go

当然其实用re也能实现,废话也不多说了,开始正题了


 

  帖子链接的爬取:  

我们的目标当然是:壁纸吧、萌妹子、爆照吧等等等等

作为一个绅士还是以壁纸吧来做示范吧:http://tieba.baidu.com/f?kw=%E5%A3%81%E7%BA%B8&ie=utf-8

打开壁纸吧

Python爬虫02——贴吧图片爬虫V2.0

 通过右键检查、或是查看源码找到每个帖子的标签

Python爬虫02——贴吧图片爬虫V2.0

帖子的标签在这里

<a href="/p/4686986115" title="【壁纸】江湖多风雨,天下已入秋" target="_blank" class="j_th_tit ">【壁纸】江湖多风雨,天下已入秋</a>

应该就是href后面的哪个 "/p/4686986115" 了

点进去果然,就是在前面多了串 http://tieba.baidu.com 

Python爬虫02——贴吧图片爬虫V2.0

OK!那把链接爬取出来就相当容易了:

from lxml import etree

def getArticleLinks(url):
    html = requests.get(url)
    Selector = etree.HTML(html.text)
    # 通过Xpath 获取每个帖子的url后缀
    url_list = Selector.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href')
    # 在每个后缀前加上百度贴吧的url前缀
    for i in range(len(url_list)):
        url_list[i] = 'http://tieba.baidu.com' + url_list[i]
    return url_list

 


  图片按文件夹下载:  

 先是一个帖子的图片下载:

def get_img(url):
    html = requests.get(url)
    # 这里用Xpath或者之前的re拿到img_url_list
    Selector = etree.HTML(html.text)
    img_url_list = Selector.xpath('//*[@class="BDE_Image"]/@src')
    pic_name = 0
    # 下载图片
    for each in img_url_list:
        urllib.urlretrieve(each, 'pic_%s.jpg' % pic_name)
        pic_name += 1

其实这样已经差不多了,再来个循环每个帖子链接来一次 get_img 就可以获取到所有的图片,但是这样的话:

  1. 那么多帖子的图片在一起很乱
  2. 下一个帖子的图片会把上一个帖子图片覆盖(因为都是pic_00.jpg开始的,且都在一个文件夹内)

我的想法是建一个downloads文件夹,然后在里面按帖子分文件夹存放下载下来的图片

# 该目录下创建一个downloads文件夹存放下载图片
    if not os.path.exists('downloads'):
        os.mkdir('downloads')

当然是没有的时候建立,有的话就可以不用了

然后按帖子分文件夹

# 这里把帖子url的后缀作为文件夹名,因为不能有'/'所以把它替换成了''
img_dir = 'downloads/' + url_list[i][23:].replace("/", '')
        if not os.path.exists(img_dir):
            os.mkdir(img_dir)

然后就可以下载了:

def download_img(url_list):
    if not os.path.exists('downloads'):
        os.mkdir('downloads')
    for each in url_list:
        img_dir = 'downloads/' + each[23:].replace("/", '')
        if not os.path.exists(img_dir):
            os.mkdir(img_dir)
        get_img(each)

然而并没有一个个图片按帖子放好,文件夹是建好了。

经过研究发现,应该在 get_img 之前应该先把当前目录改为要放的文件夹目录下

 os.chdir(path) 可以用来改变python当前所在的文件夹

然后在下载完一个帖子后得移回当前目录,最后的代码就是:

def download_img(url_list):
    # 该目录下创建一个downloads文件夹存放下载图片
    if not os.path.exists('downloads'):
        os.mkdir('downloads')
    root_path = os.getcwd()
    for each in url_list:
        img_dir = 'downloads/' + each[23:].replace("/", '')
        if not os.path.exists(img_dir):
            os.mkdir(img_dir)
        os.chdir(img_dir)
        get_img(each)
        os.chdir(root_path)

啪啪啪啪啪[完美]


 

  交互:  

 老样子和之前的第一个小爬虫一样,添加一些交互。

不过我发现,一个贴吧第一页的帖子也贼多,然后由于爬虫暂时还是单线程的

所以若是要将整个第一页爬完,也是要花挺多时间,就稍微修改了下,加了一个帖子个数的输入

最终的代码:

# coding:utf-8
import requests
import os
import urllib
import re
from lxml import etree

# 通过url获取每个帖子链接
def getArticleLinks(url):
    html = requests.get(url)
    Selector = etree.HTML(html.text)
    # 通过Xpath 获取每个帖子的url后缀
    url_list = Selector.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href')
    # 在每个后缀前加上百度贴吧的url前缀
    for i in range(len(url_list)):
        url_list[i] = 'http://tieba.baidu.com' + url_list[i]
    return url_list

# 通过所给帖子链接,下载帖子中所有图片
def get_img(url):
    html = requests.get(url)
    Selector = etree.HTML(html.text)
    img_url_list = Selector.xpath('//*[@class="BDE_Image"]/@src')
    pic_name = 0
    for each in img_url_list:
        urllib.urlretrieve(each, 'pic_%s.jpg' % pic_name)
        pic_name += 1

# 为每个帖子创建独立文件夹,并下载图片
def download_img(url_list,page):
    # 该目录下创建一个downloads文件夹存放下载图片
    if not os.path.exists('downloads'):
        os.mkdir('downloads')
    root_path = os.getcwd()
    for i in range(page):
        img_dir = 'downloads/' + url_list[i][23:].replace("/", '')
        if not os.path.exists(img_dir):
            os.mkdir(img_dir)
        os.chdir(img_dir)
        get_img(url_list[i])
        os.chdir(root_path)

if __name__ == '__main__':
    print u'-----贴吧图片爬取装置2.0-----'
    print u'请输入贴吧地址:',
    targetUrl = raw_input('')
    if not targetUrl:
        print u'---没有地址输入正在使用默认地址(baidu壁纸吧)---'
        targetUrl = 'http://tieba.baidu.com/f?kw=%E5%A3%81%E7%BA%B8&ie=utf-8'

    page = ''
    while True:
        print u'请输入你要下载的帖子数:',
        page = raw_input('')
        if re.findall(r'^[0-9]*[1-9][0-9]*$',page):
            page = int(page)
            break
    print u'----------正在下载图片---------'
    ArticleLinks = getArticleLinks(targetUrl)
    download_img(ArticleLinks,page)
    print u'-----------下载成功-----------'
    raw_input('Press Enter to exit')

界面:

Python爬虫02——贴吧图片爬虫V2.0

不要脸的说自我感觉良好23333

结构是这样滴

Python爬虫02——贴吧图片爬虫V2.0

 内容(爬取的内容怎么和我不一样?我不管23333)

Python爬虫02——贴吧图片爬虫V2.0

 # 结尾的啪啪啪啪啪