Python批量爬取美女写真集,只需27行代码,实现多页爬取!

兄弟们,上一个系列大家多少有点不太喜欢,那今天上点不一样的。

Python批量爬取美女写真集,只需27行代码,实现多页爬取!

 

 

来吧,直接整活~

先准备一下

首先咱们需要安装一下这两个第三方模块

requests >>>  # pip install requests
parsel   >>>  # pip install parsel

不会安装的小伙伴,键盘按住win+r 在弹出来的运行框 输入cmd 按确定,然后弹出黑色的框框,即命令提示符窗口,输入上面的注释 ,然后按回车即可安装成功。

Python批量爬取美女写真集,只需27行代码,实现多页爬取!

 

 

 

实现步骤

第一步:找数据对应的链接地址
第二步:python代码发送指定地址的请求
第三步:数据解析(筛选 过滤咱们需要的数据)

解析了每一个相册地址之后

  1. a 创建每一个相册的文件夹
  2. b 请求每一个相册详情页
    (1) 发送请求
    (2) 解析数据 提取图片链接
    (3) 依次请求图片

第四步:保存数据

代码部分

import requests
import parsel   # 解析数据
import os
# Python学习交流 1群 815624229 快满了加2裙
# Python学习交流 2群 279199867

for page in range(1, 12):
    response = requests.get(f'https://www.jdlingyu.com/tag/%e8%85%bf%e6%8e%a7/page/{page}')
    # <Response [200]>: 请求成功
    # 静态页面的网页源代码
    # 把静态页面的 字符串 变成可选的对象
    selector = parsel.Selector(response.text)
    # 3. 数据解析(筛选 过滤咱们需要的数据)
    # re: 可以直接提取网页字符串数据
    # css / xpath: 通过HTML标签进行提取
    lis = selector.xpath("//ul[@class='b2_gap ']/li")
    for li in lis:
        # text(): 提取标签的文本内容
        title = li.xpath('.//h2/a/text()').get()
        print(f'-------------正在爬取{title}-------------')
        # a 如果当前文件夹不存在 那么就新建一个
        if not os.path.exists('./img/'+title):
            os.mkdir('./img/'+title)
        # 每一个相册所在的 网页地址
        # 获取a标签属性内容 /@src
        href = li.xpath('.//h2/a/@href').get()
        # b 请求每一个相册详情页
        data_html = requests.get(href).text
        # 把字符串对象转变为 可选的selector对象
        selector_2 = parsel.Selector(data_html)
        img_p = selector_2.xpath('//div[@class="entry-content"]/p')
        for img in img_p:
            # (2) 解析数据 提取图片链接
            img_list = img_p.xpath('.//img/@src').getall()
            for img_1 in img_list:
                # content: 获取二进制数据 图片 视频 音频
                # 文本: text
                try:
                    img_data = requests.get(img_1).content
                # 图片文件名
                except:
                    continue
                img_name = img_1.split('/')[-1]
                with open(f'img\{title}\{img_name}', mode='wb') as f:
                    f.write(img_data)
                    print('下载完成:', img_name)

 

 

效果展示

Python批量爬取美女写真集,只需27行代码,实现多页爬取!

 

 

Python批量爬取美女写真集,只需27行代码,实现多页爬取!

 

 

这个分类总共是12页,我就不全部展示了,大家可以自己去试试!

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Python批量爬取美女写真集,只需27行代码,实现多页爬取! - Python技术站

(1)
上一篇 2023年4月2日 下午5:41
下一篇 2023年4月2日

相关文章

  • 利用Python检验用户输入密码的复杂度

    用Python检测用户输入密码的复杂度,灰常简单! 密码强度检测规则: 至少包含一个数字 至少包含一个大写字母 长度至少 8 位 主要知识点 while 循环 推导式 列表 any 函数 命令行 input 代码部分 密码强度检测 1、创建 python 文件 密码强度检测规则 1 至少包含一个数字 2 至少包含一个大写字母 3 长度至少 8 位 # 导入系…

    2023年4月2日
    00
  • Python写一个自动发送直播弹幕的工具,非常好用!

    昨晚回家,表弟在看LOL直播,看得我气不打一处来,差点就想锤他。 身为程序员的表弟,看直播发弹幕居然还在手动发,当时我就用Python写了一个自动发送弹幕的脚本送给他用。 好了话不多说,我们直接开搞! 先看看效果 名字我就打码了,当然名字不是关键,我直接截图展示算了,GIF的话,太麻烦了。 接下来我们要准备好你想发送的弹幕内容 这个我都是随便打的,大家可以自…

    Python开发 2023年3月31日
    00
  • Python基础巩固:如何同时遍历多个序列

    哈喽兄弟们,又是巩固复习基础知识的一天~ 今天来实现一下如何同时遍历多个序列 一、实战场景 实战场景: 如何同时遍历多个序列。 二、主要知识点 同时遍历多个序列zip 函数 三、菜鸟实战 马上安排! 1、创建 python 文件 # 导入系统包 import platform # 我还给大家准备了海量资料:Python视频教程、100本Python电子书、基…

    Python开发 2023年4月2日
    00
  • Python遇上SQL,于是一个好用的Python第三方库出现了

    1. 演示数据 本文的所有演示数据,均是基于下方的四张表。下面这四张表大家应该不陌生,这就是网传50道经典MySQL面试题中使用到的几张原表。关于下方各表之间的关联关系,我就不给大家说明了,仔细观察字段名,应该就可以发现。 2. pandasql的使用 1)简介 pandas中的DataFrame是一个二维表格,数据库中的表也是一个二维表格,因此在panda…

    Python开发 2023年4月2日
    00
  • 如何用Python将普通视频变成动漫视频

    最近几个月,毒教材被曝光引发争议,那些编写度教材的人着实可恶。咱程序员也没有手绘插画能力,但咱可以借助强大的深度学习模型将视频转动漫。所以今天的目标是让任何具有python语言基本能力的程序员,实现短视频转动漫效果。 效果展示 一、思路流程 读取视频帧 将每一帧图像转为动漫帧 将转换后的动漫帧转为视频 难点在于如何将图像转为动漫效果。这里我们使用基于深度学习…

    Python开发 2023年4月2日
    00
  • QQ发生大规模账号泄露事件,二十行Python代码,带你了解前因后果

    六月,秋秋发生大规模盗号事件,众说纷纭,也有说因为某习通买卖个人信息导致的,有说是因为点了图片中的网站导致中毒被盗的,还有说企鹅数据库被攻击导致账号被盗的,反正公说公有理婆说婆有理。     但是吧,人呐,一般都喜欢凑热闹,于是乎,我直接用Python把围脖爬了一遍,看他们争论的不亦乐乎,我开心极了~       兄弟们学习python,有时候不知道怎么学,…

    2023年4月2日
    00
  • 程序员最浪漫的表白方式,将情书写在她的照片里,Python简直太厉害啦~

    这不光棍节快到了,表弟准备写一封情书给他的女神,想在光棍节之前脱单。 为了提高成功率,于是跑来找我给他参谋参谋,本来我是不想理他的,不过谁让他是我表弟呢(请我洗jio),于是教给他程序员的终极浪漫绝招,先假装给女神拍照,然后再把情书写到她的照片上打印出来送给她,嘿嘿~ 实现步骤 想要实现把情书写在像素中,那么我们就需要用到pillow这个神器。 众所周知,图…

    Python开发 2023年4月2日
    00
  • Python告别pip手动安装模块,实现全自动安装第三方库,彻底解放你的双手

    兄弟们,为了帮助大家更加高效的摸鱼,今天分享一个骚操作,Python自动安装第三方库! 为了体现小编在懒上的造就,今天再分享一个骚操作:Python自动安装第三方库,全自动不需要你动! pip手动安装 一说Python要安装哪个模块,我们第一反应,win+r输入cmd,pip instll 安装~ 没毛病,必须的! 但是如果换电脑了(土豪才换电脑,我都换朋友…

    Python开发 2023年4月2日
    00
合作推广
合作推广
分享本页
返回顶部