Python批量爬取美女写真集,只需27行代码,实现多页爬取!

兄弟们,上一个系列大家多少有点不太喜欢,那今天上点不一样的。

Python批量爬取美女写真集,只需27行代码,实现多页爬取!

 

 

来吧,直接整活~

先准备一下

首先咱们需要安装一下这两个第三方模块

requests >>>  # pip install requests
parsel   >>>  # pip install parsel

不会安装的小伙伴,键盘按住win+r 在弹出来的运行框 输入cmd 按确定,然后弹出黑色的框框,即命令提示符窗口,输入上面的注释 ,然后按回车即可安装成功。

Python批量爬取美女写真集,只需27行代码,实现多页爬取!

 

 

 

实现步骤

第一步:找数据对应的链接地址
第二步:python代码发送指定地址的请求
第三步:数据解析(筛选 过滤咱们需要的数据)

解析了每一个相册地址之后

  1. a 创建每一个相册的文件夹
  2. b 请求每一个相册详情页
    (1) 发送请求
    (2) 解析数据 提取图片链接
    (3) 依次请求图片

第四步:保存数据

代码部分

import requests
import parsel   # 解析数据
import os
# Python学习交流 1群 815624229 快满了加2裙
# Python学习交流 2群 279199867

for page in range(1, 12):
    response = requests.get(f'https://www.jdlingyu.com/tag/%e8%85%bf%e6%8e%a7/page/{page}')
    # <Response [200]>: 请求成功
    # 静态页面的网页源代码
    # 把静态页面的 字符串 变成可选的对象
    selector = parsel.Selector(response.text)
    # 3. 数据解析(筛选 过滤咱们需要的数据)
    # re: 可以直接提取网页字符串数据
    # css / xpath: 通过HTML标签进行提取
    lis = selector.xpath("//ul[@class='b2_gap ']/li")
    for li in lis:
        # text(): 提取标签的文本内容
        title = li.xpath('.//h2/a/text()').get()
        print(f'-------------正在爬取{title}-------------')
        # a 如果当前文件夹不存在 那么就新建一个
        if not os.path.exists('./img/'+title):
            os.mkdir('./img/'+title)
        # 每一个相册所在的 网页地址
        # 获取a标签属性内容 /@src
        href = li.xpath('.//h2/a/@href').get()
        # b 请求每一个相册详情页
        data_html = requests.get(href).text
        # 把字符串对象转变为 可选的selector对象
        selector_2 = parsel.Selector(data_html)
        img_p = selector_2.xpath('//div[@class="entry-content"]/p')
        for img in img_p:
            # (2) 解析数据 提取图片链接
            img_list = img_p.xpath('.//img/@src').getall()
            for img_1 in img_list:
                # content: 获取二进制数据 图片 视频 音频
                # 文本: text
                try:
                    img_data = requests.get(img_1).content
                # 图片文件名
                except:
                    continue
                img_name = img_1.split('/')[-1]
                with open(f'img\{title}\{img_name}', mode='wb') as f:
                    f.write(img_data)
                    print('下载完成:', img_name)

 

 

效果展示

Python批量爬取美女写真集,只需27行代码,实现多页爬取!

 

 

Python批量爬取美女写真集,只需27行代码,实现多页爬取!

 

 

这个分类总共是12页,我就不全部展示了,大家可以自己去试试!

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Python批量爬取美女写真集,只需27行代码,实现多页爬取! - Python技术站

(1)
上一篇 2023年4月2日 下午5:41
下一篇 2023年4月2日

相关文章

  • 当我把用Python做的课堂点名系统献给各科老师后,再也没挂过科

    刚上大学的表弟问我,大学准备好好玩玩,问我有没有什么不挂科的秘诀。 哎,这可就问对人了,要想不挂科,先把老师贿赂好,当然,咱们说的贿赂不是送钱啥的,这不是侮辱老师吗? 于是我连夜给表弟写了一个课堂点名系统,让他给每个任课老师都送一遍,方便老师就是方便自己,嘿嘿~ 准备工作 首先我们需要准备好点名的姓名文件,使用的时候导入进去就可以开始点名了。 新建一个文本文…

    Python开发 2023年4月2日
    00
  • Python实现视频自动打码功能

    我们在观看视频的时候,有时候会出现一些奇怪的马赛克,影响我们的观影体验,那么这些马赛克是如何精确的加上去的呢? 本次我们就来用Python实现对视频自动打码! 准备工作 环境咱们还是使用 Python3.8 和 pycharm2021 即可 实现原理 将视频分为音频和画面; 画面中出现人脸和目标比对,相应人脸进行打码; 处理后的视频添加声音; 模块 手动安装…

    Python开发 2023年4月2日
    00
  • 女同桌找我要表情包,还好我会Python,分分钟给她下载几十个G…

    emmm~ 起因呢,这昨晚女同桌跟我说电脑有点卡,喊我去宿舍给她装个新系统,装系统就装系统吧,结果又说新系统表情包都没保存~ 我当时就有点生气,真当我是万能的呢? 于是我直接就用Python给她爬了几十个G,完事扭头就走,任她怎么喊我也没用! 一、准备工作 使用的环境 python3.8 | Anaconda pycharm 使用的模块 requests 第…

    Python开发 2023年4月2日
    00
  • 重温Python基础——用户输入和while循环

    哈喽兄弟们,本节咱们来复习一下用户输入和while循环。 函数input()的工作原理 函数input()让程序暂停运行,等待用户输入一些文本。获取用户输入后,python将其赋值给一个变量,以方便继续使用。例如我们尝试让用户输入一些东西 a = input(“请输入一个数”) print(a) 运行结果 请输入一个数   这时我们就可以根据要求输入数值函数…

    Python开发 2023年4月2日
    00
  • Python生成字母对后写入文件

    一、人生苦短,我用Python 1、案例背景 生成字母对并写入文件,并将结果写入文件中。 文件中每行为: ab cd ef gh 2、主要知识点 文件读写 基础语法 zip 函数 字符串步长截取 3、素材 二、代码展示 创建一个py文件夹 咱们先导入需要用的模块 import platform import string # 我给大家准备了这些资料:Pyth…

    Python开发 2023年4月2日
    00
  • Python采集疫情数据,绘制可视化动态地图,实时查询疫情数据!

    疫情尚未结束,我们需要做好自己,时刻防范,不给别人添麻烦。 今天我们来尝试用Python抓取世界疫情,实现可视化地图展示。 话不多说直接开搞! 采集数据 1、数据来源 数据来源于TX新闻,链接展示不了,就只贴图了。     2、模块 import requests import csv # Python学习交流君羊:279199867   requests …

    2023年4月2日
    00
  • 新手学习Python需要知道的100个小技巧,加班一晚上终于整理出来了!

    哈喽兄弟们,今天给大家分享一下Python初学需要知道的100个小技巧~ 1、for循环中的else条件这是一个for-else方法,循环遍历列表时使用else语句。下面举个例子,比如我们想检查一个列表中是否包含奇数。那么可以通过for循环,遍历查找。 numbers = [2, 4, 6, 8, 1] for number in numbers: if n…

    2023年4月2日
    00
  • 只用13行Python代码,实现给抖音APP自动点赞,非常简单!

    哈喽兄弟们,今天我们来试试,如何只用13行代码,给抖音APP视频自动点赞! 前因后果 事情是这样的,昨晚表弟晚上一两点了,房间灯还亮着,原来是还在用手机刷某音视频,我抢过手机一看,好家伙,连刷十个都是美女,喜欢列表也全是MM。 我看他手动点赞手都点累了,干脆熬个夜,给他写一个自动点赞的代码,今晚他就点一晚上赞,别睡了直接通宵吧! 好了不多哔哔,我们直接上代码…

    Python开发 2023年3月31日
    00
合作推广
合作推广
分享本页
返回顶部