Python批量爬取大众点评数据

众所周知,某点评是一直有JS加密的,所以关于它的外包一直都很贵,有些公司甚至用来面试,可见他的难度。

但是吧,最近他好像没有加密了,这~

不值钱了啊!

那当时就忍不住了,就得用Python开始整活了!

Python批量爬取大众点评数据

 

 

Python批量爬取大众点评数据
话不多说,让我们上代码!

全部代码

今天就没那么多步骤了,直接上代码!

import requests
import parsel

url = 'https://www.dianping.com/search/keyword/344/0_%E7%81%AB%E9%94%85/p2'
headers = {
    'Cookie': 'fspop=test; cy=344; cye=changsha; _lxsdk_cuid=181f2b8ceedc8-00c68dfc700b1e-c4c7526-384000-181f2b8ceedc8; _lxsdk=181f2b8ceedc8-00c68dfc700b1e-c4c7526-384000-181f2b8ceedc8; _hc.v=fa46cfdd-99f6-80af-c226-f8777fc1f097.1657634607; s_ViewType=10; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; Hm_lvt_602b80cf8079ae6591966cc70a3940e7=1657634608,1657690542; lgtoken=0ecd60582-14f9-4437-87ad-7b55881b56df; WEBDFPID=3x389w8ww1vw5vuzy491zvxxu36989x2818u39v38389795895568429-1657776946569-1657690545731QSUUAWGfd79fef3d01d5e9aadc18ccd4d0c95072230; dper=6cfaf0f82f34d241b584d587fc92a7117ba6c082354d350ed861c0a256d00ba3beb93db7dc5485b4e2e4e4085a92126fa2e5f1dbe1b6eaefd1c814167fce943e; ll=7fd06e815b796be3df069dec7836c3df; Hm_lpvt_602b80cf8079ae6591966cc70a3940e7=1657690573; _lxsdk_s=181f60e4e6c-cad-fea-c91%7C%7C40',
    'Host': 'www.dianping.com',
    'Referer': 'https://www.dianping.com/search/keyword/344/0_%E7%81%AB%E9%94%85',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36',
}

response = requests.get(url=url, headers=headers)
selector = parsel.Selector(response.text)
href = selector.css('.shop-list ul li .pic a::attr(href)').getall()
print(href)
for index in href:
    html_data = requests.get(url=index, headers=headers).text
    selector_1 = parsel.Selector(html_data)
    title = selector_1.css('.shop-name::text').get()  # 店名
    count = selector_1.css('#reviewCount::text').get()  # 评论
    Price = selector_1.css('#avgPriceTitle::text').get()  # 人均消费
    item_list = selector_1.css('#comment_score .item::text').getall()  # 评价
    taste = item_list[0].split(': ')[-1]  # 口味评分
    environment = item_list[1].split(': ')[-1]  # 环境评分
    service = item_list[-1].split(': ')[-1]  # 服务评分
    address = selector_1.css('#address::text').get()  # 地址
    tel = selector_1.css('.tel ::text').getall()[-1]  # 电话
    dit = {
        '店名': title,
        '评论': count,
        '人均消费': Price,
        '口味': taste,
        '环境': environment,
        '服务': service,
        '地址': address,
        '电话': tel,
        '详情页': index,
    }
    print(dit)

 

注释我就不注释了,有点赶时间,女朋友喊我去吃饭呢!

Python批量爬取大众点评数据

 

 

Python批量爬取大众点评数据
不过没关系,还好我有先见之明,已经录了视频,都发在这里了,代码不明白的话,可以看视频有一步步的讲解。

视频地址: Python爬取大众点评

# 我给大家准备了这些资料:Python视频教程、100本Python电子书、基础、爬虫、数据分析、web开发、机器学习、人工智能、面试题、Python学习路线图、问题解答!
# 都放在这个扣群啦 : 279199867

 

效果展示

Python批量爬取大众点评数据
本文代码只是爬取了部分内容,视频中还讲解了让数据更好看,多页爬取,保存Excel表格等等。

Python批量爬取大众点评数据

 

 

给大家展示一下效果

Python批量爬取大众点评数据

 

 

Python批量爬取大众点评数据

 

 

Python批量爬取大众点评数据Python批量爬取大众点评数据

好了,今天的分享就到这,下次再见!

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Python批量爬取大众点评数据 - Python技术站

(0)
上一篇 2023年4月2日 下午5:19
下一篇 2023年4月2日 下午5:20

相关文章

  • Python爬取安居客房源信息,轻松获取优质房源!

    又到了所谓的金山银四就业季,那找工作的小伙伴宿舍住不惯的话,就会去租房子住,当然也不一定有宿舍,那么自己找房子的话,肯定是不知道哪哪好。 所以今天教大家用Python来采集本地房源数据,帮助大家筛选好房。 本文涉及知识点 爬虫基本流程 requests 发送请求 parsel 解析数据 csv 保存数据 开发环境 Python 3.8 Pycharm   本…

    Python开发 2023年3月31日
    00
  • Python将多个文件多列进行关联

    兄弟们,温故而知新,可以为师矣。 就是说,我们所学过的东西,要去多复习,这样才能总结出属于自己的理解,这样就可以做老师了。 但是我以为的我以为,后面可以改成,将自己所学及所领会的教给别人,这样才能更加记忆深刻。 今日内容:Python将多个文件多列进行关联 知识点 文件读写 基础语法 异常处理 循环语句 字符串处理 # 我还给大家准备了这些资料:Python…

    Python开发 2023年4月2日
    00
  • Python分析14亿条数据,分分钟就处理好了

    Google Ngram viewer是一个有趣和有用的工具,它使用谷歌从书本中扫描来的海量的数据宝藏,绘制出单词使用量随时间的变化。 举个例子,单词 Python (区分大小写) : 这幅图来自:books.google.com/ngrams… ,描绘了单词 ‘Python’ 的使用量随时间的变化。 它是由谷歌的n-gram 数据集驱动的,根据书本印刷的每…

    Python开发 2023年3月31日
    00
  • 7个你可能从未使用过的Python隐藏技巧

    Python 是每个程序员都喜欢的语言,因为它易于编码和易于阅读的语法。但是,你知道 python 有一些很酷的技巧可以用来让事情变得更简单吗?在今天的内容中,我将与你分享7 个你可能从未使用过的Python 技巧。 1、功能属性 这种 hack 类似于类和对象概念。现在,可以声明,也可以稍后在程序中使用调用的函数属性。 下面我展示一个示例代码 # Func…

    Python开发 2023年4月2日
    00
  • 5个节约生命的python小技巧

    Python是一种强大且易上手的语言,语法简洁优雅,不像Java那么繁琐废话,并且有一些特殊的函数或语法可以让代码变得更加简短精悍。 本文给大家介绍常用的5个python小技巧: 字符串操作 列表推导 lambda 及 map() 函数 if、elif和else单行表达式 zip()函数 1、字符串操作 Python善于用数学运算符(如+和*)对字符串进行操…

    Python开发 2023年4月2日
    00
  • Python丨听说这个地方的漫画不错,只用40行代码,给它全部爬下来

    前因后果 公司新来的小姐姐,超级喜欢看漫画,天天给我介绍,好烦~ 现在是2022年9月15日16点30,于是我决定, 五点下班前写个代码把她说的漫画全部爬下来,应付一下~ 再发篇文章揭露她的罪恶,嘿嘿~ 准备事项 环境使用 Python 3.8 Pycharm 2021.2版本   模块使用 import requests >>> # 数据…

    Python开发 2023年4月2日
    00
  • 这份工具清单,令Python 提速N倍,简直太好用了

    在众多编程语言中,Python的社区生态是其中的佼佼者之一。几乎所有的技术痛点,例如优化代码提升速度,在社区内都有很多成功的解决方案。本文分享的就是一份可以令 Python 变快的工具清单,值得了解下。     一、序言 这篇文章会提供一些优化代码的工具。会让代码变得更简洁,或者更迅速。 当然这些并不能代替算法设计,但是还是能让Python加速很多倍。 其实…

    Python开发 2023年4月2日
    00
  • 圣诞节快到了,教大家用Python画一个简单的圣诞树和烟花,送给那个她

    这不是圣诞节快到了,准备让让女朋友开心开心,也算是亲手做的,稍稍花了点心思。 话不多说,咱们直接来展示吧,学会了赶紧画给你的那个她吧! 本文分为两个大块,我们先来试试画圣诞树。 圣诞树 效果展示 代码展示 导入模块 import turtle as t from turtle import * import random as r import time  …

    Python开发 2023年4月2日
    00
合作推广
合作推广
分享本页
返回顶部