Python爬虫基础丨采集知乎问答区内容

不知道现在还有多少人玩知某乎,我们那时候没事就刷刷知某乎,贴某吧,不知留下了多少足迹。

知乎上问答的质量挺高,今天咱们就对其问答内容进行爬虫实验。

效果展示

可以看到,数据咱们就获取下来了,保存就可以了。

Python爬虫基础丨采集知乎问答区内容

代码展示

import requests
import re
import json
import pprint
# 文章不理解,我还专门个大家录制了详细的视频讲解,直接在这个扣裙里面领取 708525271
 
headers = {
    'cookie': '__snaker__id=tx5pc8xnwNvTYvG3; SESSIONID=stAjAfHLiBBtepPE5fTov5aYQJYBLURoM8YhM5jRXqG; JOID=W1EUA0yH_mXOxwv_Jo6gdXoTh844pNVH6uoo1ASq3U7s4ybcDe3ljKTJA_YgcWoL8eX7c_wINvZ6Pe0AjXgWecM=; osd=WloVAUOG9WTMyAr0J4yvdHEShcE5r9RF5esj1Qal3EXt4SndBuzng6XCAvQvcGEK8-r6eP0KOfdxPO8PjHMXe8w=; _zap=ba7095c9-0aae-423f-9975-92c7813e6036; d_c0=ANAWztCFPxaPTkyqOI3cpp5phHc7BJUpFhs=|1675000059; YD00517437729195%3AWM_TID=q1pMuo8yFBhAAQVQURLAPRTyEuWDd2qg; arialoadData=false; YD00517437729195%3AWM_NI=jPZTAA6q1q7YI0MPivmHxhtaLmJ7TBYjTAF34UDD36WmBPrKwe5O4Lfww1472OKDIPEwCz5Ug2Hrtg%2BMm8apy4EH%2BmnIshxyXyWNH2jmJ%2FmJIFwli06F3A4RKje5REwBUXo%3D; YD00517437729195%3AWM_NIKE=9ca17ae2e6ffcda170e2e6ee8fb246a7eb8187c142bbb48bb6d84a969b9e86d46b91bb96a6cb728ceafbd5d82af0fea7c3b92aaa9096b5c44bf6afff92b6538bf083b1ec7eaf98b889f76b90b386d8d74a9bb69ca2c539f88b8ca5b23e95b38eb1f141b5bbfbb0b748a6a9b9d2b73df29185a5cc5c87a98d9bb85fa5ee8893f76de993a3d9e47cbbec8ba9aa67ae97bd89fb739ca799afcb3aaab386d0f0428b9ab98dec3cf69afda2b75a89b6abd6d14fb59e9bb9ee37e2a3; _xsrf=8cfa292c-c915-42f3-b376-a82f56613cc3; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1676462242,1676547626,1676557107,1676612193; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1676612193; captcha_session_v2=2|1:0|10:1676612193|18:captcha_session_v2|88:SWI5MW91WjcybkczamhaT1FOY0lCZWczM1h1UDBvVTBQcXFYcC9JWm9qUXlybkIvbW5MQWFvd1lpeHVLUVVTWg==|68915c879a030053a7c3b5921aa2d5974f5837adb19001b606e891ae08247c14; gdxidpyhxdE=ohaj9Ig0u1f%5CcdLdC0QAEhJE6fplEfZ%2BYp07xr3XVZCJ3JmJQRfzhckh%2BJayuMOQGReJMfCem4ZE2Slz2MHMzY4r5fkAIJpTvzYcqGPHtICLgVWSM6lR5tNj1Y0O0436Gun52GbM9HW9%2F15JME0vJYKLhdSQtwykihOokRLmLbeVXJ4K%3A1676613094284; KLBRSID=2177cbf908056c6654e972f5ddc96dc2|1676612386|1676612191',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'
}
url = 'https://www.****.com/question/584206512'
html_data = requests.get(url=url, headers=headers).text
json_str = re.findall('<script id="js-initialData" type="text/json">(.*?)</script>', html_data)[0]
json_data = json.loads(json_str)
next_url = json_data['initialState']['question']['answers']['584206512']['next']
answers = json_data['initialState']['entities']['answers']
for key in list(answers.keys()):
    print(answers[key]['content'])

 

最后

视频我都录制了对应的视频讲解,大家直接在下方领取,包括代码!

今天的分享就到这结束了,下次见!

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Python爬虫基础丨采集知乎问答区内容 - Python技术站

(0)
上一篇 2023年3月31日
下一篇 2023年3月31日

相关文章

  • Python实现秒杀某宝商品抢购

    人生苦短,我用Python~某宝秒杀,用毫秒级的精准度来抢购!你还在为各种活动秒杀 抢不过别人而烦恼吗?今天出一期 利用Python抢购秒杀商品的文章 目录 ​ 项目环境 某宝抢购流程分析 程序实现思路 代码实践与梳理 项目环境 ​ 操作系统:Windows 10 开发环境:python3.7 IDE:Pycharm 自动化模块:Selenium 安装命令:…

    Python开发 2023年4月2日
    00
  • 简单的用Python对手机号进行加密

    基础学的太枯燥了,当然需要用案例来实践一下,才能更好的巩固所学。   所以本次来个对手机号进行加密,检验我们所学~ 知识点: 文件读写 基础语法 字符串处理 正则表达式 代码部分 # 导入系统包 import platform import re print(“Hello,秀儿”) print(“简单的加密手机号 “) # 定义文本内容 # Python学习…

    2023年4月2日
    00
  • 用Python从文件中读取学生成绩,并计算最高分/最低分/平均分

    兄弟们,今天咱们试试用Python从文件中读取学生成绩,并计算最高分/最低分/平均分。 涉及知识点 文件读写 基础语法 字符串处理 循环遍历 代码展示 模块 import platform # 我还给大家准备了这些资料:Python视频教程、100本Python电子书、基础、爬虫、数据分析、web开发、机器学习、人工智能、面试题、Python学习路线图、问题…

    Python开发 2023年4月2日
    00
  • 利用Python快速实现一个线程池,非常简单

    雷猴啊,兄弟们!今天来展示一下如何用Python快速实现一个线程池。   一、序言 当有多个 IO 密集型的任务要被处理时,我们自然而然会想到多线程。但如果任务非常多,我们不可能每一个任务都启动一个线程去处理,这个时候最好的办法就是实现一个线程池,至于池子里面的线程数量可以根据业务场景进行设置。 比如我们实现一个有 10 个线程的线程池,这样可以并发地处理 …

    Python开发 2023年4月2日
    00
  • 挑战在代码里面不写for循环,让代码变得更简洁、规范、结构化,以及更好的代码可读性!

    哈喽兄弟们,又是新的一天!今天你敲代码了吗? 一、序言 为什么要挑战自己在代码里不写 for loop?因为这样可以迫使你去学习使用比较高级、比较地道的语法或 library。文中以 python 为例子,讲了不少大家其实在别人的代码里都见过、但自己很少用的语法。 自从我开始探索 Python 中惊人的语言功能已经有一段时间了。一开始,我给自己一个挑战,目的…

    Python开发 2023年4月2日
    00
  • 当我用Python做了个自动工作汇报的脚本后,每天都闲的只能摸鱼

    哈喽兄弟们 之前经常编写Python脚本来进行数据处理、数据传输和模型训练。随着数据量和数据复杂性的增加,运行脚本可能需要一些时间。在等待数据处理完成时可以同时做一些其他工作。 为了达到这个目的,编写了一组用于解决这个问题的Python脚本。使用这些脚本向手机发送流程更新、可视化和完成通知。当偶尔拥有这些自由的时刻,你可以享受而不是担心模型的进度。 一、需要…

    Python开发 2023年4月2日
    00
  • 重温Python基础——用户输入和while循环

    哈喽兄弟们,本节咱们来复习一下用户输入和while循环。 函数input()的工作原理 函数input()让程序暂停运行,等待用户输入一些文本。获取用户输入后,python将其赋值给一个变量,以方便继续使用。例如我们尝试让用户输入一些东西 a = input(“请输入一个数”) print(a) 运行结果 请输入一个数   这时我们就可以根据要求输入数值函数…

    Python开发 2023年4月2日
    00
  • 花了两天从几十万行代码里总结出的22个Python万用公式,非常有用

    哈喽兄弟们 在大家的日常python程序的编写过程中,都会有自己解决某个问题的解决办法,或者是在程序的调试过程中,用来帮助调试的程序公式。 小编通过几十万行代码的总结处理,总结出了22个python万用公式,可以帮助大家解决在日常的python编程中遇到的大多数问题,一起来看看吧。 1、一次性进行多个数值的输入 对于数值的输入问题,是很多笔试题目中经常遇到的…

    Python开发 2023年4月2日
    00
合作推广
合作推广
分享本页
返回顶部