爬虫学习1——request使用

爬虫

什么是爬虫：

- 通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

爬虫究竟是合法还是违法的？

• 在法律中是不被禁止
• 具有违法风险
• 善意爬虫 恶意爬虫

爬虫带来的风险可以体现在如下2方面：
- 爬虫干扰了被访问网站的正常运营
- 爬虫抓取了收到法律保护的特定类型的数据或信息

如何在使用编写爬虫的过程中避免进入局子的厄运呢？

- 时常的优化自己的程序，避免干扰被访问网站的正常运行
    - 在使用，传播爬取到的数据时，审查抓取到的内容，如果发现了涉及到用户隐私
    商业机密等敏感内容需要及时停止爬取或传播

爬虫在使用场景中的分类
    - 通用爬虫：
        抓取系统重要组成部分。抓取的是一整张页面数据。
    - 聚焦爬虫：
        是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。
    - 增量式爬虫：
        检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。

反爬机制：门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取。

反反爬策略：爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站中相关的数据。

robots.txt协议： 君子协议。规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取。

requests模块

1.什么是requests模块
    - python原生一个基于网络请求的模块，模拟浏览器发起请求。
- 2.为什么要使用requests模块
    - 1.自动处理url编码 
    - 2.自动处理post请求的参数
    - 3.简化cookie的代理的操作：
        cookie操作：
        - 创建一个cookiejar对象
        - 创建一个handler对象
        - 创建一个operner

        代理操作：
        - 创建handler对象，代理ip和端口封装到该对象
        - 创建openner对象
- 3.requests如何被使用
    - 安装：pip install  requests
    - 使用流程：
        - 1.指定url
        - 2.使用requests模块发起请求
        - 3.获取响应数据
        - 4.进行持久化存储
- 4.通过5个基于requests模块的爬虫项目对该模块进行系统学习和巩固
    - get请求
    - post请求
    - ajax的get
    - ajax的post
    - 综合

如何使用：（requests模块的编码流程）
- 指定url
- UA伪装
- 请求参数的处理
- 发起请求
- 获取响应数据
- 持久化存储

实战编码：
- 需求：爬取首页的页面数据

#指定url
url = "https://www.luffycity.com/"
#发起请求
#获取响应数据
res = requests.get(url = url)
data = res.text

网页采集器

动态搜索的话，我们需要自定义请求

#处理url携带的参数：封装到字典中
    kw = input('enter a word:')
    param = {
        'query':kw
    }
    #对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数

  res = requests.get(url=url, params=param) #带参数对指定url发起请求
    page_text = res.text
    print(page_text)

UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

UA：User-Agent（请求载体的身份标识）

UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，

说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求

为不正常的请求（爬虫），则服务器端就很有可能拒绝该次请求。

这是正常浏览器所以使用的用户代理，将这个写到代码中就会伪装成浏览器请求

header = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
        #这一步也可以通过抓包拦截获取
    }
    url = 'https://www.sogou.com/web?'
    kw = input()
    param ={
        "query" :kw
    }
    res = requests.get(url=url, params=param,headers=header) #带参数对指定url发起请求

破解百度翻译

蓝色框是我们想要得到的东西。

当在搜索框中输入之后，服务器会通过ajax请求提交，所以我们可以去捕获XHR类型的请求

以输入regina为例，可以得到以下的数据包，一共是6个sug和其他文件。依次打开，我们会发现每输入一个字母

浏览器就会提交一次ajax请求，所以我们可以找到最后一次提交的文件

Request URL: https://fanyi.baidu.com/sug
Request Method: POST
Status Code: 200 OK
Remote Address: 103.235.46.58:443
Referrer Policy: strict-origin-when-cross-origin
Content-Type: application/json
Date: Tue, 17 Jan 2023 05:38:54 GMT
FORM DATA:
kw:regina

数据是通过post请求提交，并且参数有一个我们要输入的东西，url如上所示

#1.指定url
    post_url = 'https://fanyi.baidu.com/sug'
    #2.进行UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'

    }
    #3.post请求参数处理（同get请求一致）
    word = input('enter a word:')
    data = {
        'kw':word
    }
    #4.请求发送
    response = requests.post(url=post_url,data=data,headers=headers)

我们看到响应数据是json类型，可以使用json方法来得到结果

#5.获取响应数据:json()方法返回的是obj（如果确认响应数据是json类型的，才可以使用json（））
    dic_obj = response.json()

#持久化存储
    fileName = word+'.json'
    fp = open(fileName,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False) #中文无法ascii码编码