python中requests模拟登录的三种方式(携带cookie/session进行请求网站)

当需要在Python中爬取一些需要用户登录后才能获取的信息时，就需要模拟登录。requests库是常用的网络请求库之一，它可以轻松模拟登录获取网页内容，下面就是Python中requests模拟登录的三种方式的完整攻略。

1. 使用cookies模拟登录

首先，登录网站需要携带一些数据，如用户名、密码等。成功登录后，网站服务器会返回一个session_id，本地维护的cookie中也会有相关字段。接下来我们就可以使用这个cookie来进行请求了。步骤如下：

1. 使用requests发送登录请求，携带用户名、密码等参数；
2. 获取响应信息，并从响应中提取Cookie；
3. 构建header，将Cookie添加到header中；
4. 发送请求。

下面是示例代码：

import requests

# 登录请求
login_url = "https://mywebsite.com/login.action"
login_data = {"username": "myusername", "password": "mypassword"}
res = requests.post(login_url, data=login_data)

# 获取Cookie信息
cookie = res.cookies.get_dict()

# 发送带cookie的请求
header = {"cookie": "; ".join([str(x)+"="+str(y) for x, y in cookie.items()])}
response = requests.get("https://mywebsite.com/userinfo.action", headers=header)
print(response.text)

2. 使用session模拟登录

使用session模拟登录，可以完美地模拟浏览器的Cookie操作，并且可以避免反复携带Cookie造成的代码冗长。使用方法如下：

1. 初始化session对象；
2. 使用session对象发送登录请求，携带用户名、密码等参数；
3. 发送后续请求时，使用同一个session对象；
4. 获取响应信息。

下面是示例代码：

import requests

# 初始化session对象
session = requests.session()

# 发送登录请求
login_url = "https://mywebsite.com/login.action"
login_data = {"username": "myusername", "password": "mypassword"}
res = session.post(login_url, data=login_data)

# 发送带session的请求
response = session.get("https://mywebsite.com/userinfo.action")

print(response.text)

3. 手动构建Cookie模拟登录

手动构建Cookie模拟登录是一种不推荐使用的方式，因为需要手动构建Cookie，容易出现错误。但是，在某些情况下，只能使用这种方式进行模拟登录。步骤如下：

1. 从浏览器中获取Cookie信息；
2. 构造header，并携带Cookie信息；
3. 发送请求。

下面是示例代码：

import requests

header = {
    "Cookie": "JSESSIONID=ABC; userId=DEF; userName=GHI"
}
response = requests.get("https://mywebsite.com/userinfo.action", headers=header)

print(response.text)

以上三种方式都可以用来模拟登录。需要注意的是，获取Cookie的方法一般都是通过浏览器的开发者工具进行获取，具体方法因浏览器而异。另外，为避免触发网站的反爬机制，模拟登录时建议带上User-Agent等信息，伪装成浏览器的请求。