利用selenium 3.7和python3添加cookie模拟登陆的实现

下面是详细讲解如何利用selenium 3.7和python3添加cookie模拟登陆的实现。

1. 安装selenium和ChromeDriver

首先，需要在电脑上安装selenium和ChromeDriver。可以通过以下命令安装selenium：

pip3 install selenium

ChromeDriver需要和本地Chrome浏览器的版本匹配，可以在Chrome浏览器的“关于Chrome”中查看版本号，然后在官网下载对应版本的ChromeDriver，然后将ChromeDriver所在路径添加到环境变量中。

2. 获取cookie

获取网站的cookie的方法有很多种，比如可以使用浏览器的开发工具来获取。以下方法以Chrome浏览器为例（其他浏览器类似）：

1. 打开要模拟登陆的网站，手动登陆。
2. 右键页面，选择“检查”或“开发者工具”打开开发者工具。
3. 切换到“Network”选项卡。
4. 重新刷新页面。
5. 找到请求头中的Cookie值，复制这个值。

3. 利用cookie模拟登陆

接下来，可以利用selenium和获取的cookie来模拟登陆网站，具体代码如下：

from selenium import webdriver

# 创建chrome浏览器实例
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
browser = webdriver.Chrome(chrome_options=chrome_options)

# 打开要模拟登陆的网站
browser.get('https://mywebsite.com')

# 添加cookie
cookie = {'name': 'my_cookie_name', 'value': 'my_cookie_value'}
browser.add_cookie(cookie)

# 刷新页面，即可自动登陆
browser.refresh()

这段代码打开Chrome浏览器，访问指定的网站，然后添加cookie并刷新页面，即可实现自动登陆。

示例1：使用selenium和cookie批量爬取动态页面数据

以下示例演示如何使用selenium和cookie批量爬取动态页面数据。假设要爬取的网站是一个带有分页功能的动态页面，需要先登陆才能查看内容。假设获取的cookie已经保存在了“cookie.txt”文件中，每行一个cookie，每行的cookie格式为“my_cookie_name=my_cookie_value”。

from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
browser = webdriver.Chrome(chrome_options=chrome_options)

# 从文件中读取cookie
cookies = []
with open('cookie.txt', 'r') as f:
    for line in f.readlines():
        name, value = line.strip().split('=')
        cookies.append({'name': name, 'value': value})

# 打开网站
browser.get('https://mywebsite.com')

# 批量添加cookie
for cookie in cookies:
    browser.add_cookie(cookie)

# 批量爬取分页数据
for page in range(1, 100):
    url = f'https://mywebsite.com?page={page}'
    browser.get(url)
    # 处理分页数据
    # ...

这段代码使用了一个循环，批量添加cookie，然后依次爬取每一页的数据。

示例2：使用selenium模拟登陆后获取个人信息

以下示例演示如何使用selenium模拟登陆后获取个人信息。假设要获取的网站是一个需要登陆才能查看个人信息的网站。

from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--no-sandbox')
browser = webdriver.Chrome(chrome_options=chrome_options)

# 登陆网站
browser.get('https://mywebsite.com/login')
username_input = browser.find_element_by_name('username')
username_input.send_keys('my_username')
password_input = browser.find_element_by_name('password')
password_input.send_keys('my_password')
login_button = browser.find_element_by_name('submit')
login_button.click()

# 获取个人信息
browser.get('https://mywebsite.com/profile')
username = browser.find_element_by_xpath('//*[@id="username"]')
email = browser.find_element_by_xpath('//*[@id="email"]')
phone = browser.find_element_by_xpath('//*[@id="phone"]')
print(f'Username: {username.text}, Email: {email.text}, Phone: {phone.text}')

这段代码首先访问登录页面，然后输入用户名和密码并点击登录按钮，完成模拟登陆。接着访问个人信息页面，使用xpath获取到个人信息的html元素，然后将信息打印出来。

以上就是“利用selenium 3.7和python3添加cookie模拟登陆的实现”的完整攻略。