selenium+python设置爬虫代理IP的方法

下面我将为您详细讲解如何使用Selenium和Python来设置爬虫代理IP：

一、安装Selenium和ChromeDriver

由于Selenium是基于浏览器自动化的工具，所以我们首先需要安装Chrome浏览器和Chrome Driver，以Ubuntu环境为例，安装命令如下：

# 安装谷歌浏览器
sudo apt update && sudo apt install -y google-chrome-stable

# 安装Chrome Driver
sudo apt install -y chromium-chromedriver

安装完成后，我们就可以通过Selenium控制浏览器，进行自动化测试或爬虫了。

二、使用Selenium设置代理IP

1. 设置ChromeOptions

Selenium提供了一个ChromeOptions类来设置浏览器参数，其中add_argument()方法可以添加任意参数，例如设置代理IP时我们可以这样写：

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--proxy-server=http://ip:port')
driver = webdriver.Chrome(chrome_options=options)

其中，--proxy-server参数指定了代理服务器的地址和端口号，这里我们用HTTP代理方式，如果使用SOCKS代理，则可以将http替换成socks5。

2. 使用DesiredCapabilities

除了使用ChromeOptions，Selenium还提供了DesiredCapabilities类，可以设置更多的浏览器选项，例如：

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': 'ip:port'
})

capabilities = webdriver.DesiredCapabilities.CHROME.copy()
proxy.add_to_capabilities(capabilities)

driver = webdriver.Chrome(desired_capabilities=capabilities)

这里的DesiredCapabilities.CHROME指定了使用Chrome浏览器，add_to_capabilities()方法将代理IP添加到浏览器参数中。

三、示例说明

示例一：使用ChromeOptions设置代理IP

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('--proxy-server=http://220.181.111.37:8080')
driver = webdriver.Chrome(chrome_options=options)
driver.get('http://httpbin.org/ip')
print(driver.page_source)
driver.quit()

代码中，我们首先创建了一个ChromeOptions对象，添加了代理参数--proxy-server，然后使用driver对象访问http://httpbin.org/ip网站，该网站可以返回当前访问IP地址，最后使用driver.quit()方法退出浏览器。

示例二：使用DesiredCapabilities设置代理IP

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': '220.181.111.37:8080'
})

capabilities = webdriver.DesiredCapabilities.CHROME.copy()
proxy.add_to_capabilities(capabilities)

driver = webdriver.Chrome(desired_capabilities=capabilities)
driver.get('http://httpbin.org/ip')
print(driver.page_source)
driver.quit()

在示例二中，我们使用DesiredCapabilities类中的add_to_capabilities()方法将代理IP添加到Chrome浏览器参数中，其他部分与示例一相同。

至此，关于如何使用Selenium和Python设置爬虫代理IP的方法，我已讲解完毕。