python利用selenium进行浏览器爬虫

Python利用Selenium进行浏览器爬虫攻略

Selenium是一个流行的自动化测试工具，它提供了一种简单的方法来与不同浏览器进行交互，也可以用于爬虫程序的开发。需要注意的是，使用Selenium进行爬虫时一定要遵守网站的服务协议，不要进行不当行为，以免引起法律问题。下面是详细的攻略。

安装Selenium

如果使用Python 3，可以使用pip工具来安装Selenium：

pip install selenium

下载浏览器驱动

Selenium需要一个浏览器驱动来控制浏览器。不同的浏览器需要使用不同的驱动，例如，谷歌浏览器需要下载Chrome驱动，火狐浏览器需要下载Firefox驱动。下载地址如下：

• 谷歌Chrome驱动下载地址： https://sites.google.com/a/chromium.org/chromedriver/downloads
• 火狐Firefox驱动下载地址：https://github.com/mozilla/geckodriver/releases

下载后，将驱动程序所在目录添加到环境变量中，或者将路径加入到Python脚本中。

编写Python脚本

下面是一个简单的Python脚本，可以使用Selenium自动打开浏览器，并访问指定URL，输出网页标题：

from selenium import webdriver

# 创建浏览器对象
browser = webdriver.Chrome()

# 访问页面
browser.get('https://www.baidu.com')

# 输出页面标题
print(browser.title)

# 关闭浏览器
browser.quit()

在这个示例中，我们使用Chrome浏览器，并访问百度首页。使用title属性输出页面标题，最后使用quit()方法关闭浏览器。

除了访问网页，我们还可以模拟鼠标点击、填写表单等用户操作，下面是一个示例：

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys

# 创建浏览器对象
browser = webdriver.Chrome()

# 访问页面
browser.get('https://music.163.com/')

# 点击登录按钮
login_btn = browser.find_element_by_css_selector('#g-top-login > div > a')
ActionChains(browser).click(login_btn).perform()

# 切换到iframe
iframe = browser.find_element_by_css_selector('#g_iframe')
browser.switch_to.frame(iframe)

# 输入用户名和密码
username_box = browser.find_element_by_css_selector('#login-username')
username_box.send_keys('your_username')
password_box = browser.find_element_by_css_selector('#login-password')
password_box.send_keys('your_password')

# 提交表单
submit_btn = browser.find_element_by_css_selector('#login-form > div.j-inputbox.btn-box > a')
submit_btn.click()

# 搜索歌曲
search_box = browser.find_element_by_css_selector('#srch')
search_box.send_keys('周杰伦')
search_box.send_keys(Keys.ENTER)

# 关闭浏览器
browser.quit()

在这个示例中，我们访问了网易云音乐的首页，单击了登录按钮，切换到登录弹窗的iframe中，并输入用户名和密码。然后提交表单，接着在搜索框中输入关键字“周杰伦”，并回车搜索。最后关闭浏览器。

总之，Selenium能够方便地模拟用户操作，实现多种爬虫功能，但同时需要注意使用合法、合理的方式进行爬取，确保不会造成损害。