Python 进阶之使用 Selenium 爬取淘宝商品信息功能示例
Selenium 是一个自动化测试工具,可以模拟用户在浏览器中的操作,包括点击、输入、滚动等。在 Python 爬虫中,我们可以使用 Selenium 来模拟用户操作,从而爬取淘宝商品信息。以下是 Python 进阶之使用 Selenium 爬取淘宝商品信息功能示例的详细介绍。
安装 Selenium
在使用 Selenium 爬取淘宝商品信息之前,我们需要先安装 Selenium。可以使用 pip 命令来安装 Selenium:
pip install selenium
使用 Selenium 爬取淘宝商品信息
以下是一个使用 Selenium 爬取淘宝商品信息的示例:
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
# 创建 Chrome 浏览器对象
driver = webdriver.Chrome()
# 打开淘宝首页
driver.get('https://www.taobao.com/')
# 找到搜索框并输入关键字
search_box = driver.find_element_by_name('q')
search_box.send_keys('手机')
search_box.send_keys(Keys.RETURN)
# 获取商品信息
products = driver.find_elements_by_css_selector('.J_MouserOnverReq')
for product in products:
title = product.find_element_by_css_selector('.title').text
price = product.find_element_by_css_selector('.price').text
print(title, price)
# 关闭浏览器
driver.quit()
在上面的示例中,我们使用 Selenium 模拟打开 Chrome 浏览器,然后打开淘宝首页,输入关键字“手机”,获取商品信息并打印出来,最后关闭浏览器。
使用 Selenium 爬取淘宝商品详情页信息
以下是一个使用 Selenium 爬取淘宝商品详情页信息的示例:
from selenium import webdriver
# 创建 Chrome 浏览器对象
driver = webdriver.Chrome()
# 打开淘宝商品详情页
driver.get('https://item.taobao.com/item.htm?spm=a230r.1.14.1.7a7c7d5cJzJZ5L&id=632828947764&ns=1&abbucket=16#detail')
# 获取商品详情信息
detail = driver.find_element_by_css_selector('#J_DivItemDesc')
print(detail.text)
# 关闭浏览器
driver.quit()
在上面的示例中,我们使用 Selenium 模拟打开 Chrome 浏览器,然后打开淘宝商品详情页,获取商品详情信息并打印出来,最后关闭浏览器。
以上是 Python 进阶之使用 Selenium 爬取淘宝商品信息功能示例的介绍,希望对您有所帮助。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Python进阶之使用selenium爬取淘宝商品信息功能示例 - Python技术站