python爬虫爬取淘宝商品信息（selenum+phontomjs）

Python爬虫爬取淘宝商品信息攻略

为了爬取淘宝上的商品信息，我们可以使用Python编写爬虫。本攻略将讲解如何使用Selenium和PhantomJS来模拟人类在浏览器中的行为，从而爬取淘宝的商品信息。

安装Selenium和PhantomJS

Selenium是一个自动化测试框架，可以用来驱动各种浏览器来模拟用户的行为。PhantomJS是一个基于WebKit的无头浏览器，可以运行在命令行下，非常适合用作Selenium的浏览器引擎。

可以使用以下命令来安装Selenium：

pip install selenium

要使用PhantomJS，需要从官网http://phantomjs.org/download.html下载相应的二进制文件。

使用Selenium和PhantomJS爬取淘宝商品信息

使用Selenium和PhantomJS来爬取淘宝商品信息的基本步骤如下：

1. 在淘宝搜索框中输入要搜索的关键字
2. 点击搜索按钮
3. 解析搜索结果页面，获取商品信息

以下是一个示例代码：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By

# 创建一个PhantomJS浏览器对象
driver = webdriver.PhantomJS()

# 打开淘宝首页
driver.get("https://www.taobao.com")

# 找到搜索框并输入关键字
search_box = driver.find_element(By.ID, "q")
search_box.send_keys("iphone")
search_box.send_keys(Keys.RETURN)

# 解析搜索结果页面
items = driver.find_elements(By.CSS_SELECTOR, ".items .item")
for item in items:
    # 获取商品标题和价格信息
    title = item.find_element(By.CSS_SELECTOR, ".title").text
    price = item.find_element(By.CSS_SELECTOR, ".price").text
    print(title, price)

# 关闭浏览器
driver.quit()

在这个示例中，我们首先创建了一个PhantomJS浏览器对象，并打开了淘宝的首页。然后，我们找到了搜索框，输入了关键字，并模拟了点击了搜索按钮。最后，我们解析了搜索结果页面中每个商品的信息，并输出了商品的标题和价格。

示例：爬取淘宝店铺的所有商品信息

除了单个商品信息以外，我们也可以使用Selenium和PhantomJS来爬取淘宝店铺的所有商品信息。以下是一个示例代码：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By

# 创建一个PhantomJS浏览器对象
driver = webdriver.PhantomJS()

# 打开店铺首页
driver.get("https://xxxxx.tmall.com")

# 找到所有商品的链接
links = driver.find_elements(By.CSS_SELECTOR, ".item h3 a")
urls = [link.get_attribute("href") for link in links]

# 遍历所有商品链接
for url in urls:
    driver.get(url)
    # 解析商品详情页
    title = driver.find_element(By.CSS_SELECTOR, ".tb-detail-hd h1").text
    price = driver.find_element(By.CSS_SELECTOR, ".tm-price").text
    print(title, price)

# 关闭浏览器
driver.quit()

在这个示例中，我们首先创建了一个PhantomJS浏览器对象，并打开了店铺的首页。然后，我们找到了店铺中所有商品的链接，并遍历了所有商品链接。对于每个商品链接，我们打开了商品详情页，并解析了商品的标题和价格信息。最后，我们输出了所有商品的标题和价格信息。

以上就是使用Selenium和PhantomJS来爬取淘宝商品信息的基本步骤和示例代码。注意，使用爬虫来爬取淘宝的商品信息是不被允许的，可能会涉及到法律问题，使用前请慎重考虑。