Python爬取京东商品信息评论存并进MySQL

Python爬取京东商品信息评论存并进MySQL

本攻略将介绍如何使用Python爬取京东商品信息评论，并将其存储到MySQL数据库中。我们将使用Python的requests库和BeautifulSoup库来获取和解析京东商品信息评论，使用pymysql库来连接和操作MySQL数据库。

获取京东商品信息评论

我们可以使用Python的requests库来获取京东商品信息评论。以下是一个示例代码，用于获取京东商品信息评论：

import requests

url = 'https://club.jd.com/comment/productPageComments.action?productId=100008348542&score=0&sortType=5&page=0&pageSize=10'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

print(response.text)

在上面的代码中，我们使用requests库发送了一个HTTP请求，获取了京东商品信息评论数据。我们指定了请求的URL和请求头，使用get方法发送了请求，并使用text属性获取了响应内容。

解析京东商品信息评论

获取到京东商品信息评论数据后，我们需要对其进行解析。以下是一个示例代码，用于解析京东商品信息评论：

import requests
from bs4 import BeautifulSoup

url = 'https://club.jd.com/comment/productPageComments.action?productId=100008348542&score=0&sortType=5&page=0&pageSize=10'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')
comments = soup.find_all('div', class_='comment-item')

for comment in comments:
    print(comment.find('div', class_='comment-con').text.strip())

在上面的代码中，我们使用BeautifulSoup库对京东商品信息评论数据进行了解析。我们使用find_all方法选择了所有class为'comment-item'的div标签，并使用find方法选择了class为'comment-con'的div标签。我们使用text属性获取了标签的文本内容，并使用strip方法去除了文本中的空格和换行符。我们遍历了所有的评论，并输出了它们的文本内容。

示例1：将京东商品信息评论存储到MySQL数据库

以下是一个示例代码，用于将京东商品信息评论存储到MySQL数据库：

import requests
from bs4 import BeautifulSoup
import pymysql

url = 'https://club.jd.com/comment/productPageComments.action?productId=100008348542&score=0&sortType=5&page=0&pageSize=10'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')
comments = soup.find_all('div', class_='comment-item')

conn = pymysql.connect(host='localhost', user='root', password='password', database='test', charset='utf8mb4')
cursor = conn.cursor()

for comment in comments:
    content = comment.find('div', class_='comment-con').text.strip()
    sql = f"INSERT INTO comments(content) VALUES ('{content}')"
    cursor.execute(sql)

conn.commit()
cursor.close()
conn.close()

在上面的代码中，我们使用pymysql库连接了MySQL数据库，并使用execute方法执行了插入操作。我们遍历了所有的评论，并将它们的文本内容存储到了MySQL数据库中。

示例2：从MySQL数据库中读取京东商品信息评论

以下是一个示例代码，用于从MySQL数据库中读取京东商品信息评论：

import pymysql

conn = pymysql.connect(host='localhost', user='root', password='password', database='test', charset='utf8mb4')
cursor = conn.cursor()

sql = "SELECT content FROM comments"
cursor.execute(sql)

comments = cursor.fetchall()
for comment in comments:
    print(comment[0])

cursor.close()
conn.close()

在上面的代码中，我们使用pymysql库连接了MySQL数据库，并使用execute方法执行了查询操作。我们使用fetchall方法获取了所有的评论，并遍历了它们，并输出了它们的文本内容。

总结

本攻略介绍了如何使用Python爬取京东商品信息评论，并将其存储到MySQL数据库中。我们可以使用requests库来获取京东商品信息评论数据，使用BeautifulSoup库来进行数据解析，使用pymysql库来连接和操作MySQL数据库。我们还提供了两个示例，分别用于将京东商品信息评论存储到MySQL数据库中和从MySQL数据库中读取京东商品信息评论。这些技巧可以帮助我们更好地了解用户对商品的评价，从而提高我们的工作效率。