爬取京东PS4售卖情况是一个常见的爬虫应用场景。以下是一个详细的攻略,包含了爬取京东PS4售卖情况的步骤和示例。
1. 安装必要的库
在开始之前,我们需要安装必要的库。可以使用以下命令安装:
pip install requests
pip install beautifulsoup4
2. 爬取京东PS4售卖情况
我们可以使用requests库和beautifulsoup4库来爬取京东PS4售卖情况。以下是一个示例代码,演示如何爬取京东PS4售卖情况:
import requests
from bs4 import BeautifulSoup
url = 'https://search.jd.com/Search?keyword=ps4&enc=utf-8'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('.gl-item')
for item in items:
name = item.select('.p-name em')[0].text.strip()
price = item.select('.p-price i')[0].text.strip()
print(name, price)
在上面的代码中,我们首先定义了一个名为url的变量,该变量存储了京东PS4搜索页面的URL。然后,定义了一个名为headers的字典,该字典存储了请求头信息。接着,使用requests库发送GET请求,并使用beautifulsoup4库解析响应内容。最后,使用CSS选择器获取商品名称和价格,并将其打印出来。
3. 示例
以下是另一个示例代码,演示如何将爬取到的数据保存到CSV文件中:
import requests
from bs4 import BeautifulSoup
import csv
url = 'https://search.jd.com/Search?keyword=ps4&enc=utf-8'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('.gl-item')
with open('ps4.csv', 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['名称', '价格'])
for item in items:
name = item.select('.p-name em')[0].text.strip()
price = item.select('.p-price i')[0].text.strip()
writer.writerow([name, price])
在上面的代码中,我们首先定义了一个名为url的变量,该变量存储了京东PS4搜索页面的URL。然后,定义了一个名为headers的字典,该字典存储了请求头信息。接着,使用requests库发送GET请求,并使用beautifulsoup4库解析响应内容。最后,使用CSV库将爬取到的数据保存到CSV文件中。
总结
本攻略介绍了如何爬取京东PS4售卖情况。我们可以使用requests库和beautifulsoup4库来爬取京东PS4售卖情况。在使用beautifulsoup4库解析响应内容时,我们可以使用CSS选择器获取商品名称和价格。我们还提供了一个示例代码,演示如何将爬取到的数据保存到CSV文件中。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:python 爬虫爬取京东ps4售卖情况 - Python技术站