Python爬取城市租房信息实战分享

1. 概述

本篇文章将介绍如何使用Python语言爬取城市租房信息的过程。本文使用的是Python 3.x版本和requests库、BeautifulSoup库和pandas库等。具体的操作包括向目标网站发送HTTP请求，解析响应内容，提取目标数据和存储数据等步骤。

2. 准备工作

在开始爬虫之前，需要安装相应的库和软件环境。

这里我们需要安装的库有：requests、BeautifulSoup和pandas。

安装方式：

pip install requests
pip install BeautifulSoup4
pip install pandas

3. 发送http请求

在本实战中，我们以北京链家网的二手房信息页面为例。首先，我们需要通过requests库向北京链家网发送请求。

import requests

url = 'https://bj.lianjia.com/ershoufang/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

这里，我们定义了请求的URL和headers选项。其中，headers选项中包括了浏览器的相关信息。

4. 解析响应内容

接下来，我们需要对响应进行解析。这里我们使用了BeautifulSoup库。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')

解析完成后，我们就可以对网站页面中的HTML元素进行定位和提取了。

5. 提取目标数据

在该实战中，我们需要提取二手房的名称、位置、总价和单价等信息。

通过分析HTML元素结构，我们得知目标数据都在class属性为“sellListContent”中的

标签内，且各项的类名也非常明显，方便我们提取。因此，我们可以使用find_all()方法来提取出目标数据。

house_list = soup.find_all('div', {'class': 'sellListContent'})

for house in house_list:
    name = house.find('div', {'class': 'title'}).text
    location = house.find('div', {'class': 'houseInfo'}).text
    total_price = house.find('div', {'class': 'totalPrice'}).text
    unit_price = house.find('div', {'class': 'unitPrice'}).text

6. 存储数据

提取完成后，我们需要将数据存储下来。这里我们使用pandas库来进行处理。

我们将数据存储成Excel表格格式。

import pandas as pd

data = {'房屋名称': names, '房屋位置': locations, '总价': total_prices, '单价': unit_prices}

house_df = pd.DataFrame.from_dict(data)

house_df.to_excel('house_data.xlsx', index=False)