在Python爬虫中,xlml解析库是一种非常常用的解析HTML和XML文档的方式。以下是Python爬虫之xlml解析库的完整攻略,包含两个示例。
步骤1:安装必要的库
在使用xlml解析库之前,我们需要先安装必要的库。以下是需要安装的库:
- lxml:用于解析HTML和XML文档。
可以使用pip命令来安装这些库:
pip install lxml```
## 步骤2:使用xlml解析库解析HTML和XML文档
在安装必要的库之后,我们可以使用xlml解析库解析HTML和XML文档。以下是一个示例,可以使用xlml解析库解析HTML文档:
```python
from lxml import etree
import requests
url = 'https://www.baidu.com'
response = requests.get(url)
html = etree.HTML(response.text)
title = html.xpath('//title/text()')[0]
print(title)
在上面的示例中,我们使用requests库发送HTTP请求,使用lxml库解析HTML文档,并使用XPath定位HTML文档中的title标签。
以下是一个示例,可以使用xlml解析库解析XML文档:
from lxml import etree
xml = '''
<bookstore>
<book category="COOKING">
<title lang="en">Everyday Italian</title>
<author>Giada De Laurentiis</author>
<year>2005</year>
<price>30.00</price>
</book>
<book category="CHILDREN">
<title lang="en">Harry Potter</title>
<author>J.K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
</bookstore>
'''
root = etree.fromstring(xml)
for book in root.xpath('//book'):
title = book.xpath('./title/text()')[0]
author = book.xpath('./author/text()')[0]
year = book.xpath('./year/text()')[0]
price = book.xpath('./price/text()')[0]
print(title, author, year, price)
在上面的示例中,我们使用lxml库解析XML文档,并使用XPath定位XML文档中的book元素。
示例1:使用xlml解析库爬取天气数据
以下是一个示例,可以使用xlml解析库爬取某城市未来7天的天气数据:
from lxml import etree
import requests
url = 'https://tianqi.moji.com/weather/china/shanghai/pudong-new-district'
response = requests.get(url)
html = etree.HTML(response.text)
items = html.xpath('//div[@class="wea_info"]')
for item in items:
date = item.xpath('.//em/text()')[0]
weather_text = item.xpath('.//b/text()')[0]
temperature = item.xpath('.//span/text()')[0]
print(date, weather_text, temperature)
在上面的示例中,我们使用requests库发送HTTP请求,使用lxml库解析HTML文档,并使用XPath定位某城市未来7天的天气数据。
示例2:使用xlml解析库爬取股票数据
以下是一个示例,可以使用xlml解析库爬取某股票最近30天的股票数据:
from lxml import etree
import requests
url = 'https://finance.sina.com.cn/realstock/company/sh600519/nc.shtml'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
html = etree.HTML(response.text)
items = html.xpath('//tr[@class="tr_2"]')
for item in items:
date = item.xpath('.//td[1]/text()')[0]
open_price = item.xpath('.//td[2]/text()')[0]
high_price = item.xpath('.//td[3]/text()')[0]
low_price = item.xpath('.//td[4]/text()')[0]
close_price = item.xpath('.//td[5]/text()')[0]
print(date, open_price, high_price, low_price, close_price)
在上面的示例中,我们使用requests库发送HTTP请求,使用lxml库解析HTML文档,并使用XPath定位某股票最近30天的股票数据。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Python爬虫之xlml解析库(全面了解) - Python技术站