以下是关于Python3 XPath和requests应用详解的攻略:
Python3 XPath和requests应用详解
在Python中,可以使用XPath和requests库进行网络爬虫开发。以下是Python3 XPath和requests应用详解的攻略。
使用XPath解析HTML文档
使用lxml库解析HTML文档时,需要使用etree模块,并使用XPath表达式获取文档中的元素。以下是使用XPath解析HTML文档的示例:
from lxml import etree
import requests
url = 'https://www.example.com'
response = requests.get(url)
doc = etree.HTML(response.text)
title = doc.xpath('//title/text()')[0]
print(title)
在上面的示例中,我们使用requests库发送了一个GET请求到https://www.example.com,并使用lxml库解析了响应的HTML文档,并使用XPath表达式获取了文档中的title元素的文本内容。
使用XPath解析XML文档
使用lxml库解析XML文档时,需要使用etree模块,并使用XPath表达式获取文档中的元素。以下是使用XPath解析XML文档的示例:
from lxml import etree
import requests
url = 'https://www.example.com/api/users'
response = requests.get(url)
doc = etree.XML(response.content)
users = doc.xpath('//user')
for user in users:
print(user.xpath('name/text()')[0])
在上面的示例中,我们使用requests库发送了一个GET请求到https://www.example.com/api/users,并使用lxml库解析了响应的XML文档,并使用XPath表达式获取了文档中的user元素的name子元素的文本内容。
以上是Python3 XPath和requests应用详解的攻略,希望对您有所帮助。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:python3 xpath和requests应用详解 - Python技术站