以下是关于Python常用request库与lxml库操作方法整理总结的攻略:
Python常用request库与lxml库操作方法整理总结
在Python中,request库和lxml库是常用的网络爬虫库。以下是Python常用request库与lxml库操作方法整理总结的攻略。
request库的使用
使用request库发送HTTP请求时,需要使用get或post方法,并指定请求的URL、请求头和请求体。以下是使用request库发送HTTP请求的示例:
import requests
url = 'https://www.example.com/api/users'
headers = {'Authorization': 'Bearer token'}
response = requests.get(url, headers=headers)
print(response.json())
在上面的示例中,我们使用request库发送了一个GET请求到https://www.example.com/api/users,并使用headers参数设置了GET请求的请求头。然后,我们使用json()方法获取响应的JSON格式内容。
lxml库的使用
使用lxml库解析HTML或XML文档时,需要使用etree模块,并使用XPath表达式获取文档中的元素。以下是使用lxml库解析HTML文档的示例:
from lxml import etree
html = '''
<html>
<head>
<title>Example</title>
</head>
<body>
<div class="container">
<h1>Hello, World!</h1>
<p>This is an example.</p>
</div>
</body>
</html>
'''
doc = etree.HTML(html)
title = doc.xpath('//title/text()')[0]
h1 = doc.xpath('//h1/text()')[0]
p = doc.xpath('//p/text()')[0]
print(title)
print(h1)
print(p)
在上面的示例中,我们使用lxml库解析了一个HTML文档,并使用XPath表达式获取了文档中的title、h1和p元素的文本内容。
request库和lxml库的结合使用
使用request库和lxml库结合使用时,可以发送HTTP请求并解析响应的HTML或XML文档。以下是使用request库和lxml库结合使用的示例:
import requests
from lxml import etree
url = 'https://www.example.com'
response = requests.get(url)
doc = etree.HTML(response.text)
title = doc.xpath('//title/text()')[0]
print(title)
在上面的示例中,我们使用request库发送了一个GET请求到https://www.example.com,并使用lxml库解析了响应的HTML文档,并使用XPath表达式获取了文档中的title元素的文本内容。
以上是Python常用request库与lxml库操作方法整理总结的攻略,希望对您有所帮助。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:python常用request库与lxml库操作方法整理总结 - Python技术站