以下是关于Python爬虫之requests库使用代理方式的攻略:
Python爬虫之requests库使用代理方式
在进行爬虫时,有时需要使用代理服务器来隐藏自己的真实IP地址。requests库提供了使用代理服务器的功能。以下是Python爬虫之requests库使用代理方式的攻略:
使用HTTP代理
以下是使用requests库使用HTTP代理的示例:
import requests
url = 'https://www.example.com'
proxies = {'http': 'http://10.10.1.10:3128'}
response = requests.get(url, proxies=proxies)
print(response.text)
在上面的示例中,我们使用requests库发送了一个GET请求到https://www.example.com,并使用了一个HTTP代理服务器,代理服务器的IP地址为10.10.1.10,端口号为3128,并打印了响应的文本内容。
使用HTTPS代理
以下是使用requests库使用HTTPS代理的示例:
import requests
url = 'https://www.example.com'
proxies = {'https': 'https://10.10.1.10:3128'}
response = requests.get(url, proxies=proxies)
print(response.text)
在上面的示例中,我们使用requests库发送了一个GET请求到https://www.example.com,并使用了一个HTTPS代理服务器,代理服务器的IP地址为10.10.1.10,端口号为3128,并打印了响应的文本内容。
使用SOCKS代理
以下是使用requests库使用SOCKS代理的示例:
import requests
url = 'https://www.example.com'
proxies = {'http': 'socks5://10.10.1.10:1080', 'https': 'socks5://10.10.1.10:1080'}
response = requests.get(url, proxies=proxies)
print(response.text)
在上面的示例中,我们使用requests库发送了一个GET请求到https://www.example.com,并使用了一个SOCKS代理服务器,代理服务器的IP地址为10.10.1.10,端口号为1080,并打印了响应的文本内容。
以上是Python爬虫之requests库使用代理方式的攻略,希望对您有所帮助。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:python爬虫之requests库使用代理方式 - Python技术站