使用requests库制作Python爬虫

下面是使用requests库制作Python爬虫的完整攻略。

一、什么是requests库

requests是Python的一个第三方库，用于处理HTTP请求。通过requests模块，可以很方便地向网络服务器发送请求并获取响应数据。requests库拥有简单易用的API，是Python中最常用的HTTP库之一。

二、使用requests库制作爬虫的基本步骤

1.导入requests库

import requests

2.发送请求并获取响应

response = requests.get(url)

3.解析响应内容

response.text    # 获取响应文本
response.content    # 获取响应二进制数据
response.json()    # 获取JSON格式的响应内容

三、使用requests库制作爬虫的具体流程

1.确定目标网站并分析网站结构

首先，我们需要确定需要爬取哪个网站，并分析该网站的结构。可以使用浏览器的开发者工具或者抓包工具进行分析，获取到需要爬取的信息的URL和对应的请求参数。

2.模拟请求并获取响应

使用requests库发送请求并获取响应。可以使用get、post等方法进行请求，并传递需要的参数和请求头信息。

import requests

url = 'https://example.com'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get(url, headers=headers)

3.解析响应内容并提取有用信息

通过解析响应内容，可以提取出需要的信息。可以使用正则表达式、BeautifulSoup等第三方库进行解析。

下面是一个获取IP地址的示例代码：

import requests
import re

url = 'https://www.ip138.com/iplookup.asp?ip=202.204.80.112&action=2'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get(url, headers=headers)

response.encoding = 'gbk'

pattern = re.compile('<ul class="ul1"><li>本站主数据： (.*?)</li></ul>')
result = pattern.findall(response.text)
print(result[0])

输出结果为：

安徽省合肥市

下面是一个获取网页标题的示例代码：

import requests
from bs4 import BeautifulSoup

url = 'http://www.baidu.com'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.content, 'html.parser')

title = soup.title.string

print(title)

输出结果为：

百度一下，你就知道

四、总结

使用requests库制作Python爬虫的基本流程包括确定目标网站并分析网站结构、模拟请求并获取响应、解析响应内容并提取有用信息。通过利用requests库和第三方库的强大功能，我们可以很方便地进行网站信息的爬取和处理。