Python网络爬虫之HTTP原理

本攻略主要介绍Python网络爬虫中的HTTP原理，包括URL、请求方式、请求头、响应状态码、响应体等内容，帮助读者了解HTTP协议，进而编写出高效、健壮的网络爬虫程序。

HTTP协议

HTTP（Hypertext Transfer Protocol，超文本传输协议）是Web应用程序的基础。它是一种基于请求与响应模式的、无状态的、应用层协议。HTTP协议通常使用TCP作为传输层协议，在传输过程中使用对等连接方式。

HTTP协议中有两个主要的部分：请求和响应。

请求

HTTP请求的组成部分：请求方法、请求头、请求体。

请求方法通常使用GET或POST，分别表示获取资源和提交数据。

请求头包含了关于请求的一些附加信息，如Host、User-Agent、Referer、Cookie等。

请求体是POST请求中的提交数据部分，GET请求中通常为空。

示例1：使用Python发送HTTP GET请求

import requests

url = "http://www.baidu.com"
response = requests.get(url)

print(response.text)

响应

HTTP响应的组成部分：状态码、响应头、响应体。

状态码表示服务器对请求的处理结果，常见的状态码有200、404、500等。

响应头包含有关响应的一些元信息，如Content-Type、Content-Length等。

响应体是服务器返回给客户端的实际数据，可以是HTML、JSON、XML等形式。

示例2：使用Python解析HTTP响应的HTML内容

import requests
from bs4 import BeautifulSoup

url = "http://www.baidu.com"
response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')
print(soup.title.string)

HTTP请求头

HTTP请求头作为HTTP请求的一部分，通常包含一些附加的元信息，如Host、User-Agent、Referer、Cookie等。其中，User-Agent、Referer和Cookie是网络爬虫中常用的请求头信息。

User-Agent

User-Agent指的是用户代理，它是指浏览器或网络爬虫发送请求时所使用的客户端应用程序名称和版本号。服务器通常根据User-Agent来判断客户端的类型和版本，并作出相应的处理。在网络爬虫中，使用合适的User-Agent可以模拟不同的客户端类型，减少被服务器防御的风险。

示例3：使用Python发送HTTP请求时设置User-Agent

import requests

url = "http://www.baidu.com"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)

print(response.text)

Referer

Referer指的是请求来源，它是指浏览器或网络爬虫访问当前页面时所使用的来源页面。服务器通常根据Referer来判断请求的合法性和安全性，避免恶意请求。在网络爬虫中，使用合适的Referer可以模拟人类访问行为，提高爬虫的隐蔽性和准确性。

示例4：使用Python发送HTTP请求时设置Referer

import requests

url = "http://www.baidu.com"
headers = {
    'Referer': 'http://www.google.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)

print(response.text)

Cookie

Cookie指的是请求中携带的Cookie信息，它是指浏览器或网络爬虫访问当前页面时所携带的Cookie数据。服务器通常根据Cookie来判断当前用户的登录状态和权限等信息。在网络爬虫中，使用合适的Cookie可以模拟已登录用户访问页面，获得更多的数据和信息。

示例5：使用Python发送HTTP请求时携带Cookie信息

import requests

url = "http://www.baidu.com"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Cookie': 'BAIDUID=xxx; BD_CK_SAM=1; BD_HOME=1; H_PS_PSSID=1429_27134_21117_17001; FIRST_TIME=1111111111111'
}
response = requests.get(url, headers=headers)

print(response.text)

HTTP响应状态码

HTTP响应状态码是指服务器响应客户端请求后所返回的状态码，主要用来表示请求的处理结果。常见的HTTP响应状态码有以下几种：

• 200：请求成功
• 301/302：资源已转移或临时转移
• 400：请求错误，请求报文中存在语法错误
• 403：禁止访问，请求资源被服务器拒绝
• 404：资源不存在，请求的网页没有找到
• 500：服务器内部错误，无法完成请求

网络爬虫可以通过判断HTTP响应状态码，来确定请求是否成功，并进一步处理响应体中的数据。

示例6：使用Python发送HTTP请求时判断请求是否成功

import requests

url = "http://www.baidu.com"
response = requests.get(url)

if response.status_code == 200:
    print(response.text)

HTTP响应体

HTTP响应体是指服务器返回给客户端的实际数据，可以是HTML、JSON、XML等形式。网络爬虫通过解析HTTP响应体，来提取所需的数据。

示例7：使用Python解析HTTP响应的JSON内容

import json
import requests

url = "http://www.example.com/api"
response = requests.get(url)

data = json.loads(response.text)
print(data['key1'])

结语

本攻略主要介绍了Python网络爬虫中的HTTP原理，包括URL、请求方式、请求头、响应状态码、响应体等内容。网络爬虫开发者可以根据这些知识，在实际开发过程中编写稳健、高效的程序。