Python爬虫后获取重定向url的两种方法

一、背景

在编写Python爬虫时，我们通常需要对网站上的URL进行重定向处理。重定向是指当我们访问一个网站的URL时，服务器会把我们的请求重定向到另一个URL上。例如，当我们访问 https://www.google.com 时，服务器会把我们的请求重定向到 https://www.google.com.hk 上。

在爬虫中，我们需要获取重定向URL的最终地址，以便继续访问。下面将介绍两种获取重定向URL的方法。

二、方法一：使用requests库的allow_redirects参数

requests是Python中常用的HTTP请求库之一，它可以自动处理HTTP请求及响应，并可以方便地实现重定向。requests库中的get方法允许我们通过设置allow_redirects参数来控制是否允许重定向，以及如何处理重定向。

以下是一个示例代码：

import requests

url = 'https://www.google.com'
response = requests.get(url, allow_redirects=True)

print(response.url)

在上面的代码中，我们通过requests.get方法访问了www.google.com，并设置了allow_redirects参数为True，表示允许重定向。最后，我们打印了response对象的url属性，即获取了重定向URL的最终地址。

三、方法二：使用urllib库的HTTPRedirectHandler类

urllib是Python中另一个常用的HTTP请求库，它可以与requests库一样地处理HTTP请求及响应，并且也可以方便地实现重定向。在urllib库中，我们可以使用HTTPRedirectHandler类来处理重定向。

以下是一个示例代码：

import urllib.request

url = 'https://www.google.com'
opener = urllib.request.build_opener(urllib.request.HTTPRedirectHandler())
response = opener.open(url)

print(response.url)

在上面的代码中，我们首先创建了一个urllib.request.HTTPRedirectHandler实例，并将其传递给urllib.request.build_opener函数。这个函数返回了一个新的opener对象，我们可以使用这个opener对象发送HTTP请求。最后，我们打印了response对象的url属性，即获取了重定向URL的最终地址。

四、总结

以上就是获取重定向URL的两种方法。使用requests库的allow_redirects参数较为简单，而使用HTTPRedirectHandler类可以获得更多的控制权。在实际应用中，我们可以根据具体情况选择适合自己的方法。

示例解释：

示例一：获取慕课网首页的重定向URL

import requests

url = 'http://www.imooc.com'
response = requests.get(url, allow_redirects=True)

print(response.url)

在上述代码中，我们使用requests库访问了慕课网首页，并设置了allow_redirects参数为True。最后，我们打印了response对象的url属性，即获取了重定向URL的最终地址。

示例二：获取豆瓣电影Top250的重定向URL

import urllib.request

url = 'http://movie.douban.com/top250'
opener = urllib.request.build_opener(urllib.request.HTTPRedirectHandler())
response = opener.open(url)

print(response.url)

在上述代码中，我们使用urllib库访问了豆瓣电影Top250，并创建了一个urllib.request.HTTPRedirectHandler实例。然后，我们使用urllib.request.build_opener函数创建了一个opener对象，并使用这个opener对象打开了url。最后，我们打印了response对象的url属性，即获取了重定向URL的最终地址。