关于python爬虫应用urllib库作用分析

针对“关于python爬虫应用urllib库作用分析”的攻略，我将从以下几个方面进行分析：

1. urllib库的概述及常用模块
2. urllib库的功能及常用方法
3. 使用urllib库进行网站爬取的示例

1. urllib库的概述及常用模块

urllib是Python中内置的HTTP请求库，它包含了一系列处理URL的模块，常用的模块包括：

• urllib.request：用于发送HTTP/HTTPS请求，常用的方法有：urllib.request.urlopen()、urllib.request.urlretrieve()等。
• urllib.parse：用于解析URL中的参数等信息，常用的方法有：urllib.parse.urlencode()、urllib.parse.urljoin()等。
• urllib.error：包含了urllib.request模块可能发生的异常，常用的异常有：urllib.error.HTTPError、urllib.error.URLError等。
• urllib.robotparser：解析robots.txt文件，判断是否允许从该网站进行爬虫。

2. urllib库的功能及常用方法

urllib库提供了多种HTTP请求的方法，根据不同的请求类型可使用不同的方法，比较常用的有以下几种：

2.1 发送GET请求

利用urllib库发送GET请求的示例代码如下：

import urllib.request

response = urllib.request.urlopen("https://www.baidu.com")
print(response.read().decode())

上述代码中，使用urllib.request.urlopen()方法向百度发送了一个GET请求，打印出响应的HTML页面，其中.decode()方法用于将响应的字节流转换为字符串。

2.2 发送POST请求

利用urllib库发送POST请求的示例代码如下：

import urllib.request
import urllib.parse

data = urllib.parse.urlencode({"username": "admin", "password": "123456"}).encode()
response = urllib.request.urlopen(url, data=data)
print(response.read().decode())

上述代码中，使用urllib.parse.urlencode()方法将请求参数编码为URL格式的数据，并使用.encode()方法转换为字节流。然后使用urllib.request.urlopen()方法向指定URL发送POST请求，并打印出响应的HTML页面。

3. 使用urllib库进行网站爬取的示例

下面是一个简单的示例，使用urllib库爬取简书网站的首页数据：

import urllib.request
from bs4 import BeautifulSoup

url = "https://www.jianshu.com"
response = urllib.request.urlopen(url)
html = response.read().decode()

soup = BeautifulSoup(html, "html.parser")
article_titles = soup.find_all("a", class_="title")

for article_title in article_titles:
    print(article_title.string.strip())

上述代码中，首先使用urllib.request.urlopen()方法请求简书网站首页，然后使用BeautifulSoup库对响应的HTML页面进行解析，提取出所有的文章标题，并打印出来。

综上，以上就是关于python爬虫应用urllib库的完整攻略，包含了urllib库的概述及常用模块、urllib库的功能及常用方法和使用urllib库进行网站爬取的示例。