python爬虫（入门教程、视频教程） 原创

Python爬虫入门教程

本教程将介绍如何使用Python编写简单的网络爬虫。首先，我们将学习如何获取网页的HTML代码，然后解析HTML代码以提取有用的信息。

环境准备

• Python3.x
• requests库
• BeautifulSoup库

通过requests库获取HTML代码

requests库是Python中一个常用的HTTP请求库，可以方便地向Web服务器发送GET/POST请求，接收Web服务器响应的数据，并进行数据处理。

以下是一个示例代码，我们将通过requests库获取百度的HTML代码：

import requests

url = 'https://www.baidu.com'
response = requests.get(url)
html = response.text

print(html)

上述代码中，首先定义了一个URL变量，用于存储我们要获取的网页URL。然后调用requests库的get方法，向该URL发送GET请求，并返回响应对象response。我们可以通过response.text属性获取该网页的HTML代码。

解析HTML代码

虽然我们已经成功地获取了HTML代码，但是这些代码包含了很多我们不需要的信息，比如CSS样式、JavaScript代码等。我们需要解析HTML代码，提取出有用的信息，比如网页标题、链接、文本等。

为了解析HTML代码，我们可以使用Python中另一个常用库BeautifulSoup。安装BeautifulSoup库后，我们可以使用它的find_all方法来查找所有具有相同CSS类的HTML标签。

以下是一个示例代码，我们将使用requests库获取豆瓣电影TOP250的HTML代码，并使用BeautifulSoup库解析该代码，找到所有电影的标题和评分信息：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text

soup = BeautifulSoup(html, 'html.parser')
movie_list = []

for movie in soup.find_all('div', class_='item'):
    title = movie.find('div', class_='hd').a.span.text
    rating_num = movie.find('span', class_='rating_num').text
    movie_list.append({'title': title, 'rating_num': rating_num})

print(movie_list)

上述代码中，首先定义了URL、response和html变量，参考前面的方法获取HTML代码。然后使用BeautifulSoup库解析该HTML代码，并查找所有CSS类为'item'的HTML标签。随后，循环遍历每个标签，从中提取出电影标题和评分信息，并以字典形式加入列表movie_list中。最后，输出movie_list列表。

视频教程

如果你想获得更多Python爬虫的知识，建议观看以下两个视频教程：

• B站视频教程：https://www.bilibili.com/video/BV11J41137YY
• 爬虫之家视频教程：https://www.pachongzhijia.com/video/python_spider.html

以上就是Python爬虫的入门教程，希望对你有所帮助！