python基础之爬虫入门

Python基础之爬虫入门

本文将介绍Python爬虫的基础知识，包括爬虫的基本原理、常用的爬虫库、爬虫的流程和示例说明。

爬虫的基本原理

爬虫是一种自动化程序，用于从互联网上获取数据。爬虫的基本原理是通过HTTP协议向目标网站发送请求，获取网站的HTML代码，然后解析HTML代码，提取需要的数据。

常用的爬虫库

Python中有很多优秀的爬虫库，包括：

• requests：用于发送HTTP请求和获取响应。
• BeautifulSoup：用于解析HTML代码。
• Scrapy：用于构建大规模的爬虫系统。
• Selenium：用于模拟浏览器行为。

爬虫的流程

爬虫的流程通常包括以下几个步骤：

1. 发送HTTP请求：使用requests库向目标网站发送HTTP请求，获取响应。
2. 解析HTML代码：使用BeautifulSoup库解析HTML代码，提取需要的数据。
3. 存储数据：将提取的数据存储到本地文件或数据库中。

示例说明

以下是两个示例说明：

示例一

爬取豆瓣电影Top250的电影名称和评分：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movies = soup.find_all('div', class_='hd')
for movie in movies:
    name = movie.a.span.text.strip()
    rating = movie.parent.find('span', class_='rating_num').text.strip()
    print(name, rating)

在这个示例中，我们使用requests库向豆瓣电影Top250发送HTTP请求，获取响应。然后使用BeautifulSoup库解析HTML代码，提取电影名称和评分，并将其打印出来。

示例二

爬取百度百科Python词条的简介：

import requests
from bs4 import BeautifulSoup

url = 'https://baike.baidu.com/item/Python/407313'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
summary = soup.find('div', class_='lemma-summary').text.strip()
print(summary)

在这个示例中，我们使用requests库向百度百科Python词条发送HTTP请求，获取响应。然后使用BeautifulSoup库解析HTML代码，提取词条的简介，并将其打印出来。

结

本文介绍了Python爬虫的基础知识，包括爬虫的基本原理、常用的爬虫库、爬虫的流程和示例说明。希望本文能够帮助读者入门Python爬虫。