浅谈Python爬虫原理与数据抓取

针对 "浅谈Python爬虫原理与数据抓取" 这个主题，我们可以从以下几个方面入手进行讲解。

1. Python爬虫原理

Python爬虫是利用Python编写程序，自动化地抓取网络上的数据的一种技术。其主要原理是通过HTTP协议向Web服务器发送请求，获取服务器返回的数据，然后进行解析提取有用的信息。大体流程如下：

1. 发送HTTP请求
2. 获取服务器响应
3. 解析HTML页面，提取有用数据
4. 存储数据

2. Python爬虫的基本流程

2.1 准备工作

首先需要安装Python和相关爬虫库，例如requests、beautifulsoup4等。安装完成后，可以开始编写爬虫代码。

2.2 发送HTTP请求

使用requests库进行网络请求。

import requests

url = 'http://www.example.com'
response = requests.get(url)

2.3 解析HTML页面

使用beautifulsoup4库解析HTML页面，提取有用的信息。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
tag = soup.find('title')
print(tag.text)

2.4 存储数据

将抓取到的数据存储到本地文件或数据库中。

import csv

with open('data.csv', 'w', newline='') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['Name', 'Age'])
    writer.writerow(['Tom', 12])
    writer.writerow(['Mary', 15])

3. 示例说明

下面给出两个简单的示例，用于说明Python爬虫的基本流程。

3.1 示例一：抓取百度首页的标题

import requests
from bs4 import BeautifulSoup

url = 'https://www.baidu.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
tag = soup.find('title')
print(tag.text)

3.2 示例二：抓取豆瓣电影Top250的电影名称和评分

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.find_all('div', class_='hd')

for item in items:
    rank = item.find('span', class_='rating_num').text
    title = item.find('a').text
    print(rank, title)

以上就是针对 "浅谈Python爬虫原理与数据抓取" 的完整攻略，希望能对您有所帮助。