用python爬取豆瓣前一百电影

用Python爬取豆瓣前100电影的完整攻略

在本攻略中，我们将介绍如何使用Python爬取豆瓣前100电影，并提供两个示例。

步骤1：分析网页

在使用Python爬取豆瓣前100电影之前，我们需要先分析网页。我们可以使用Chrome浏览器的开发者工具分析网页。

以下是分析网页的步骤：

1. 打开Chrome浏览器，进入豆瓣电影排行榜页面。
2. 点击开发者工具，进入开发者模式。
3. 点击Elements选项卡，查看网页源代码。
4. 点击Network选项卡，查看网页请求。

步骤2：获取网页源代码

在分析网页之后，我们需要获取网页源代码。我们可以使用Python的requests库获取网页源代码。

以下是一个示例，用于获取网页源代码：

import requests

# 获取网页源代码
url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text

在上面的代码中，我们使用requests库获取网页源代码，并使用get()函数获取网页内容。

步骤3：解析网页源代码

在获取网页源代码之后，我们需要解析网页源代码。我们可以使用Python的BeautifulSoup库解析网页源代码。

以下是一个示例，用于解析网页源代码：

import requests
from bs4 import BeautifulSoup

# 获取网页源代码
url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text

# 解析网页源代码
soup = BeautifulSoup(html, 'html.parser')

在上面的代码中，我们使用BeautifulSoup库解析网页源代码，并使用html.parser解析器解析网页内容。

步骤4：获取电影信息

在解析网页源代码之后，我们需要获取电影信息。我们可以使用BeautifulSoup库获取电影信息。

以下是一个示例，用于获取电影信息：

import requests
from bs4 import BeautifulSoup

# 获取网页源代码
url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text

# 解析网页源代码
soup = BeautifulSoup(html, 'html.parser')

# 获取电影信息
movies = soup.find_all('div', {'class': 'info'})
for movie in movies:
    title = movie.find('span', {'class': 'title'}).text
    rating = movie.find('span', {'class': 'rating_num'}).text
    print(title, rating)

在上面的代码中，我们使用find_all()函数查找电影信息，并使用find()函数查找电影标题和评分。

示例1：将电影信息保存到CSV文件

以下是一个示例，用于将电影信息保存到CSV文件：

import requests
from bs4 import BeautifulSoup
import csv

# 获取网页源代码
url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text

# 解析网页源代码
soup = BeautifulSoup(html, 'html.parser')

# 获取电影信息
movies = soup.find_all('div', {'class': 'info'})

# 保存电影信息到CSV文件
with open('movies.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['Title', 'Rating'])
    for movie in movies:
        title = movie.find('span', {'class': 'title'}).text
        rating = movie.find('span', {'class': 'rating_num'}).text
        writer.writerow([title, rating])

在上面的代码中，我们使用csv库将电影信息保存到CSV文件。

示例2：将电影信息保存到MySQL数据库

以下是一个示例，用于将电影信息保存到MySQL数据库：

import requests
from bs4 import BeautifulSoup
import pymysql

# 获取网页源代码
url = 'https://movie.douban.com/top250'
response = requests.get(url)
html = response.text

# 解析网页源代码
soup = BeautifulSoup(html, 'html.parser')

# 获取电影信息
movies = soup.find_all('div', {'class': 'info'})

# 保存电影信息到MySQL数据库
conn = pymysql.connect(host='localhost', user='root', password='password', database='movies')
cursor = conn.cursor()
for movie in movies:
    title = movie.find('span', {'class': 'title'}).text
    rating = movie.find('span', {'class': 'rating_num'}).text
    sql = "INSERT INTO movies (title, rating) VALUES (%s, %s)"
    cursor.execute(sql, (title, rating))
conn.commit()
cursor.close()
conn.close()

在上面的代码中，我们使用pymysql库将电影信息保存到MySQL数据库。

注意事项

在使用Python爬取豆瓣前100电影时，需要注意以下事项：

1. 在使用Python爬虫时，需要注意网站的反爬虫机制和法律法规。
2. 在使用Python爬虫时，需要注意网页的格式和内容。
3. 在使用Python爬虫时，需要注意数据的去重和更新。

结论

本攻略介绍了如何使用Python爬取豆瓣前100电影，并提供了两个示例。我们了解了如何使用requests库获取网页源代码、使用BeautifulSoup库解析网页源代码、获取电影信息等技巧。这些技巧可以助我们更好地使用Python爬取豆瓣前100电影。