Python爬取爱奇艺电影信息代码实例

本文将介绍如何使用Python爬取爱奇艺电影信息的方法。以下是本文将介绍的：

1. 使用requests库发送HTTP请求
2. 使用BeautifulSoup库解析页面内容
3. 爬取爱奇艺电影信息
4. 示例说明

使用requests库发送HTTP请求

在Python中，我们可以使用requests库发送HTTP请求。以下是使用requests库发送HTTP请求的示例代码：

import requests

url = 'https://www.iqiyi.com/dianying/'
response = requests.get(url)

content = response.content

在这个示例中，我们首先导入了requests库，并使用get()函数发送了一个GET请求。然后，我们使用response.content属性获取了响应内容。

使用BeautifulSoup库解析页面内容

在获取响应内容后，我们需要使用BeautifulSoup库来解析页面内容。以下是使用BeautifulSoup库解析页面内容的示例代码：

from bs4 import BeautifulSoup

soup = BeautifulSoup(content, 'html.parser')

在这个示例中，我们使用BeautifulSoup()函数将响应内容解析为BeautifulSoup对象。

爬取爱奇艺电影信息

在解析页面内容后，我们可以使用BeautifulSoup库的find_all()函数来爬取爱奇艺电影信息。以下是爬取爱奇艺电影信息的示例代码：

movies = []

for item in soup.find_all('div', {'class': 'site-piclist_pic'}):
    movie = {}
    movie['title'] = item.find('a')['title']
    movie['link'] = item.find('a')['href']
    movie['image'] = item.find('img')['src']
    movies.append(movie)

print(movies)

在这个示例中，我们使用for循环遍历了页面上的所有电影信息，并使用item.find()方法获取了电影的标题、链接和图片地址，并将电影信息存储在字典movie中。最后，我们将所有电影信息存储在列表movies中，并使用print()函数输出了所有电影信息。

示例说明

以下是两个示例说明，用于演示如何使用Python爬取爱奇艺电影信息：

示例1：爬取爱奇艺电影首页电影信息

假设我们需要爬取爱奇艺电影首页的电影信息。以下是示例代码：

import requests
from bs4 import BeautifulSoup

url = 'https://www.iqiyi.com/dianying/'
response = requests.get(url)

content = response.content

soup = BeautifulSoup(content, 'html.parser')

movies = []

for item in soup.find_all('div', {'class': 'site-piclist_pic'}):
    movie = {}
    movie['title'] = item.find('a')['title']
    movie['link'] = item.find('a')['href']
    movie['image'] = item.find('img')['src']
    movies.append(movie)

print(movies)

在这个示例中，我们首先使用requests库发送了一个GET请求，并使用BeautifulSoup库解析了页面内容。然后，我们使用for循环遍历了页面上的所有电影信息，并使用item.find()方法获取了电影的标题、链接和图片地址，并将电影信息存储在字典movie中。最后，我们将所有电影信息存储在列表movies中，并使用print()函数输出了所有电影信息。

示例2：爬取爱奇艺电影分类页面电影信息

假设我们需要爬取爱奇艺电影分类页面的电影信息。以下是示例代码：

import requests
from bs4 import BeautifulSoup

url = 'https://www.iqiyi.com/dianying/genre.html'
response = requests.get(url)

content = response.content

soup = BeautifulSoup(content, 'html.parser')

movies = []

for item in soup.find_all('div', {'class': 'site-piclist_pic'}):
    movie = {}
    movie['title'] = item.find('a')['title']
    movie['link'] = item.find('a')['href']
    movie['image'] = item.find('img')['src']
    movies.append(movie)

print(movies)

在这个示例中，我们首先使用requests库发送了一个GET请求，并使用BeautifulSoup库解析了页面内容。然后，我们使用for循环遍历了页面上的所有电影信息，并使用item.find()方法获取了电影的标题、链接和图片地址，并将电影信息存储在字典movie中。最后，我们将所有电影信息存储在列表movies中，并使用print()函数输出了所有电影信息。