Python实现抓取腾讯视频所有电影的示例代码

这是一个实现Python爬虫抓取腾讯视频所有电影信息的示例代码，下面是完整攻略：

开发环境配置

首先，需要安装Python开发环境，建议使用Python3版本。另外，我们还需要安装一些第三方库，包括：

• requests：用于发送HTTP请求和处理响应数据
• BeautifulSoup4：用于解析HTML页面

在安装好Python和相应库后，我们可以开始编写爬虫代码了。

爬虫实现

首先，我们要从腾讯电影首页爬取所有电影的链接，并保存到一个列表中。具体实现步骤如下：

import requests
from bs4 import BeautifulSoup

url = 'https://v.qq.com/channel/movie?listpage=1&channel=movie&itype=100062'
text = requests.get(url).text
soup = BeautifulSoup(text, 'html.parser')
movie_links = []
for link in soup.find_all('a', class_='figure'):
    movie_links.append(link.get('href'))

以上代码中，我们使用requests发送HTTP请求，并使用BeautifulSoup解析响应数据。movie_links列表用于保存所有电影的链接。

接下来，我们可以依次访问每个电影链接，爬取电影的详细信息。具体实现步骤如下：

import re

movie_infos = []
for link in movie_links:
    text = requests.get(link).text
    soup = BeautifulSoup(text, 'html.parser')
    movie_info = {}
    movie_info['title'] = soup.find('h1').string
    desc = soup.find('span', class_='type_txt')
    movie_info['type'] = desc.get_text(strip=True).split('/')[0]
    movie_info['director'] = desc.get_text(strip=True).split('/')[1]
    desc_text = soup.find('div', class_='video_desc_text').text
    release_date_match = re.search(r'(\d{4}-\d{2}-\d{2})', desc_text)
    if release_date_match:
        movie_info['release_date'] = release_date_match.group()
    else:
        movie_info['release_date'] = ''
    movie_info['score'] = soup.find('span', class_='score_l').string
    movie_infos.append(movie_info)

以上代码中，我们依次访问每个链接，并使用正则表达式从电影详情页面中解析出电影的标题、类型、导演、上映日期和评分等信息。将每个电影的信息存储到movie_infos列表中。

示例说明

示例1：爬取所有电影的标题和链接

为了演示如何从腾讯电影首页爬取所有电影的标题和链接，我们可以使用以下代码：

import requests
from bs4 import BeautifulSoup

url = 'https://v.qq.com/channel/movie?listpage=1&channel=movie&itype=100062'
text = requests.get(url).text
soup = BeautifulSoup(text, 'html.parser')
movie_links = []
for link in soup.find_all('a', class_='figure'):
    movie_links.append(link.get('href'))
    print(link.get('title'), link.get('href'))

以上代码中，我们使用BeautifulSoup从腾讯电影首页中解析出所有电影的链接，并打印出每个电影的标题和链接。

示例2：爬取电影《流浪地球》的详细信息

为了演示如何从电影详情页中爬取电影的详细信息，我们可以使用以下代码：

import requests
from bs4 import BeautifulSoup
import re

url = 'https://v.qq.com/x/cover/gzfljfwad7akl0v.html'
text = requests.get(url).text
soup = BeautifulSoup(text, 'html.parser')
movie_info = {}
movie_info['title'] = soup.find('h1').string
desc = soup.find('span', class_='type_txt')
movie_info['type'] = desc.get_text(strip=True).split('/')[0]
movie_info['director'] = desc.get_text(strip=True).split('/')[1]
desc_text = soup.find('div', class_='video_desc_text').text
release_date_match = re.search(r'(\d{4}-\d{2}-\d{2})', desc_text)
if release_date_match:
    movie_info['release_date'] = release_date_match.group()
else:
    movie_info['release_date'] = ''
movie_info['score'] = soup.find('span', class_='score_l').string

print(movie_info)

以上代码中，我们指定电影《流浪地球》的链接，并从电影详情页面中解析出该电影的标题、类型、导演、上映日期和评分等信息，并打印出来。