使用Python多线程爬虫爬取电影天堂资源

使用Python多线程爬虫可以提高爬取资源的速度，特别是在需要爬取大量数据的情况下。以下是使用Python多线程爬虫爬取电影天堂资源的完整攻略。

确认目标网站

首先，我们需要确认需要爬取的目标网站。针对本例中的电影天堂资源，我们需要先确定目标页面的URL。

电影天堂搜索页面的URL格式为：http://www.dytt8.net/html/gndy/dyzz/list_23_{页码}.html。

使用Python代码获取前5页搜索页面的代码如下：

import requests

base_url = 'http://www.dytt8.net/html/gndy/dyzz/list_23_{}.html'

for page in range(1, 6):
    url = base_url.format(page)
    response = requests.get(url)
    print(response.text)

分析HTML结构

我们需要对目标页面的HTML结构进行分析，确定需要爬取的内容所在的标签和属性。在本例中，我们需要爬取每部电影的名称和下载链接。

使用Chrome开发者工具可以方便地分析每部电影对应的HTML结构，确定每个电影名称和下载链接所在的标签和属性。

本例中，每部电影的名称位于<a>标签内，属性包括href和title；下载链接位于<td>标签内，属性为bgcolor。

编写代码

基于上述分析结果，我们编写Python代码来爬取每部电影的名称和下载链接。

import requests
from bs4 import BeautifulSoup


base_url = 'http://www.dytt8.net/html/gndy/dyzz/list_23_{}.html'

for page in range(1, 6):
    url = base_url.format(page)
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')

    for movie in soup.select('#index > div.co_content8 > ul > table > tbody > tr > td > table > tbody > tr > td > b > a'):
        title = movie['title']
        link = movie['href']
        print(title, link)

    for download_url in soup.select('#index > div.co_content8 > ul > table > tbody > tr > td > table > tbody > tr > td > a'):
        if download_url.has_attr('thunderhref'):
            print(download_url['thunderhref'])

在该代码中，我们使用BeautifulSoup解析每个搜索页面的HTML代码，并使用CSS选择器选取每部电影的名称和下载链接。使用多线程可以进一步提高爬取速度，这里不再赘述。

示例说明

为了演示上述代码的效果，我们爬取前5页搜索页面的电影名称和下载链接。下面是其中一页的部分结果：

张国荣电影全集合集[1DVD] [AVI/1.12G]

http://www.dytt8.net/html/gndy/rihan/20140325/44443.html
...
从前有座灵剑山[56集全]特别版 [MKV/29.3G]

http://www.dytt8.net/html/tv/hytv/20190619/58472.html
...
传奇大亨2016[1DVD] [AVI/896MB]

http://www.dytt8.net/html/gndy/oumei/20181029/57649.html

另外，我们还可以使用上述代码爬取每个电影的下载链接，并下载电影资源。以下是一个简单的示例，使用上述代码爬取前5页搜索页面的电影下载链接并下载到本地文件夹：

import requests
from bs4 import BeautifulSoup


base_url = 'http://www.dytt8.net/html/gndy/dyzz/list_23_{}.html'

for page in range(1, 6):
    url = base_url.format(page)
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')

    for download_url in soup.select('#index > div.co_content8 > ul > table > tbody > tr > td > table > tbody > tr > td > a'):
        if download_url.has_attr('thunderhref'):
            filename = download_url['thunderhref'].split('|')[2]
            response = requests.get(download_url['thunderhref'])
            with open(filename, 'wb') as f:
                f.write(response.content)

在该代码中，我们使用电影下载链接的thunderhref属性直接下载电影资源并命名为该电影名称。这里以爬取到的thunderhref属性中的第3个参数作为电影名称，可以根据需求进行修改，例如使用电影名称作为文件名。