Python实现多线程HTTP下载器示例

简介

本示例是一个基于Python的多线程HTTP下载器，可以通过多个线程同时下载同一个文件，从而实现快速下载。

实现思路

1. 首先获取文件的大小和下载链接，计算出每个线程需要下载的文件块的起始位置和结束位置
2. 创建多个线程，每个线程下载一定范围的文件块，并将其保存到对应的文件路径中
3. 主线程等待所有子线程结束，完成文件的下载

示例说明（1）：

这个示例演示了如何使用 Python 实现一个简单的多线程 HTTP 下载器，它可以并行下载多个文件。

import urllib.request
import threading

class Downloader:

    def __init__(self, url, numThread):
        self.url = url
        self.numThread = numThread
        self.fileSize = None

    def download(self):
        self.get_file_size()
        part = self.fileSize // self.numThread
        threads = []
        for i in range(self.numThread):
            start = part * i
            end = start + part
            if i == self.numThread - 1:
                end = self.fileSize - 1
            t = threading.Thread(target=self.download_part, args=(start, end, i))
            threads.append(t)
            t.start()

        for t in threads:
            t.join()

    def get_file_size(self):
        with urllib.request.urlopen(self.url) as response:
            self.fileSize = int(response.headers['Content-Length'])

    def download_part(self, start, end, i):
        with urllib.request.urlopen(self.url, headers={'Range': 'bytes=%d-%d' % (start, end)}) as response:
            data = response.read()
        with open('%d.part' % i, 'wb') as f:
            f.write(data)

if __name__ == '__main__':
    url = 'http://download.thinkbroadband.com/10MB.zip'
    dl = Downloader(url, 4)
    dl.download()

在这个示例中，我们首先定义一个 Downloader 类，它接受两个参数：要下载的文件地址和并发下载的线程数。

get_file_size 方法获取文件的总大小，然后根据并发下载的线程数计算每个线程应该下载的文件块的起始偏移和结束偏移。

download_part 方法是下载每个线程需要下载的文件块的主要方法，我们使用 Python 的 urllib 库发送 HTTP 请求，通过设置 Range 请求头来指定文件块的偏移。

download 方法是下载器的主要逻辑，它并发启动多个线程下载文件块，然后等待所有的线程结束。

在主程序中，我们可以看到我们创建了一个 Downloader 对象，并且设置了要下载的文件地址和并发下载的线程数。

示例说明（2）：
这个示例演示了如何使用 Python 的 requests 库实现多线程下载，它可以将一个文件切成多个部分并行下载，从而提高下载速度。

import requests
import threading

class Downloader:

    def __init__(self, url, numThread):
        self.url = url
        self.numThread = numThread
        self.fileSize = None

    def download(self):
        self.get_file_size()
        part = self.fileSize // self.numThread
        threads = []
        for i in range(self.numThread):
            start = part * i
            end = start + part
            if i == self.numThread - 1:
                end = self.fileSize - 1
            t = threading.Thread(target=self.download_part, args=(start, end, i))
            threads.append(t)
            t.start()

        for t in threads:
            t.join()

    def get_file_size(self):
        response = requests.head(self.url)
        self.fileSize = int(response.headers['Content-Length'])

    def download_part(self, start, end, i):
        headers = {'Range': 'bytes=%d-%d' % (start, end)}
        response = requests.get(self.url, headers=headers)
        with open('%d.part' % i, 'wb') as f:
            f.write(response.content)

if __name__ == '__main__':
    url = 'http://download.thinkbroadband.com/10MB.zip'
    dl = Downloader(url, 4)
    dl.download()

在这个示例中，我们使用了 Python 的 requests 库，它可以更方便地发送 HTTP 请求。其余的代码与示例1基本一致。