python实现csdn全部博文下载并转PDF

下面就为你详细讲解“Python实现CSDN全部博文下载并转PDF”的完整攻略。

1. 准备工作

在开始操作之前，我们需要准备以下工具和库：

• Python3：需要先安装Python3环境；
• requests库：用于发送网络请求；
• BeautifulSoup4库：用于解析HTML页面的内容；
• pdfkit库：用于将HTML页面转换为PDF文件。

其中，requests和BeautifulSoup4库可以直接用pip进行安装：

pip install requests beautifulsoup4

pdfkit库需要同时安装wkhtmltopdf软件，下载并安装方法可以参考 官方文档。

2. 实现思路

整个实现过程分为两个部分：

• 第一部分，爬取CSDN博客的链接并解析出每个链接的文章标题和链接地址；
• 第二部分，遍历文章链接，将每篇文章的HTML页面转换为PDF文件。

3. 实现代码

下面给出实现代码，其中用到的一些变量可以根据个人需要进行修改。

import os
import time
import requests
from bs4 import BeautifulSoup
import pdfkit


class CSDNBlogDownload(object):
    def __init__(self, username):
        self.username = username
        self.root_url = 'https://blog.csdn.net/'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                          'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
        }

    def get_html(self, url):
        try:
            response = requests.get(url, headers=self.headers)
            if response.status_code == 200:
                return response.text
            else:
                return None
        except:
            return None

    def get_article_list(self, page_url):
        page_html = self.get_html(page_url)
        if page_html:
            soup = BeautifulSoup(page_html, 'lxml')
            article_list = soup.find_all('h4', class_="text-truncate")
            return article_list

    def get_article_content(self, article_url):
        article_html = self.get_html(article_url)
        if article_html:
            soup = BeautifulSoup(article_html, 'lxml')
            article_title = soup.find('h1', class_='title-article').text
            article_content = soup.find('div', class_='blog-content-box').prettify()
            return article_title, article_content

    def save_pdf(self, article_url, article_title, article_content):
        convert_url = 'http://127.0.0.1:5000'
        html_body = '<h1>{}</h1>{}'.format(article_title, article_content)
        options = {
            'page-size': 'Letter',
            'margin-top': '0in',
            'margin-right': '0in',
            'margin-bottom': '0in',
            'margin-left': '0in',
            'encoding': "UTF-8",
            'no-outline': None
        }
        # 转换出pdf文件
        pdfkit.from_string(html_body, '{}.pdf'.format(article_title.strip()), options=options)

    def run(self):
        article_list = []
        for page in range(1, 11):
            page_url = '{}{}/article/list/{}'.format(self.root_url, self.username, page)
            print('正在爬取第{}页文章链接：{}'.format(page, page_url))
            current_list = self.get_article_list(page_url)
            if current_list:
                article_list += current_list
        print('共爬取到{}篇文章链接'.format(len(article_list)))
        if not os.path.exists('pdf'):
            os.makedirs('pdf')
        for idx, article in enumerate(article_list):
            print('正在下载第{}篇文章'.format(idx+1))
            article_url = article.find('a')['href']
            article_title, article_content = self.get_article_content(article_url)
            if article_title and article_content:
                self.save_pdf(article_url, article_title, article_content)
                time.sleep(5)
        print('下载完毕！')

4. 实现示例

接下来，我们通过两个实现示例来演示如何实现CSDN博客全部文章下载并转PDF。

示例1

假设我们要下载的CSDN博客的用户名为“example”，则我们可以先创建一个名为“csdn_blog”（任意名字）的Python脚本，并在其中加入以下代码：

from csdn_blog_download import CSDNBlogDownload

if __name__ == '__main__':
    username = 'example'
    downloader = CSDNBlogDownload(username)
    downloader.run()

然后在命令行中执行以下命令：

python csdn_blog.py

执行命令后，程序将会自动开始下载并转换CSDN博客“example”的全部文章，转换后的PDF文件将保存在当前目录下的“pdf”文件夹中。

示例2

假设我们现在要下载的是CSDN博主“JacksonTian”的博客内容。我们需要修改几个变量：

from csdn_blog_download import CSDNBlogDownload

if __name__ == '__main__':
    username = 'JacksonTian'
    downloader = CSDNBlogDownload(username)
    downloader.run()

然后按照上述方式执行代码即可开始下载JacksonTian的CSDN博客内容。

至此，我们就成功实现了Python爬取CSDN博客并转换为PDF文件的操作。