Python爬取csnd文章并转为PDF文件

Python爬取CSDN文章并转为PDF文件

本文将介绍如何使用Python爬取CSDN文章，并将文章转为PDF文件。我们将使用requests、beautifulsoup4和pdfkit等第三方库。

安装第三方库

在使用Python爬取CSDN文章并转为PDF文件之前，需要安装以下第三方库：

• requests
• beautifulsoup4
• pdfkit

可以使用pip命令安装这些库：

pip install requests beautifulsoup4 pdfkit

爬取CSDN文章

我们可以使用requests和beautifulsoup4库爬取CSDN文章。下面是一个爬取CSDN文章的示例：

import requests
from bs4 import BeautifulSoup

url = 'https://blog.csdn.net/xxx/article/details/xxx'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'
html = response.text

soup = BeautifulSoup(html, 'lxml')
title = soup.select('.title-article')[0].text.strip()
content = soup.select('.markdown_views')[0].prettify()

print('标题：', title)
print('内容：', content)

在上面的代码中，我们使用requests库发送HTTP请求，获取CSDN文章的HTML页面。然后，我们使用beautifulsoup4库解析HTML页面，提取文章的标题和内容。

将文章转为PDF文件

我们可以使用pdfkit库将文章转为PDF文件。下面是一个将文章转为PDF文件的示例：

import pdfkit

options = {
    'page-size': 'A4',
    'margin-top': '0mm',
    'margin-right': '0mm',
    'margin-bottom': '0mm',
    'margin-left': '0mm'
}

pdfkit.from_string(content, 'output.pdf', options=options)

在上面的代码中，我们使用pdfkit库将文章的内容转为PDF文件。我们可以通过options参数设置PDF文件的页面大小和边距等。

完整代码

下面是将爬取CSDN文章并将文章转为PDF文件的完整代码：

import requests
from bs4 import BeautifulSoup
import pdfkit

url = 'https://blog.csdn.net/xxx/article/details/xxx'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'
html = response.text

soup = BeautifulSoup(html, 'lxml')
title = soup.select('.title-article')[0].text.strip()
content = soup.select('.markdown_views')[0].prettify()

options = {
    'page-size': 'A4',
    'margin-top': '0mm',
    'margin-right': '0mm',
    'margin-bottom': '0mm',
    'margin-left': '0mm'
}

pdfkit.from_string(content, title + '.pdf', options=options)

在上面的代码中，我们将PDF文件的文件名设置为文章的标题。

总结

使用Python爬取CSDN文章并将文章转为PDF文件可以帮助我们保存文章并方便阅读。在使用Python爬取CSDN文章时，需要注意网站的反爬虫机制，避免被封IP。