python抓取搜狗微信公众号文章

Python抓取搜狗微信公众号文章的完整攻略

本攻略将介绍如何使用Python抓取搜狗微信公众号文章。我们将使用Python的requests库和BeautifulSoup库来获取和解析网页内容，使用re库来提取文章链接，使用selenium库来模拟浏览器操作，使用pdfkit库来将文章保存为PDF文件。

获取网页内容

我们可以使用Python的requests库和BeautifulSoup库来获取和解析网页内容。以下是一个示例代码，用于获取搜狗微信公众号页面的内容：

import requests
from bs4 import BeautifulSoup

url = 'https://weixin.sogou.com/weixin?type=1&s_from=input&query=python&ie=utf8&_sug_=n&_sug_type_='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')

在上面的代码中，我们使用requests库发送了一个HTTP请求，获取了搜狗微信公众号页面的内容。我们指定了的URL和请求头，使用get方法发送了请求，并使用text属性获取了响应内容。我们使用BeautifulSoup库对响应内容进行了解析，生成了一个BeautifulSoup对象。

解析网页内容

在获取网页内容后，我们可以使用BeautifulSoup库来解析网页内容。以下是一个示代码，用于解析搜狗微信公众号页面的内容：

import requests
from bs4 import BeautifulSoup

url = 'https://weixin.sogou.com/weixin?type=1&s_from=input&query=python&ie=utf8&_sug_=n&_sug_type_='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')
lis = soup.find_all('li', class_='weixin-li')

for li in lis:
    a = li.find('a')
    title = a.text.strip()
    link = a['href']
    print(title, link)

在上面的代码中，我们使用find_all方法查找了页面中的所有li标签，并使用class_参数指定了li标签的class属性。我们遍历了所有的li标签，并使用find方法查找了每个li标签中的a标签。我们使用strip方法去除了每个a标签中的空格和换行符，并输出了文章标题和链接。

提取文章链接

在解析网页内容后，我们可以使用re库来提取文章链接。以下是一个示例代码，用于提取搜狗微信公众号文章的链接：

import requests
from bs4 import BeautifulSoup
import re

url = 'https://weixin.sogou.com/weixin?type=1&s_from=input&query=python&ie=utf8&_sug_=n&_sug_type_='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')
lis = soup.find_all('li', class_='weixin-li')

for li in lis:
    a = li.find('a')
    title = a.text.strip()
    link = a['href']
    m = re.search('url=(.*?)&k', link)
    if m:
        link = m.group(1)
    print(title, link)

在上面的代码中，我们使用re库的search方法查找了每个链接中的url参数，并使用group方法获取了匹配结果。我们使用if语句判断是否匹配成功，并将链接更新为匹配结果。

模拟浏览器操作

在提取文章链接后，我们可以使用selenium库来模拟浏览器操作。以下是一个示例代码，用于模拟浏览器打开搜狗微信公众号文章：

import requests
from bs4 import BeautifulSoup
import re
from selenium import webdriver

url = 'https://weixin.sogou.com/weixin?type=1&s_from=input&query=python&ie=utf8&_sug_=n&_sug_type_='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')
lis = soup.find_all('li', class_='weixin-li')

driver = webdriver.Chrome()
for li in lis:
    a = li.find('a')
    title = a.text.strip()
    link = a['href']
    m = re.search('url=(.*?)&k', link)
    if m:
        link = m.group(1)
    driver.get(link)
    # do something
driver.quit()

在上面的代码中，我们使用selenium库的webdriver类创建了一个Chrome浏览器对象，并使用get方法打开了每篇文章的链接。我们可以在注释的位置添加自己的代码，模拟浏览器操作。

将文章保存为PDF文件

在模拟浏览器操作后，我们可以使用pdfkit库来将文章保存为PDF文件。以下是一个示例代码，用于将搜狗微信公众号文章保存为PDF文件：

import requests
from bs4 import BeautifulSoup
import re
from selenium import webdriver
import pdfkit

url = 'https://weixin.sogou.com/weixin?type=1&s_from=input&query=python&ie=utf8&_sug_=n&_sug_type_='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')
lis = soup.find_all('li', class_='weixin-li')

driver = webdriver.Chrome()
for li in lis:
    a = li.find('a')
    title = a.text.strip()
    link = a['href']
    m = re.search('url=(.*?)&k', link)
    if m:
        link = m.group(1)
    driver.get(link)
    pdfkit.from_string(driver.page_source, title + '.pdf')
driver.quit()

在上面的代码中，我们使用pdfkit库的from_string方法将每篇文章的HTML内容保存为PDF文件。我们使用文章标题作为文件名，并添加了.pdf后缀。

示例1：输出搜狗微信公众号文章标题和链接

以下是一个示例代码，用于输出搜狗微信公众号文章标题和链接：

import requests
from bs4 import BeautifulSoup
import re

url = 'https://weixin.sogou.com/weixin?type=1&s_from=input&query=python&ie=utf8&_sug_=n&_sug_type_='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')
lis = soup.find_all('li', class_='weixin-li')

for li in lis:
    a = li.find('a')
    title = a.text.strip()
    link = a['href']
    m = re.search('url=(.*?)&k', link)
    if m:
        link = m.group(1)
    print(title, link)

在上面的代码中，我们遍历了所有的li标签，并使用find方法查找了每个li标签中的a标签。我们使用strip方法去除了每个a标签中的空格和换行符，并输出了文章标题和链接。

示例2：将搜狗微信公众号文章保存为PDF文件

以下是一个示例代码，用于将搜狗微信公众号文章保存为PDF文件：

import requests
from bs4 import BeautifulSoup
import re
from selenium import webdriver
import pdfkit

url = 'https://weixin.sogou.com/weixin?type=1&s_from=input&query=python&ie=utf8&_sug_=n&_sug_type_='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')
lis = soup.find_all('li', class_='weixin-li')

driver = webdriver.Chrome()
for li in lis:
    a = li.find('a')
    title = a.text.strip()
    link = a['href']
    m = re.search('url=(.*?)&k', link)
    if m:
        link = m.group(1)
    driver.get(link)
    pdfkit.from_string(driver.page_source, title + '.pdf')
driver.quit()