Python实现精准搜索并提取网页核心内容

在本教程中，我们将介绍如何使用Python实现精准搜索并提取网页核心内容。我们将使用Python的requests、BeautifulSoup和re库来实现这个功能。以下是一个例代码，演如何使用Python实现精准搜索并提取网页核心内容：

import requests
from bs4 import BeautifulSoup
import re

# 定义搜索函数
def search_webpage(url, keyword):
    # 获取网页内容
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')

    # 搜索关键字
    keyword_matches = soup.find_all(string=re.compile(keyword, re.IGNORECASE))

    # 提取核心内容
    core_content = ''
    for match in keyword_matches:
        parent_tags = match.find_parents()
        for parent in parent_tags:
            if parent.name == 'p':
                core_content += parent.text.strip() + '\n'
            elif parent.name == 'h1' or parent.name == 'h2' or parent.name == 'h3':
                core_content += parent.text.strip() + '\n\n'
    return core_content

# 示例1：搜索并提取核心内容
url = 'https://en.wikipedia.org/wiki/Python_(programming_language)'
keyword = 'Python'
core_content = search_webpage(url, keyword)
print(core_content)

# 示例2：搜索并提取核心内容
url = 'https://www.bbc.com/news/world-us-canada-61423284'
keyword = 'COVID-19'
core_content = search_webpage(url, keyword)
print(core_content)

在上面的代码中，我们首先定义了一个名为search_webpage的函数，它接受一个URL和一个关键字作为参数，并返回提取的核心内容。在函数内部，我们使用requests库获取网页内容，并使用BeautifulSoup库解析HTML。然后，我们使用正则表达式搜索关键字，并使用find_parents方法找到包含关键字的父标签。最后，我们提取核心内容，并将其返回。

示例1：搜索并提取核心内容

以下是一个示例代码，演示如何使用Python搜索并提取核心内容：

url = 'https://en.wikipedia.org/wiki/Python_(programming_language)'
keyword = 'Python'
core_content = search_webpage(url, keyword)
print(core_content)

在上面的代码中，我们首先定义了一个名为url的变量，它表示要搜索的网页URL。然后，我们定义了一个名为keyword的变量，它表示要搜索的关键字。接着，我们调用search_webpage函数，并将URL和关键字作为参数传递给它。最后，我们打印提取的核心内容。

示例2：搜索并提取核心内容

以下是一个示例代码，演示如何使用Python搜索并提取核心内容：

url = 'https://www.bbc.com/news/world-us-canada-61423284'
keyword = 'COVID-19'
core_content = search_webpage(url, keyword)
print(core_content)

在上面的代码中，我们首先定义了一个名为url的变量，它表示要搜索的网页URL。然后，我们定义了一个名为keyword的变量，它表示要搜索的关键字。接着，我们调用search_webpage函数，并将URL和关键字作为参数传递给它。最后，我们打印提取的核心内容。

总结

本教程介绍了如何使用Python实现精准搜索并提取网页核心内容。我们使用Python的requests、BeautifulSoup和re库来实现这个功能。我们提供了两个示例代码演示如何搜索并提取核心内容。这些示例代码可以帮助我们更好地理解如何使用Python实现精准搜索并提取网页核心内容。