Python爬虫获取页面所有URL链接过程详解

下面就来详细讲解“Python爬虫获取页面所有URL链接过程详解”。

简介

在网络爬虫中，获取页面上所有的URL链接是一个非常常见的任务，它是爬虫获取网站信息的基础。本攻略将介绍如何使用Python爬虫获取页面上的所有URL链接。

实现步骤

获取页面上所有URL链接的过程可以分为以下几个步骤：

1. 发送HTTP请求：使用Python的requests库向需要爬取的页面发送HTTP请求，从而获取页面的HTML源代码。

import requests

response = requests.get(url)
html = response.content

1. 解析HTML源代码：使用Python的BeautifulSoup库解析HTML源代码，提取出HTML页面上所有的URL链接。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')
urls = []
for link in soup.find_all('a'):
    urls.append(link.get('href'))

1. 去重并过滤：使用Python的set集合进行去重操作，并根据需要过滤掉一些无用的链接。

urls = set(urls)
for url in urls:
    if 'javascript' in url.lower():
        urls.remove(url)

1. 数据存储：将获取到的所有URL链接保存到本地文件或者数据库中。

以上就是获取页面上所有URL链接的主要步骤，接下来将从实际案例出发，进行更加详细的讲解。

示例1：获取百度首页所有URL链接

我们先以获取百度首页的所有URL链接为例。代码如下：

import requests
from bs4 import BeautifulSoup

url = 'https://www.baidu.com/'
response = requests.get(url)
html = response.content.decode('utf-8')

soup = BeautifulSoup(html, 'html.parser')
urls = []
for link in soup.find_all('a'):
    urls.append(link.get('href'))

urls = set(urls)
for url in urls:
    if url and url.startswith('http'):
        print(url)

在这个示例中，我们首先使用requests库请求百度首页的HTML源代码，然后使用BeautifulSoup库解析HTML源代码，提取出所有a标签的href属性，最后使用set去重并过滤掉未以“http”开头的链接，并将结果输出到控制台上。

示例2：获取某个新闻页面所有URL链接

然后，我们再以获取新浪新闻的某个页面的所有URL链接为例。代码如下：

import requests
from bs4 import BeautifulSoup

url = 'http://news.sina.com.cn/c/2021-12-01/doc-ikyamrmy4095203.shtml'
response = requests.get(url)
html = response.content.decode('utf-8')

soup = BeautifulSoup(html, 'html.parser')
urls = []
for link in soup.find_all('a'):
    urls.append(link.get('href'))

urls = set(urls)
for url in urls:
    if url and url.startswith('http'):
        print(url)

同样的，我们先使用requests库请求新浪新闻某个页面的HTML源代码，然后使用BeautifulSoup库解析HTML源代码，提取出所有a标签的href属性，最后使用set去重并过滤掉未以“http”开头的链接，并将结果输出到控制台上。

结论

通过以上示例，我们可以看出，Python爬虫获取页面上所有URL链接的过程并不是很复杂，只需要掌握好前面所述的几个核心步骤，即可轻松应对各种页面上的URL链接获取任务。