python获取指定网页上所有超链接的方法

获取指定网页上所有超链接的方法可以通过使用Python中的第三方库BeautifulSoup和requests来实现。具体步骤如下：

1. 使用requests库获取网页的HTML源代码

代码示例：

import requests

url = 'https://example.com'
response = requests.get(url)
html = response.text

1. 使用BeautifulSoup解析HTML源代码

代码示例：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')

1. 查找HTML中的超链接，并提取超链接的href信息

代码示例：

links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href:
        links.append(href)

此时，links列表中存储了网页中所有的超链接。

完整代码示例：

import requests
from bs4 import BeautifulSoup

url = 'https://example.com'

response = requests.get(url)
html = response.text

soup = BeautifulSoup(html, 'html.parser')

links = []
for link in soup.find_all('a'):
    href = link.get('href')
    if href:
        links.append(href)

print(links)

示例输出：

['https://www.google.com/', 'https://www.facebook.com/', 'https://twitter.com/', 'https://www.linkedin.com/', 'https://www.youtube.com/', 'https://www.instagram.com/']

另一个示例：

假设我们要获取知乎首页的所有超链接，可以将上面的代码稍作修改，将url改为'https://www.zhihu.com'，运行后就可以得到知乎首页的所有超链接了。