BeautifulSoup报”AttributeError: ‘NoneType’ object has no attribute ‘find_all’ “异常的原因以及解决办法

问题描述

当我们使用BeautifulSoup解析html代码时，有时会遇到以下错误：

AttributeError: 'NoneType' object has no attribute 'find_all'

这个错误通常发生在我们尝试使用find_all()方法查找标签时，但是返回的却是None。下面，我们来分析一下这个错误的原因以及解决办法。

解决办法

1. 检查URL是否正确

首先，确保你使用的URL是正确的，并且可以被访问。如果URL不正确或者页面不存在，那么使用BeautifulSoup进行解析，很可能会返回None。在处理异常时，应该首先把这个原因排除掉。

2. 检查文档是否正确

如果URL正确，但是仍然出现这个错误，那么很可能是因为网页的HTML代码存在问题。在这种情况下，可以尝试使用其他的解析器，比如lxml，来解析HTML代码。例如：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc, 'lxml')

如果还是没有解决，那么建议手动检查一下HTML代码，看看是否存在问题。可以使用在线工具或者本地编辑器来检查。

3. 检查标签是否存在

当我们使用find_all()方法查找标签时，如果标签不存在，那么返回值将是None。因此，我们需要在使用之前先检查一下是否存在该标签。例如：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc, 'html.parser')
div = soup.find('div', {'class': 'some-class'})
if div is not None:
    links = div.find_all('a', {'href': True})
    for link in links:
        print(link['href'])
else:
    print('Div not found')

在这个例子中，我们首先使用find()方法检查是否存在带有some-class类名的div标签，如果存在，我们再使用find_all()方法查找其中所有的a标签，并输出每个标签的href属性。如果不存在，我们打印出一条错误消息。这样，即使标签不存在，也可以避免出现'NoneType' object has no attribute 'find_all'的错误。

4. 检查属性是否正确

当我们使用find_all()方法查找标签时，如果属性不存在，那么返回值将是None。因此，我们需要在使用之前先检查一下属性是否存在。例如：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc, 'html.parser')
a_tags = soup.find_all('a', {'href': True})
for a in a_tags:
    if 'title' in a.attrs:
        print(a['title'])

在这个例子中，我们使用find_all()方法查找所有带有href属性的a标签，并输出其中带有title属性的标签的值。注意，在使用attrs属性访问标签属性时，如果属性不存在，也会返回None。

结论

BeautifulSoup报"AttributeError: 'NoneType' object has no attribute 'find_all' "的原因可能有很多，包括URL错误、HTML代码有误、标签、属性不存在等等。在使用find_all()方法查找标签时，应该先确保标签、属性存在，避免出现这个错误。同时，推荐使用其他解析器，如lxml，来解决这个问题。