python2.7实现爬虫网页数据

当使用Python 2.7进行网络爬虫的时候，首先需要安装requests库，该库可以在Python代码中进行网络请求。

pip install requests

接下来，我们需要从一个URL中获取HTML内容。使用requests库可以轻松实现这一操作。

import requests

response = requests.get('https://www.baidu.com/')
html = response.content

在获得HTML内容之后，接下来需要解析HTML。Python中最流行的解析库是BeautifulSoup，它可以将HTML转换为Python对象。

pip install beautifulsoup4

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')

BeautifulSoup支持多种查找HTML元素的方法，例如在爬取一个标题为“Python教程”的网页时，可以使用find_all方法查找所有h1标签，再从中筛选出指定的标题。

import requests
from bs4 import BeautifulSoup

response = requests.get('https://www.example.com/')
html = response.content

soup = BeautifulSoup(html, 'html.parser')
h1_tags = soup.find_all('h1')

for h1_tag in h1_tags:
    if h1_tag.string == 'Python教程':
        print('找到了Python教程！')

另外一个示例是爬取一个网页中的所有图片，以便进行数据分析和处理。首先，需要使用requests库请求网页内容。然后，使用re库或BeautifulSoup库查找其中的图片链接。最后，使用requests库下载图片。

使用re库实现：

import requests
import re

response = requests.get('https://www.example.com/')
html = response.content

img_urls = re.findall('<img.*?src="(.*?)".*?>', html)

for img_url in img_urls:
    response = requests.get(img_url)
    with open('image.jpg', 'wb') as f:
        f.write(response.content)

或者使用BeautifulSoup库实现：

import requests
from bs4 import BeautifulSoup

response = requests.get('https://www.example.com/')
html = response.content

soup = BeautifulSoup(html, 'html.parser')
img_tags = soup.find_all('img')

for img_tag in img_tags:
    img_url = img_tag['src']
    response = requests.get(img_url)
    with open('image.jpg', 'wb') as f:
        f.write(response.content)