Python基于爬虫实现全网搜索并下载音乐

说明

本文档将介绍如何基于 Python 爬虫技术实现全网音乐的搜索和下载，包括以下步骤：

1. 确定音乐搜索目标网站
2. 使用 requests 库模拟请求获取页面信息
3. 使用 BeautifulSoup 库解析页面HTML
4. 使用正则表达式提取音乐链接和名称
5. 使用 urllib 库下载音乐文件

1. 确定音乐搜索目标网站

在爬取音乐网站时，我们需要先选定一个目标网站，常见的音乐网站有：

• 虾米音乐
• QQ音乐
• 酷狗音乐
• 酷我音乐

在本文中，我们以虾米音乐为例进行演示。

2. 使用 requests 库模拟请求获取页面信息

使用 requests 库可以很容易的发起 HTTP 请求并获取其响应，请求下虾米音乐首页并获取页面内容：

import requests

url = "http://www.xiami.com/"

r = requests.get(url)
html = r.text
print(html)

3. 使用 BeautifulSoup 库解析页面HTML

BeautifulSoup 是 Python 中的一个 HTML 解析库，可以方便地操作 DOM 树。我们可以使用 BeautifulSoup 来解析虾米音乐首页的 HTML 页面：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')
print(soup.prettify())

4. 使用正则表达式提取音乐链接和名称

在获取到页面 HTML 后，我们需要从中提取出音乐链接和名称等信息，可以使用正则表达式来匹配相关信息。

以下代码可以获取虾米音乐首页中所有歌曲名称和链接信息：

import re

song_list = []

# 匹配页面中的所有歌曲名称和链接
pattern = re.compile('<a href="/song/(.*?)" title="(.*?)">', re.S)
items = re.findall(pattern, html)

# 将歌曲名称和链接信息存储到 song_list 列表中
for item in items:
    song = {
        'title': item[1],
        'link': 'http://www.xiami.com/song/' + item[0]
    }
    song_list.append(song)

# 打印结果
for song in song_list:
    print(song['title'], song['link'])

5. 使用 urllib 库下载音乐文件

使用 urllib 库可以方便地下载网络文件。下载虾米音乐中的音乐文件，可以使用以下代码：

import urllib.request

# 下载音乐文件
urllib.request.urlretrieve(song_url, 'music.mp3')

以上代码将会下载音乐文件并保存为 music.mp3 文件。

示例

以下是一个完整的代码示例，用于搜索并下载“稻香”这首歌曲，该示例依赖于前面所介绍的功能：

import requests
import re
from bs4 import BeautifulSoup
import urllib.request

# 搜索关键词
keyword = "稻香"

# 请求虾米音乐搜索结果页面
url = "http://www.xiami.com/search?key=" + keyword
r = requests.get(url)
html = r.text

# 使用 BeautifulSoup 解析页面 HTML
soup = BeautifulSoup(html, 'html.parser')

# 获取搜索结果中的第一首歌曲名称和链接
song_item = soup.select('.track_list .name a')[0]
song_title = song_item.text.strip()
song_link = 'http://www.xiami.com' + song_item['href']

# 请求歌曲页面
r = requests.get(song_link)
html = r.text

# 使用正则表达式获取歌曲文件链接
pattern = re.compile('src="(.*?)"', re.S)
song_url = re.findall(pattern, html)[0]

# 下载歌曲文件
urllib.request.urlretrieve(song_url, song_title + '.mp3')

print('歌曲下载完成！')

运行该代码，即可在当前目录下获取到“稻香.mp3”这一文件。