想通过听实时新闻来提高英语听力,学了那么多年的英语,不能落下啊,不然白费背了那么多年的单词。
npr news是美国国家公共电台,发音纯正,音频每日更新,以美国为主,世界新闻为辅,比如最近我国武汉发生的新型冠状病毒肺炎,每天都有涉及China,Wuhan,Coronavirus等词。
自己动手丰衣足食,以前在网上下载的各种音频都是几年前的新闻,听着感觉没多大意思,主要是没有切身了解当时的情况。
废话不多说,直接上代码:
__author__ = "jayson" import requests import re from multiprocessing import Pool import time import traceback import sys import os import eyed3 def download_mp3(audios, music_index, headers, already_downloads): try: date = audios[2] # 文件前添加日期,便于排序 music_name = date + '_' + audios[0] + '.mp3' music_url = audios[1] if music_name in already_downloads: # 避免被重复下载 print(f'{music_index}已存在,跳过下载') pass else: try: print(f'{music_index}下载中...') flag = 1 # 设置下载成功标志 music_rt = requests.get(music_url, headers=headers) music_rt = music_rt.content # 以bytes形式接收(接收后,以二进制写入文件即下载文件。也可以通过decode来转码变换为str),.text是以str形式接收 with open(f'.//downloads//{music_name}', 'wb') as f: f.write(music_rt) except: flag = 0 print(f'{music_index}需要重新下载,或FQ下载!') # 偶尔会存在 需要重新下载或者FQ下载的链接,跳过,存下url with open('download_error_urls.txt', 'a') as f: write_str = music_name + ":" + music_url + '\n' f.write(write_str) pass if flag: # 如果下载成功,就修改音频标签 audiofile = eyed3.load(f'.//downloads//{music_name}') # 读取文件 audiofile.initTag() # 删除所有标签信息 audiofile.tag.artist = u"JaysonTeng" # 参与创作的艺术家 audiofile.tag.album = u"NPR NEWS" # 唱片集 audiofile.tag.album_artist = u"NPR" # 唱片艺术家 audiofile.tag.title = u"%s" % (music_name) # 标题 audiofile.tag.track_num = 6 # 音轨编号,专辑内歌曲编号:"#" audiofile.tag.save() # 保存修改标签的文件 print(f'{music_index}下载完成!') except: # 捕获异常,写入文件 error_info = sys.exc_info() with open('download_error.txt', 'a') as f: f.write(music_name + ',' + time.strftime("%Y-%m-%d %H:%M:%S") + ':\n') print(error_info[0], ':', error_info[1], '\n', file=f) traceback.print_tb(error_info[2], file=f) f.write('\n' + '=' * 50 + '\n') if __name__ == '__main__': url = 'https://www.npr.org/prox/lisning/v2/recommendations?channel=cleplayer' # 每日更新音频的链接(40个左右链接),早上和晚上八九点左右更新最多,其他时间会更新少量 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36' } rt = requests.get(url, headers=headers) rt =rt.text audio_orurls = re.findall('title":"(.*?)","audioTitle.*?"date":"(.*?)T.*?audio\\\\\/mp3","href":"(.*?mp3)\?', rt, re.S) # 获取音频下载链接、标题、日期 audio_urls = [] for mus_ora in audio_orurls: title = mus_ora[0].replace('\/', ' ').encode('utf-8').decode('unicode_escape').replace('\\', '').replace(':', ':').replace('?', '?').replace('<', '《').replace('>', '》').replace('*', ' ').replace('\"', '\'').replace('|', ' ') # 处理不规范的字符,windows文件名不支持部分特殊字符 title = title[:-3] + title[-3:].replace(' ', '').replace('.', '') date = mus_ora[1].replace('-', '') url = mus_ora[2].replace('\\', '') audio_urls.append([title, url, date]) already_downloads = os.listdir('.//downloads') pool = Pool(6) # 采用多进程进行下载(注意windows系统 jupyter里面不能用多进程),若不想用多进程,可以直接调用download_mp3函数即可 for music_index, audios in enumerate(audio_urls): pool.apply_async(download_mp3, (audios, music_index, headers, already_downloads)) time.sleep(0.5) # 各个进程之间有个时间差,避免一个ip同时访问多个连接失败 pool.close() pool.join()
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:python 爬虫下载英语听力新闻(npr news)为mp3格式 - Python技术站