python3爬虫_环境安装

爬虫是指通过程序自动访问互联网上的信息资源并提取数据的一种技术手段。Python语言由于其简单易学、开发效率高等优点，成为了爬虫领域中最流行的语言之一。本文将为大家介绍如何在自己的电脑上安装Python3的爬虫环境。

安装Python3

Python3官网提供了各平台版本的下载，可以根据自己的系统版本选择相应的安装包下载，Python3下载地址。

在Windows系统中，下载完后直接安装即可。在Mac OS和Linux系统中，也可以直接下载安装包进行安装，也可以通过命令行进行安装，命令如下：

# Mac OS系统
$ brew install python3

# Ubuntu/Debian系统
$ sudo apt-get install python3

安装完成后输入以下命令检查是否安装成功：

$ python3 -V

如果出现类似以下的版本信息，说明已经安装完成。

Python 3.7.3

安装爬虫框架

安装Python爬虫框架，有很多种选择，例如Scrapy、BeautifulSoup、Requests等，本文以Scrapy为例进行介绍。

Scrapy是Python下最流行的开源爬虫框架之一，它基于Twisted网络库开发，支持分布式爬取、数据存储等功能。安装Scrapy的命令如下：

$ pip3 install scrapy

安装后，使用以下命令检查是否安装成功：

$ scrapy version

如果出现版本号，表示安装成功。

安装数据库

在爬虫中，我们通常需要用到数据库来存储采集到的数据。常用的数据库有MySQL、PostgreSQL、MongoDB等，这里以MySQL为例进行介绍。

安装MySQL服务

在Mac OS和Linux系统中，可以直接使用以下命令进行安装：

# Mac OS系统
$ brew install mysql

# Ubuntu/Debian系统
$ sudo apt-get install mysql

在Windows系统中，需要先从MySQL官网下载相应的安装程序，然后按照提示进行安装。

安装Python的MySQL连接模块

Python可以通过MySQLdb或者PyMySQL等模块来操作MySQL数据库，这里以PyMySQL为例进行介绍：

$ pip3 install pymysql

总结

本文简单介绍了如何在自己的电脑上安装Python3的爬虫所需的环境，包括安装Python3、Scrapy框架以及MySQL数据库。究竟什么是爬虫，各种爬虫框架的介绍，如何编写爬虫等，将在以后的文章中进行介绍。