Python搭建代理IP池实现存储IP的方法

下面我详细讲解一下Python搭建代理IP池实现存储IP的方法：

一、代理IP池简介

代理IP池是指一组可用的代理IP资源集合，最常见的使用场景是用于爬虫抓取网页数据。由于爬虫的频繁访问容易被目标网站识别并禁止，所以通过代理IP池来实现爬虫的匿名性是一种比较常见的方式。

二、搭建代理IP池

1. 获取代理IP

获取代理IP的方式主要有两种：免费代理和付费代理。

免费代理

免费代理是指某些网站提供的免费开放的代理服务，比如 http://www.xicidaili.com 。但是免费的IP质量往往不太稳定，存在一定的封禁风险。

付费代理

付费代理是指购买在某些代理IP提供商那里的稳定、高质量的代理IP，比如阿布云、蚂蚁代理等。付费代理相对免费代理而言更加稳定，但是相应的会有费用支出。

2. 存储代理IP

存储代理IP的方式主要有两种：内存存储和数据库存储。

内存存储

内存存储是指将所有获取到的代理IP保存在某个数据结构中，比如列表、字典等。优点是简单方便，但是一旦程序关闭，内存中的数据会丢失。

数据库存储

数据库存储是指将获取到的代理IP保存在数据库中，比如MySQL、MongoDB等。优点是数据保存在磁盘上，程序关闭时也不会丢失。但是相应的也需要花费一定的时间和精力来学习和使用数据库。

3. 检测代理IP

检测代理IP的方式主要有两种：静态检测和动态检测。

静态检测

静态检测是指在获取到代理IP后，进行一次简单的HTTP请求检测是否可用。缺点是只能简单的检测代理IP是否可以连接目标网站，无法检测代理IP的稳定性。

动态检测

动态检测是指在爬虫访问目标网站过程中，对代理IP的稳定性和可用性实时进行监测，并进行重新筛选。优点是可以提高代理IP的可用性，但是相应的会增加程序的复杂度。

三、Python实现

下面以一个简单的代理IP池的Python实现为例。

1. 获取代理IP

这里以阿布云为例，可以通过调用API获取代理IP：

import requests

def abuyun():
    proxy_host = "http-dyn.abuyun.com"
    proxy_port = "9020"
    proxy_username = "YOUR_USERNAME"
    proxy_password = "YOUR_PASSWORD"

    proxy_meta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host": proxy_host,
        "port": proxy_port,
        "user": proxy_username,
        "pass": proxy_password,
    }

    proxies = {
        "http": proxy_meta,
        "https": proxy_meta,
    }

    res = requests.get("http://test.abuyun.com", proxies=proxies, timeout=30)

2. 存储代理IP

这里以MySQL为例，使用pymysql库将获取到的代理IP存储到MySQL数据库中：

import pymysql

conn = pymysql.connect(host='localhost', port=3306, user='root',
                       passwd='your_password', db='your_database')
cursor = conn.cursor()

sql = "INSERT INTO proxy(ip, port) VALUES('%s', '%s')" % (ip, port)
cursor.execute(sql)
conn.commit()
cursor.close()
conn.close()

3. 检测代理IP

这里以动态检测为例，每次使用代理IP时，检测该代理IP是否可用，若不可用则从数据库中删除：

import requests
import pymysql

def validate_ips():
    conn = pymysql.connect(host='localhost', port=3306, user='root',
                       passwd='your_password', db='your_database')
    cursor = conn.cursor()
    sql = "SELECT * FROM proxy"
    cursor.execute(sql)

    for ip, port in cursor.fetchall():
        try:
            res = requests.get('http://www.baidu.com', proxies={
                "http": "http://%s:%s" % (ip, port),
                "https": "http://%s:%s" % (ip, port)
            }, timeout=3)
            if res.status_code != 200:
                # 不可用，从数据库中删除
                delete_sql = "DELETE FROM proxy WHERE ip='%s' and port='%s'" % (ip, port)
                cursor.execute(delete_sql)
                conn.commit()
        except:
            # 不可用，从数据库中删除
            delete_sql = "DELETE FROM proxy WHERE ip='%s' and port='%s'" % (ip, port)
            cursor.execute(delete_sql)
            conn.commit()

    cursor.close()
    conn.close()