一文教你Python如何创建属于自己的IP池

什么是IP池

IP池指的是一组IP地址的集合。在网络爬虫等应用中，通常用IP池来解决IP被封禁等问题。因此，创建自己的IP池是非常有必要的。

如何创建IP池

创建IP池的流程可以分为获取IP和维护IP两个部分。

获取IP

获取IP的方法通常分为两种：一种是抓取公开免费的代理IP，另一种是使用付费IP代理服务。以下分别进行介绍。

抓取免费代理IP

1. 确定获取代理IP的目标网站，以http://www.xicidaili.com/为例。
2. 使用爬虫工具抓取目标网站的代理IP列表，如下所示：

import requests
from bs4 import BeautifulSoup

url = "http://www.xicidaili.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "lxml")
ip_list = []
for tag in soup.find_all('tr'):
    try:
        ip = tag.find_all('td')[1].get_text()
        port = tag.find_all('td')[2].get_text()
        ip_type = tag.find_all('td')[5].get_text()
        if ip_type.find("HTTP") >= 0:
            ip_list.append(ip + ":" + port)
    except Exception as e:
        print(e)

1. 完成抓取后，将IP列表保存到本地文件中。

使用付费代理IP服务

1. 选择有良好口碑的付费代理IP服务商，例如阿布云代理、蘑菇代理等。
2. 注册并获取API密钥，一般需要提供个人身份证明等信息。
3. 使用API接口获取代理IP。

import requests
import json

url = "http://http.tiqu.alicdns.com/getip3?num=10&type=2&pro=&city=0&yys=0&port=1&time=2&ts=0&ys=0&cs=0&lb=1&sb=0&pb=4&mr=1&regions="
headers = {"Referer": "http://h.zhimaruanjian.com/toolsproxyip.html"}

response = requests.get(url, headers=headers)
if response.status_code == 200:
    ip_list = json.loads(response.text)["data"]
else:
    ip_list = []

维护IP

获取IP之后，需要对IP进行维护。维护IP主要包括IP的筛选、超时判断和验证等。以下是一个将达到一定请求失败率的IP从IP池中剔除的示例代码：

import requests
import time

class IP_Pool:
    def __init__(self, ip_list):
        self.ip_list = ip_list
        self.timeout = 5

    def is_valid(self, ip):
        """
        判断IP是否有效
        """
        try:
            proxies = {
                'http': 'http://' + ip,
                'https': 'https://' + ip
            }
            response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=self.timeout)
            if response.status_code == 200:
                return True
        except Exception as e:
            print(e)
            return False

    def refresh(self):
        """
        刷新IP池：剔除不可用IP
        """
        for ip in self.ip_list:
            if not self.is_valid(ip):
                self.ip_list.remove(ip)

if __name__ == '__main__':
    ip_list = [
        '223.85.196.105:9999',
        '121.31.194.217:8123',
        '183.196.168.174:9000',
        '182.92.219.43:8080'
    ]
    pool = IP_Pool(ip_list)
    while True:
        pool.refresh()
        time.sleep(600)

备注

以上代码仅供参考，实际应用中需要视情况做出相应修改。此外，爬取IP代理是一项技术含量较高的工作，需要不断尝试和调整。