python单例模式获取IP代理的方法详解

当我们在使用爬虫程序时，需要用到IP代理来伪装成不同的IP进行访问，单例模式可以实现IP代理资源的单例化，避免在多线程访问时重复获取代理资源的问题，本文将详细讲解如何使用单例模式获取IP代理的方法。

什么是单例模式

单例模式是一种设计模式，其目的是确保某个类只有一个实例，且全局都可以访问到该实例。在Python中，可以使用一个类变量来存储单例实例，并使用一个类方法来获取该实例，保证在程序中只生成一个实例。

下面是一个简单的单例模式示例：

class SingletonDemo:
    __instance = None

    def __new__(cls):
        if cls.__instance is None:
            cls.__instance = super().__new__(cls)
        return cls.__instance

    def show(self):
        print('Hello, world!')

s1 = SingletonDemo()
s2 = SingletonDemo()

print(s1 is s2) # True

s1.show() # Hello, world!
s2.show() # Hello, world!

在上面的示例中，当 s1 和 s2 调用 show() 方法时，都会输出 Hello, world!，并且 s1 和 s2 是同一个实例。

获取IP代理的方法

我们可以使用单例模式来实现IP代理的获取，保证在多线程访问时不会重复获取代理资源。具体步骤如下。

1. 设置IP代理池

首先，我们需要设置一个IP代理池，将代理IP存储在一个列表中，可以使用以下代码：

class IPProxyPool:
    __instance = None
    __ip_list = [
        '127.0.0.1:8080',
        '127.0.0.1:8081',
        '127.0.0.1:8082',
        # ... 所有代理IP
    ]

    def __new__(cls):
        if cls.__instance is None:
            cls.__instance = super().__new__(cls)
        return cls.__instance

    @classmethod
    def get_proxy_ip(cls):
        return cls.__ip_list.pop(0) if cls.__ip_list else None

    @classmethod
    def add_proxy_ip(cls, ip):
        cls.__ip_list.append(ip)

在上述代码中，我们设置了一个包含多个代理IP的列表，使用 get_proxy_ip() 方法来获取一个代理IP，并在使用完毕后将其从列表中移除。如果列表中没有可用的IP，则返回 None。使用 add_proxy_ip() 方法来将一个IP加入到列表末尾。

2. 设置代理请求处理器

然后，我们需要设置代理请求处理器，使用获取到的代理IP进行请求，如果请求出错则将该IP从代理池中移除，以免影响后续请求的正常执行：

import requests

class ProxySession:

    __session = None

    def __new__(cls, *args, **kwargs):
        if cls.__session is None:
            cls.__session = requests.Session()
            cls.__session.proxies = {
                'http': 'http://' + IPProxyPool.get_proxy_ip(),
                'https': 'https://' + IPProxyPool.get_proxy_ip(),
            }
        return cls.__session

    @classmethod
    def request(cls, method, url, **kwargs):
        while True:
            try:
                response = cls.__new__().request(method, url, **kwargs)
                if response.status_code == 200:
                    return response
                else:
                    raise ValueError('Invalid response.')
            except Exception as e:
                IPProxyPool.add_proxy_ip(cls.__session.proxies['http'])

在上述代码中，我们通过在 __new__() 方法中通过IPProxyPool类获取一个代理IP，然后将其设置为 requests.Session() 的代理，使得通过该Session发出的所有请求都会自动使用该代理IP。其中 request() 方法用于发出请求，并在出现异常或响应码不为200时，将该代理IP从代理池中移除，并再次尝试请求。

3. 发出代理请求

最后，在我们的爬虫程序中，可以直接调用 ProxySession.request() 方法来发出代理请求：

response = ProxySession.request('get', 'https://www.google.com/')
print(response.status_code)

如果代理IP正常，返回 200，否则会重新获取一个代理IP并再次尝试请求。这样就可以在多线程爬取时避免重复获取代理IP的问题了。

总结

上述就是使用单例模式获取IP代理的方法详解。使用单例模式可以避免重复获取代理资源的问题，并在多线程访问时保证代理IP的唯一性，帮助我们更好地完成爬虫程序的编写。