Redis分布式锁的正确实现方法总结

背景

随着高并发应用的逐渐普及，分布式锁也成为了越来越多的关注点。Redis作为一个高效的缓存工具，其提供的分布式锁凭借着其性能和易用性，被越来越多的项目所采用。然而Redis的分布式锁并非完全可靠，采用不正确的方式很容易引发死锁等问题。因此，本文旨在总结Redis分布式锁的正确实现方法，以帮助开发者更好地使用Redis分布式锁。

实现方法

基于SETNX命令实现方法

该方法是Redis分布式锁的最基础的实现方法。使用SETNX命令设置一个key的值作为锁，当多个节点尝试添加同一个key时，只有一个节点能够抢到锁。其实现方法如下：

def acquire_lock(conn, lockname, acquire_timeout=10):
    identifier = str(uuid.uuid4())
    end = time.time() + acquire_timeout
    while time.time() < end:
        if conn.setnx('lock:' + lockname, identifier):
            return identifier
        time.sleep(.001)
    return False

其中，'lock:'+ lockname是锁的key，identifier是由UUID生成的唯一标识符。上述代码中通过循环判断获取锁的时间是否超时，如果超时，则返回False。

释放锁的方法如下：

def release_lock(conn, lockname, identifier):
    pip = conn.pipeline(True)
    lockname = 'lock:' + lockname

    while True:
        try:
            pip.watch(lockname)
            if pip.get(lockname) == identifier:
                pip.multi()
                pip.delete(lockname)
                pip.execute()
                return True

            pip.unwatch()
            break

        except redis.exceptions.WatchError:
            pass

    return False

该方法的实现逻辑是利用Redis的乐观锁，通过监控锁的值判断当前是否有其他节点对其加锁，如果没有，则可以把锁释放。

基于SETNX命令 + 定时任务实现方法

基于SETNX命令的实现方法缺点是无法解决死锁问题。针对这个问题，我们可以在释放锁之前，添加一个超时时间。如果在该时间内没有完成操作，则自动释放锁。实现代码如下：

def acquire_lock(conn, lockname, acquire_timeout=10, lock_timeout=10):
    identifier = str(uuid.uuid4())
    end = time.time() + acquire_timeout

    lockname = 'lock:' + lockname
    while time.time() < end:
        if conn.setnx(lockname, identifier):
            conn.expire(lockname, lock_timeout)
            return identifier

        elif not conn.ttl(lockname):
            conn.expire(lockname, lock_timeout)

        time.sleep(.001)

    return False

其中lock_timeout参数为锁的超时时间，如果在该时间内操作未完成，就会自动释放锁。

释放锁的方法如下：

def release_lock(conn, lockname, identifier):
    lockname = 'lock:' + lockname
    pip = conn.pipeline(True)

    while True:
        try:
            pip.watch(lockname)

            if pip.get(lockname) == identifier:
                pip.multi()
                pip.delete(lockname)
                pip.execute()
                return True

            pip.unwatch()
            break

        except redis.exceptions.WatchError:
            pass

    return False

基于Redlock实现方法

Redlock是Redis官方推荐的分布式锁实现方法，它通过获取多个Redis实例的锁，采用"大多数原则"来得出最终结果。实际使用中，可以使用Python中封装好的Redlock-py库来快速实现Redlock分布式锁。

dl = RedLock('distributed_lock', [{"host": "localhost", "port": 6379, "db": 0}], retry_times=100)
acquired_lock = None

try:
    acquired_lock = dl.acquire(blocking=True, retry_times=10, retry_delay=100)
    if not acquired_lock:
        raise Exception("Failed to acquire lock")
    # Do something here
finally:
    if acquired_lock:
        dl.release(acquired_lock)

其中retry_times参数为重复尝试次数，retry_delay参数为重复尝试延时时间。

示例说明

示例1

例如，有一个多节点的Redis集群，需要对某项资源进行互斥操作（例如，对某文件进行读写），则可以使用SETNX命令来实现Redis分布式锁。

import redis
import uuid
import time

REDIS_CONNECTION = {
    'host': '127.0.0.1',
    'port': 6379,
    'db': 0
}

conn = redis.Redis(**REDIS_CONNECTION)

def acquire_lock(conn, lockname, acquire_timeout=10):
    identifier = str(uuid.uuid4())
    end = time.time() + acquire_timeout
    while time.time() < end:
        if conn.setnx('lock:' + lockname, identifier):
            return identifier
        time.sleep(.001)
    return False

def release_lock(conn, lockname, identifier):
    pip = conn.pipeline(True)
    lockname = 'lock:' + lockname

    while True:
        try:
            pip.watch(lockname)
            if pip.get(lockname) == identifier:
                pip.multi()
                pip.delete(lockname)
                pip.execute()
                return True

            pip.unwatch()
            break

        except redis.exceptions.WatchError:
            pass

    return False

if __name__ == '__main__':
    lockname = 'resource1'
    lock_identifier = acquire_lock(conn, lockname)

    ## 做某些操作

    release_lock(conn, lockname, lock_identifier)

示例2

假设有多个进程要对某一个资源进行操作，为了避免系统死锁，我们可以在SETNX命令添加一个超时时间，用来自动释放锁。

import redis
import uuid
import time

REDIS_CONNECTION = {
    'host': '127.0.0.1',
    'port': 6379,
    'db': 0
}

conn = redis.Redis(**REDIS_CONNECTION)

def acquire_lock(conn, lockname, acquire_timeout=10, lock_timeout=10):
    identifier = str(uuid.uuid4())
    end = time.time() + acquire_timeout

    lockname = 'lock:' + lockname
    while time.time() < end:
        if conn.setnx(lockname, identifier):
            conn.expire(lockname, lock_timeout)
            return identifier

        elif not conn.ttl(lockname):
            conn.expire(lockname, lock_timeout)

        time.sleep(.001)

    return False

def release_lock(conn, lockname, identifier):
    lockname = 'lock:' + lockname
    pip = conn.pipeline(True)

    while True:
        try:
            pip.watch(lockname)

            if pip.get(lockname) == identifier:
                pip.multi()
                pip.delete(lockname)
                pip.execute()
                return True

            pip.unwatch()
            break

        except redis.exceptions.WatchError:
            pass

    return False

if __name__ == '__main__':
    lockname = 'resource1'
    lock_identifier = acquire_lock(conn, lockname, acquire_timeout=10, lock_timeout=10)

    ## 做某些操作

    release_lock(conn, lockname, lock_identifier)