JAVA流控及超流控后的延迟处理实例

什么是流控和超流控？

在高并发时，可能会发生流量过大的情况，这时就需要对流量进行控制，以避免系统过载。流控就是对系统能处理的请求进行限制，保证系统能够正常运行。流量超出限制后，可能会发生系统宕机等问题，此时就需要超流控，对请求进行拦截处理。

如何进行流控和超流控？

可以通过设置速率限制、并发请求数等方式进行流控，在超过限制后，可以选择进行拒绝、延迟等超流控方法。

速率限制

使用Guava RateLimiter组件，可以对请求进行速率限制。

示例代码：

RateLimiter rateLimiter = RateLimiter.create(5);//每秒钟处理5个请求
...
if(rateLimiter.tryAcquire()){//尝试获取请求令牌
    //业务处理
}else{
    //流控，拒绝请求
}

并发请求数限制

使用Semaphore信号量，对并发请求数进行限制。

示例代码：

Semaphore semaphore = new Semaphore(10);//最多允许10个请求并发
...
try{
    semaphore.acquire();//获取信号量
    //业务处理
}catch(InterruptedException e){
    //异常处理
}finally{
    semaphore.release();//释放信号量
}

超流控

在流量超出限制后，可以选择拒绝请求或者对请求进行延迟处理。

拒绝请求

当请求超出限制后，直接返回错误响应。

示例代码：

if(concurrentRequests > MAX_CONCURRENT_REQUESTS){//超流控
    return Response.status(Status.SERVICE_UNAVAILABLE)
                   .entity("Too Many Requests")
                   .build();
}

延迟处理

当请求超出限制后，将请求存入队列中，延迟处理。

示例代码：

LinkedBlockingQueue<Runnable> requestQueue = new LinkedBlockingQueue<Runnable>();//请求队列
...
if(concurrentRequests > MAX_CONCURRENT_REQUESTS){//超流控
    return requestQueue.offer(new Runnable(){
        public void run(){
            //业务处理
        }
    });
}

案例分析

假设有一个在线购物网站，用户可以在该网站上浏览商品、下单和支付等操作。在高峰时段，可能会有大量用户同时访问该网站，这时就需要对请求进行流控和超流控。

流控

为了避免过多用户同时访问网站，可以设置并发请求数限制。

示例代码：

Semaphore semaphore = new Semaphore(100);//最多允许100个请求并发
try{
    semaphore.acquire();
    //业务处理
}catch(InterruptedException e){
    //异常处理
}finally{
    semaphore.release();
}

超流控

在并发请求数限制无法满足限制要求时，可以对请求进行拒绝或者延迟处理。

超流控 - 拒绝请求

当请求超出限制后，返回请求过多响应。

示例代码：

if(concurrentRequests > MAX_CONCURRENT_REQUESTS){//超流控
    return Response.status(Status.SERVICE_UNAVAILABLE)
                   .entity("Too Many Requests")
                   .build();
}

超流控 - 延迟处理

当请求超出限制后，将请求存入队列中，延迟处理。

示例代码：

LinkedBlockingQueue<Runnable> requestQueue = new LinkedBlockingQueue<Runnable>();//请求队列
...
if(concurrentRequests > MAX_CONCURRENT_REQUESTS){//超流控
    return requestQueue.offer(new Runnable(){
        public void run(){
            //业务处理
        }
    });
}