.net core并发请求发送HttpWebRequest的坑解决

针对“.net core并发请求发送HttpWebRequest的坑解决”这个问题，我们可以进行以下操作：

问题描述

在使用.NET Core进行并发请求发送HttpWebRequest时，会出现一些并发请求异常和内存泄漏等问题。但是究竟是什么原因导致的呢？以下是一些原因的总结：

1. HttpWebRequest与KeepAlive的冲突。
2. 缺少正确的限制请求并发处理的措施。
3. HttpWebRequest中的资源没有被正确的释放，导致内存泄漏。

解决方案

1. 不开启或关闭KeepAlive

首先为了解决HttpWebRequest与KeepAlive的冲突，我们需要禁用KeepAlive。你可以通过在HttpWebRequest中设置KeepAlive=false的方式来解决这个问题。

示例代码：

var request = WebRequest.Create(url) as HttpWebRequest;
request.KeepAlive = false;

此时，你可以通过Fiddler或者其他网络调试工具看到，HttpWebRequest请求不再发送Connection: keep-alive头信息，而是正确的使用了Connection: close头信息。

2. 利用SemaphoreSlim管理并发数

第二个问题是缺少正确的限制请求并发处理的措施，导致了一些并发请求的异常。因此，我们可以使用SemaphoreSlim这个类来管理请求发送的并发处理。下面是使用这个类来实现指定并发处理数的示例代码：

var urls = new List<string>() { url1, url2, url3 };
int maxDegreeOfParallelism = 5;     // 设置最大并发数

var allTasks = new List<Task>();

var semaphoreSlim = new SemaphoreSlim(maxDegreeOfParallelism);

foreach (var url in urls)
{
    allTasks.Add(Task.Run(async () =>
    {
        await semaphoreSlim.WaitAsync();

        try
        {
            // --------------------------------------------------
            // 具体的 HttpWebRequest 发送逻辑，写在这里实现。
            // --------------------------------------------------
        }
        finally
        {
            semaphoreSlim.Release();
        }
    }));
}

await Task.WhenAll(allTasks);

上述代码中，我们将需要发送请求的多个url存储到一个List对象中。然后通过SemaphoreSlim类来设置最大的并发处理数maxDegreeOfParallelism。在循环中，我们使用Task.Run方法将请求发送过程封装为Task对象，通过semaphoreSlim.WaitAsync()处理，实现了最大并发处理数限制，每次发送请求前，获取一个信号量；发送请求完成或出错后，释放一个信号量。

3. 释放HttpWebRequest对象

最后一个问题是HttpWebRequest中的资源没有被正确的释放，导致内存泄漏。对于这种情况，我们需要在请求处理完毕后，手动的释放HttpWebRequest相关的资源，这包括关闭HttpWebRequest对象中的响应流和网络连接等操作。

示例代码：

var request = WebRequest.Create(url) as HttpWebRequest;         // 创建请求

using (var response = await request.GetResponseAsync())
{
    // 处理响应结果

    // 关闭响应流
    response.Close();
}

// 关闭网络连接
request.Abort(); 

上述代码中，我们使用了using语句块来自动释放HttpWebResponse对象中的响应流和网络连接资源。这样就能够避免一些潜在的内存泄漏问题了。

总结

经过以上的三个步骤，我们就成功解决了.NET Core中并发请求发送HttpWebRequest所遇到的三大问题：HttpWebRequest与KeepAlive的冲突，有效的限制请求并发处理数，正确释放HttpWebRequest对象中的资源。