ASP.NET使用HttpWebRequest读取远程网页源代码

下面是ASP.NET使用HttpWebRequest读取远程网页源代码的完整攻略。

一、介绍HttpWebRequest

HttpWebRequest 是 .NET Framework 内置的一个用于创建 HTTP 请求的类，它提供了许多属性和方法来设置 HTTP 请求的参数和参数值，以及获取 HTTP 响应信息。使用 HttpWebRequest 可以方便地在 ASP.NET 或者其他 .NET 开发平台中访问 Web 服务器，读取 Web 页面或 Web API 接口的数据，从而实现对网络资源的访问和信息采集。

二、读取远程网页源代码的步骤

读取远程网页的源代码，可以分为以下步骤：

创建一个 HttpWebRequest 对象，设置请求相关的属性和请求头信息。
发送 HTTP 请求，并等待服务器响应，获取 HttpWebResponse 对象。
从 HttpWebResponse 对象中获取响应流，通过流读取到服务器返回的数据。
关闭响应流和HttpWebResponse对象。

接下来，我们将针对每一步问题进行详细讲解。

2.1 创建一个 HttpWebRequest 对象

创建一个 HttpWebRequest 对象，并设置请求相关的属性和请求头信息，可以使用如下代码：

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Method = "GET";
request.Timeout = 10000; // 超时时间为10秒
request.AllowAutoRedirect = true; // 允许自动重定向
request.ContentType = "text/html;charset=utf-8"; // 设置请求头信息

在上述代码中，我们实例化了一个 HttpWebRequest 对象，并设置了请求的方法、超时时间、是否允许自动重定向以及请求头信息。其中，URL 参数是要下载的 Web 页面的地址。

2.2 发送 HTTP 请求

发送 HTTP 请求并等待服务器响应，可以使用如下代码：

HttpWebResponse response = (HttpWebResponse)request.GetResponse();

在上述代码中，我们使用 GetResponse 方法发送了请求，并获取了服务器响应的 HttpWebResponse 对象。这个对象包含了服务器返回的所有信息，如响应头、响应码、响应流等。

2.3 获取响应流

从 HttpWebResponse 对象中获取响应流，可以使用如下代码：

Stream stream = response.GetResponseStream();
StreamReader reader = new StreamReader(stream, Encoding.UTF8);
string html = reader.ReadToEnd();

在上述代码中，我们使用 GetResponseStream 方法获取到了服务器响应的流，并使用 StreamReader 实例化了一个可以按行读取的流对象，并将其转化为字符串赋值给变量 html。

2.4 关闭响应流和 HttpWebResponse 对象

为了防止资源泄露，我们需要关闭响应流和 HttpWebResponse 对象，释放相关的资源，可以使用如下代码：

reader.Close();
stream.Close();
response.Close();

三、示例说明

下面给出两个示例，用于演示如何使用 HttpWebRequest 读取远程网页源代码，并实现一个简单的 Web 页面源代码查看器。

3.1 示例 1

在这个示例中，我们使用 HttpWebRequest 读取一个远程的 Web 页面，并将页面的源代码以纯文本的形式输出到控制台。代码如下：

string url = "https://www.baidu.com";
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Method = "GET";
request.AllowAutoRedirect = true;
request.ContentType = "text/html;charset=utf-8";

HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream stream = response.GetResponseStream();
StreamReader reader = new StreamReader(stream, Encoding.UTF8);
string html = reader.ReadToEnd();

Console.WriteLine(html);

reader.Close();
stream.Close();
response.Close();

在上述代码中，我们首先指定了要读取的 Web 页面的地址，然后创建了一个 HttpWebRequest 对象，并设置了请求相关的属性和请求头信息。接着，我们使用 GetResponse 方法发送了请求，并获取了服务器响应的 HttpWebResponse 对象。最后，我们使用 GetResponseStream 和 StreamReader 从响应对象中读取了响应流，并将其转为字符串输出到控制台。

3.2 示例 2

在这个示例中，我们提供一个简单的 Web 页面，并在页面中添加一个文本框和一个按钮，然后在按钮的事件中读取指定 URL 的 Web 页面源代码，并将源代码输出到文本框中。代码如下：

<%@ Page Language="C#" AutoEventWireup="true" CodeBehind="Default.aspx.cs" Inherits="WebApplication1._Default" %>

<!DOCTYPE html>

<html xmlns="http://www.w3.org/1999/xhtml">
<head runat="server">
    <meta charset="utf-8" />
    <title>Web 页面源代码查看器</title>
    <style type="text/css">
        #result { width: 100%; height: 300px; border: 1px solid #ccc; margin-top: 10px; }
    </style>
</head>
<body>
    <form id="form1" runat="server">
        <div>
            <label for="urlInput">输入要查看的 Web 页面 URL：</label>
            <input type="text" id="urlInput" name="urlInput" value="https://www.baidu.com" />
            <input type="button" value="查看" onclick="viewSource();" />
        </div>
        <textarea id="result" name="result"></textarea>
    </form>

    <script type="text/javascript">
        function viewSource() {
            var url = document.getElementById("urlInput").value;
            var xhr = new XMLHttpRequest();

            xhr.onreadystatechange = function () {
                if (xhr.readyState == 4 && xhr.status == 200) {
                    document.getElementById("result").innerHTML = xhr.responseText;
                }
            }

            xhr.open("GET", "/ViewSource.ashx?url=" + encodeURIComponent(url), true);
            xhr.send();
        }
    </script>
</body>
</html>

<%@ WebHandler Language="C#" Class="ViewSource" %>

using System;
using System.Web;
using System.Net;
using System.Text;

public class ViewSource : IHttpHandler {

    public void ProcessRequest(HttpContext context) {
        context.Response.ContentType = "text/plain";

        string url = context.Request["url"];

        HttpWebRequest request = WebRequest.CreateHttp(url);
        request.Method = "GET";
        request.AllowAutoRedirect = true;
        request.ContentType = "text/html;charset=utf-8";

        HttpWebResponse response = (HttpWebResponse)request.GetResponse();
        Stream stream = response.GetResponseStream();
        StreamReader reader = new StreamReader(stream, Encoding.UTF8);
        string html = reader.ReadToEnd();

        reader.Close();
        stream.Close();
        response.Close();

        context.Response.Write(html);
    }

    public bool IsReusable {
        get {
            return false;
        }
    }

}

在上述代码中，我们在页面中使用了 JavaScript 发起一个 XMLHttpRequest 请求，将用户在文本框中输入的 Web 页面 URL 发送到 ashx 文件中，然后 ashx 文件使用 HttpWebRequest 读取到了 Web 页面的源代码，并返回回来，最后将源代码输出到文本框中。

四、总结

本文详细讲解了如何使用 HttpWebRequest 读取远程网页源代码的完整攻略，并提供了两个示例，分别演示了如何在控制台和 Web 页面中实现相应功能。当我们对于 Web 网页源代码的处理以及对网站爬虫感兴趣时，可以使用上述方法进行获取和处理。

本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：ASP.NET使用HttpWebRequest读取远程网页源代码 - Python技术站