C# 实现抓取网站页面内容的实例方法

一、准备工作
1. 安装 .NET Framework：C# 是 .NET 平台的一种语言，因此要先安装 .NET Framework。
2. 安装 C# 的开发环境：Visual Studio 是 C# 的主要开发工具，建议安装Visual Studio 2019。
3. 添加 HtmlAgilityPack 依赖：该包提供了一种非常方便的方式来解析 HTML。添加该依赖时请注意你当前项目所使用的.NET Framework 版本。
在项目页面的 “项目文件” 内中添加支持 Nuget 的仓库。

二、使用 WebClient 类下载 HTML 文件
当你获取到需要下载的 URL 的时候，可以使用 WebClient 类的 DownloadString 方法来下载 HTML 文件。例如，获取 https://www.baidu.com 的 HTML 内容可以使用以下代码：

using System.Net;

WebClient client = new WebClient();
string htmlCode = client.DownloadString("https://www.baidu.com");

三、解析 HTML 文件的方法
你可以使用 HtmlAgilityPack 库分析下载的 HTML 文件并提取数据。在本例中，我们将以百度搜索结果页 https://www.baidu.com/s 为例。这个页面包含多个搜索结果。 如果想要获取这些结果的信息，您应该：
1. 查看 HTML 源代码，找到其类/ID。
2. 分析 HTML 代码，确定需要提取的数据在源代码中的哪个位置。
3. 使用 HtmlAgilityPack 库来提取这些数据。

下面是使用 HtmlAgilityPack 方法的通用示例：

using HtmlAgilityPack;

HtmlWeb web = new HtmlWeb();
HtmlDocument doc = web.Load("https://www.baidu.com/s");

HtmlNode[] nodes = doc.DocumentNode.SelectNodes("//YOUR_XPATH_EXP").ToArray();

foreach (HtmlNode node in nodes) 
{
    //在此处理数据
}

使用 XPath 表达式从 HTML 中提取数据，每个 XPath 表达式都对应于 HTML 中的一个元素。比如，要提取搜索结果页的前三个结果的标题和 URL，可以使用以下代码：

using HtmlAgilityPack;

HtmlWeb web = new HtmlWeb();
HtmlDocument doc = web.Load("https://www.baidu.com/s");

HtmlNode[] nodes = doc.DocumentNode.SelectNodes("//h3[@class='t']/a").Take(3).ToArray();

foreach (HtmlNode node in nodes) 
{
    Console.WriteLine(node.InnerText);
    Console.WriteLine(node.GetAttributeValue("href", ""));
}

以上示例代码将提取三个搜索结果的标题和 URL 并将其输出到控制台。这便是如何使用 C# 代码抓取网站页面内容的实例方法。