C# 爬虫简单教程

关于“C#爬虫简单教程”的完整攻略，可以分为以下几个步骤：

1. 确定需求和目标

在开始写爬虫之前，首先需要确定爬虫的目标和需求，例如要爬取哪些网站，获取哪些数据，以及存储数据的方式等等。在确定需求的基础上，就可以开始编写代码了。

2. 安装和准备开发环境

使用C#编写爬虫，需要安装.Net框架和Visual Studio开发环境。具体安装过程可以参考微软官方网站提供的文档。安装完成后，需要创建一个项目，并添加所需的依赖库。

3. 编写爬虫代码

爬虫的核心代码可以分为以下几个部分：

3.1 读取网页内容

使用HttpClient可以向指定的网址发送请求，并获取响应内容，示例代码如下：

HttpClient httpClient = new HttpClient();
HttpResponseMessage response = await httpClient.GetAsync("https://www.example.com");
string content = await response.Content.ReadAsStringAsync();

3.2 解析网页内容

获取到的网页内容一般为HTML格式，可以使用HtmlAgilityPack库对其进行解析。示例代码如下：

HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(content);
HtmlNodeCollection links = doc.DocumentNode.SelectNodes("//a[@href]");
foreach (HtmlNode link in links)
{
    string href = link.Attributes["href"].Value;
    Console.WriteLine(href);
}

3.3 存储数据

根据需求，可以将爬取到的信息存储到文件或者数据库中。例如存储到文件中，示例代码如下：

using (TextWriter writer = File.CreateText("result.txt"))
{
    writer.Write(content);
    writer.Flush();
}

4. 运行爬虫代码

完成爬虫代码的编写后，可以通过Visual Studio中的调试工具运行代码，或者直接在命令行窗口中执行生成的可执行文件。

示例：

下面给出两个示例，一个是爬取豆瓣电影Top250的代码，一个是爬取金山词霸每日一句的代码。

爬取豆瓣电影Top250

HttpClient httpClient = new HttpClient();
for (int i = 0; i < 10; i++)
{
    string url = "https://movie.douban.com/top250?start=" + i * 25 + "&filter=";
    HttpResponseMessage response = await httpClient.GetAsync(url);
    string content = await response.Content.ReadAsStringAsync();
    HtmlDocument doc = new HtmlDocument();
    doc.LoadHtml(content);
    HtmlNodeCollection items = doc.DocumentNode.SelectNodes("//div[@class='hd']");
    foreach (HtmlNode item in items)
    {
        string title = item.Descendants("span").FirstOrDefault()?.InnerText;
        string link = item.Descendants("a").FirstOrDefault()?.GetAttributeValue("href", "");
        Console.WriteLine(title + ": " + link);
    }
}

爬取金山词霸每日一句

HttpClient httpClient = new HttpClient();
HttpResponseMessage response = await httpClient.GetAsync("http://open.iciba.com/dsapi");
string content = await response.Content.ReadAsStringAsync();
JObject json = JObject.Parse(content);
string date = json["dateline"].ToString();
string sentence = json["content"].ToString() + "\n" + json["translation"].ToString();
Console.WriteLine("Date: " + date);
Console.WriteLine("Sentence: " + sentence);

这两个示例仅供参考，实际中需要根据具体情况进行修改和优化。