c# 爬取优酷电影信息(1)

下面是针对“c# 爬取优酷电影信息(1)”攻略的详细讲解。

1. 项目概述

该项目旨在使用C#编写一个网页爬虫，从优酷电影网站上爬取指定类型电影的信息，包括电影名称、导演、演员、上映时间、评分等。具体实现时，我们将使用HtmlAgilityPack解析HTML页面并提取数据。

2. 实现步骤

2.1 确定目标URL与请求方式

我们首先需要确定需要爬取的目标页面URL以及请求方式。在该项目中，我们将请求优酷电影的“剧情”类别页面，请求方式为HTTP GET。

string url = "https://list.youku.com/category/show/c_96_s_1_d_1_p_1.html";
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Method = "GET";

2.2 发送请求并获取响应数据

在完成请求方式的设置后，我们需要发送HTTP请求，并获取响应数据。在此过程中，我们需要注意正确设置请求头和编码方式。

//正确设置请求头
request.Headers["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3";
request.Headers["Accept-Language"] = "zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4";
request.Headers["Accept-Encoding"] = "gzip, deflate, br";

//使用utf8编码方式
request.Headers["Accept-Charset"] = "UTF-8";
request.ContentType = "application/json; charset=UTF-8";

HttpWebResponse response = (HttpWebResponse)request.GetResponse();
string html = string.Empty;

using (StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("utf-8")))
{
    html = reader.ReadToEnd();
}

2.3 解析HTML页面并抽取指定数据

通过上述方法，我们得到了目标网页的HTML源码。我们需要使用HtmlAgilityPack解析这些HTML数据，并抽取出所需要的电影信息。

HtmlAgilityPack.HtmlDocument htmlDoc = new HtmlAgilityPack.HtmlDocument();
htmlDoc.LoadHtml(html);

//解析HTML数据
var titleNodes = htmlDoc.DocumentNode.SelectNodes("//ul[@class='filter-panel clearfix']/li/label");
var contentNodes = htmlDoc.DocumentNode.SelectNodes("//div[@class='mr1']");

在上述示例中，我们使用了XPath表达式来定位需要抽取的电影信息。SelectNodes方法返回一个HtmlNodeCollection类，其中包含了所有符合表达式的节点。我们可以通过遍历这些节点，抽取所需数据。

2.4 存储数据

最后，我们可以将抽取的数据存储到本地或数据库中，以备后续使用。在此前提下，我们还需要考虑数据格式、存储路径等相关问题。

public void SaveData(string fileName, StringBuilder data)
{
    using (StreamWriter writer = new StreamWriter(fileName))
    {
        writer.Write(data);
    }
}

//存储数据
StringBuilder content = new StringBuilder();
foreach (var node in contentNodes)
{
    content.AppendLine(node.InnerHtml);
}
SaveData("data.txt", content);

3. 结论

通过以上步骤，我们完成了一个简单的网页爬虫，从优酷电影网站上抽取了指定类型电影的信息，并将信息存储到本地文件中。该项目涉及的知识点主要包括：HTTP协议、HTML页面解析、XPath表达式、文件存储等方面。实现的具体细节可以参考完整代码。