用.NET Core写爬虫爬取电影天堂

在本攻略中，我们将详细介绍如何使用.NET Core编写爬虫程序，爬取电影天堂网站上的电影信息，并提供两个示例说明。

1. 安装依赖

在.NET Core应用程序中，需要安装以下依赖才能实现爬虫功能。可以按照以下步骤操作：

1. 打开Visual Studio 2019。

2. 打开“工具”菜单，选择“NuGet包管理器”->“程序包管理器控制台”。

3. 在“程序包管理器控制台”中输入以下命令，安装依赖。

Install-Package HtmlAgilityPack
Install-Package Newtonsoft.Json

2. 创建爬虫程序

在.NET Core应用程序中，需要创建爬虫程序来爬取电影天堂网站上的电影信息。可以按照以下步骤操作：

1. 创建一个类，表示爬虫程序。

public class MovieCrawler
{
    private readonly HttpClient _httpClient;
    private readonly HtmlDocument _htmlDocument;

    public MovieCrawler()
    {
        _httpClient = new HttpClient();
        _htmlDocument = new HtmlDocument();
    }

    public async Task<List<Movie>> Crawl(string url)
    {
        var html = await _httpClient.GetStringAsync(url);
        _htmlDocument.LoadHtml(html);

        var movieNodes = _htmlDocument.DocumentNode.SelectNodes("//div[@class='tbspan']");
        var movies = new List<Movie>();
        foreach (var movieNode in movieNodes)
        {
            var movie = new Movie();
            movie.Name = movieNode.SelectSingleNode(".//a").InnerText;
            movie.DownloadUrl = movieNode.SelectSingleNode(".//a").Attributes["href"].Value;
            movie.Size = movieNode.SelectSingleNode(".//font").InnerText;
            movie.UpdateTime = movieNode.SelectSingleNode(".//td[3]").InnerText;
            movies.Add(movie);
        }

        return movies;
    }
}

在上面的代码中，MovieCrawler类表示爬虫程序，Crawl方法用于爬取电影信息。

1. 创建一个类，表示电影信息。

public class Movie
{
    public string Name { get; set; }
    public string DownloadUrl { get; set; }
    public string Size { get; set; }
    public string UpdateTime { get; set; }
}

在上面的代码中，Movie类表示电影信息。

3. 示例说明

以下是两个示例，演示了如何使用.NET Core编写爬虫程序，爬取电影天堂网站上的电影信息。

示例一：爬取电影信息

在这个示例中，我们演示了如何使用.NET Core爬取电影天堂网站上的电影信息。可以按照以下步骤操作：

1. 在Controller类中，添加以下代码。

private readonly MovieCrawler _movieCrawler;

public MyController(MovieCrawler movieCrawler)
{
    _movieCrawler = movieCrawler;
}

[HttpGet]
public async Task<IActionResult> GetMovies()
{
    var url = "http://www.dytt8.net/html/gndy/dyzz/index.html";
    var movies = await _movieCrawler.Crawl(url);
    return Ok(movies);
}

在上面的代码中，我们使用了MovieCrawler类来爬取电影信息，并返回电影列表。

1. 使用Postman等工具测试API，查看爬取的电影信息。

示例二：爬取指定电影信息

在这个示例中，我们演示了如何使用.NET Core爬取电影天堂网站上指定电影的信息。可以按照以下步骤操作：

1. 在Controller类中，添加以下代码。

private readonly MovieCrawler _movieCrawler;

public MyController(MovieCrawler movieCrawler)
{
    _movieCrawler = movieCrawler;
}

[HttpGet("{name}")]
public async Task<IActionResult> GetMovie(string name)
{
    var url = "http://www.dytt8.net/html/gndy/dyzz/index.html";
    var movies = await _movieCrawler.Crawl(url);
    var movie = movies.FirstOrDefault(m => m.Name.Contains(name));
    if (movie == null)
    {
        return NotFound();
    }
    else
    {
        var downloadHtml = await _httpClient.GetStringAsync(movie.DownloadUrl);
        var downloadDocument = new HtmlDocument();
        downloadDocument.LoadHtml(downloadHtml);
        var downloadNode = downloadDocument.DocumentNode.SelectSingleNode("//td[@bgcolor='#fdfddf']/a");
        movie.DownloadUrl = downloadNode.Attributes["href"].Value;
        return Ok(movie);
    }
}

在上面的代码中，我们使用了MovieCrawler类来爬取电影信息，并根据电影名称查找指定电影的信息，然后返回电影信息。

1. 使用Postman等工具测试API，查看爬取的指定电影信息。

总结

在本攻略，我们详细介绍了如何使用.NET Core编写爬虫程序，爬取电影天堂网站上的电影信息，并提供了两个示例说明。在实际应用中，可能会遇到一些问题，需要根据具体情况进行相应的调整和解决。