爬虫开发（一）

　　爬虫主要用来做数据采集，又名网络蜘蛛，内容网站很多就是用爬虫来抓取数据的。本系列（现在还不知道有几篇）旨在实现一个基本的爬虫程序(框架)。开发语言：C#

　　爬虫是要从源源不断的抓取到的页面中过滤出我需要的目标数据。既然要源源不断的抓取数据，那么我们就要有一个各个页面的URL的集合，去模拟访问这些URL，来分析返回的数据，从而再根据我们分析的HTML DOM结构获取到我们需要的数据。

　　URL的获取，通常，我们应该有一个Root节点，也就是根URL，然后就像树形结构一样去遍历他的各个子节点。说的形象一点，比如，一个网站的首页，上面有各个导航的URL1、URL2，URL3……也就是说只要我们获取到了网站首页的数据，然后筛选出所有的URL，就能获取这个根URL的直接子节点。然后我们再获取URL1的数据，从而获取URL1的直接子节点，然后一直这样重复下去，最后我们就可以得到一个庞大的树形结构。

　　数据的获取，每请求一个URL都会返回数据，也就是HTML文档的源码，我们要获取目标数据就要弄明白文档结构，而不同的页面有不同的文档结构。废话不多说了，程序员之间交流，还是直接上代码更容易理解。

　　对于Http访问，这里使用WebClient。新建一个Crawler的类库，并且新建一个Crawler类，代码如下：

 1 using System;
 2 using System.Collections.Generic;
 3 using System.Linq;
 4 using System.Text;
 5 using System.Net;
 6 using System.IO;
 7 
 8 namespace Crawler
 9 {
10     /// <summary>
11     /// 爬虫
12     /// </summary>
13     public class Crawler
14     {
15         /// <summary>
16         /// 基URI
17         /// </summary>
18         public string BaseUri { get; set; }
19 
20         /// <summary>
21         /// 构造函数
22         /// </summary>
23         /// <param name="url">基URI</param>
24         public Crawler(string baseUri)
25         {
26             this.BaseUri = baseUri;
27         }
28 
29         /// <summary>
30         /// 构造函数
31         /// </summary>
32         public Crawler() { }
33 
34         /// <summary>
35         /// 保存数据处理程序
36         /// </summary>
37         public Action<string> SaveHandler;
38 
39         /// <summary>
40         /// 采集数据
41         /// </summary>
42         public void Crawl(string targetUri)
43         {
44             WebClient webClient = new WebClient();
45 
46             // 设置基URI
47             webClient.BaseAddress = this.BaseUri;
48 
49             // 获取流
50             StreamReader reader = new StreamReader(webClient.OpenRead(targetUri), Encoding.UTF8);
51 
52             // 读取数据
53             string html = reader.ReadToEnd();
54 
55             // 关闭流
56             reader.Close();
57 
58             // 保存结果
59             this.Save(html);
60 
61         }
62 
63         /// <summary>
64         /// 保存数据
65         /// </summary>
66         /// <param name="html">数据</param>
67         private void Save(string html)
68         {
69             SaveHandler(html);
70         }
71     }
72 }

这样一个很简单的爬虫类就写完了，我们可以试着调用一下，新建一个控制台应用程序，代码如下：

 1 using System;
 2 using System.Collections.Generic;
 3 using System.Linq;
 4 using System.Text;
 5 using Crawler;
 6 
 7 namespace CrawlerConsole
 8 {
 9     class Program
10     {
11         static void Main(string[] args)
12         {
13 
14             Crawler.Crawler crawler = new Crawler.Crawler("http://www.baidu.com");
15 
16             crawler.SaveHandler = new Action<string>(html => Console.WriteLine(html));
17 
18             crawler.Crawl("/");
19 
20         }
21     }
22 }

然后我们Ctrl+F5运行一下，就可以看到我们爬到的百度首页的源码输出到控制台了。

爬虫开发（一）

简单介绍一下代码中几个需要注意的地方：

基URI：就是相对地址的主URI，我Crawl方法的参数就要要爬的地址，"/"相对于基URI"http://www.baidu.com"来说就是本页面，也就是首页。看MSDN的解释，

WebClient.OpenRead():

OpenReadAsync方法之一。

address。

http://msdn.microsoft.com/zh-cn/library/tt0f69eh(v=vs.100).aspx

先这样吧，我会尽量抓紧写后面的篇章，最近实在是忙，月底要离职了，还连加六天班。。。

本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：爬虫开发（一） - Python技术站

相关文章