Node实现爬虫的几种简易方式

在Node中，我们可以利用一些开源的爬虫框架或者自己编写代码来实现爬虫。

1. 使用开源爬虫框架

1.1 Cheerio + Request

Cheerio是服务端的jQuery实现，可以将HTML文件转化为Dom对象。Request是一个可以搭建HTTP请求的库。这两个库结合起来可以实现简单的网页爬取。

以下代码实现了爬取百度搜索结果页面的标题和链接：

const request = require('request');
const cheerio = require('cheerio');

request('https://www.baidu.com/s?wd=nodejs', (error, response, body) => {
  if (!error && response.statusCode == 200) {
    const $ = cheerio.load(body);
    $('title').each(function(i, elem) {
      console.log($(this).text());
    });
    $('.t a').each(function(i, elem) {
      console.log($(this).text(), $(this).attr('href'));
    });
  }
});

在控制台中输出了百度搜索结果页面的所有标题和链接。

1.2 Puppeteer

Puppeteer是由Google Chrome开发团队提供的无头浏览器Node API，可以直接在Node中控制Chrome。Puppeteer提供了对网页进行操作的API，例如网页截图、填写表单、点击按钮等。

以下代码实现了使用Puppeteer驱动浏览器并截图：

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://baidu.com');
  await page.screenshot({path: 'baidu.png'});
  await browser.close();
})();

在代码执行完成后，将在当前目录下生成一张百度首页的截图。

2. 自己编写代码

自己编写爬虫代码的好处是可以根据需要实现更加复杂的爬虫功能。以下是实现爬取单个页面标题和链接的示例代码：

const http = require('http');
const https = require('https');
const cheerio = require('cheerio');
const url = 'https://www.baidu.com/s?wd=nodejs';

const request = https.get(url, (response) => {
  let body = '';
  response.on('data', (d) => {
    body += d;
  });
  response.on('end', () => {
    const $ = cheerio.load(body);
    $('title').each(function(i, elem) {
      console.log($(this).text());
    });
    $('.t a').each(function(i, elem) {
      console.log($(this).text(), $(this).attr('href'));
    });
  });
});

request.on('error', (e) => {
  console.error(e);
});

request.end();

首先使用http或https模块建立一个get请求，请求的地址为要爬取的页面的URL。然后在请求的回调函数中将页面内容存储在变量body中，使用Cheerio将其解析成Dom对象，然后通过选择器选取需要的内容并输出。

总结

以上就是利用Node实现爬虫的两种简易方式。使用开源爬虫框架可以快速实现爬虫，使用自己编写代码可以根据需求实现更加复杂的功能。无论哪种方式，都需要遵循网站的爬取规则，不要过度频繁地访问同一网站，以免引起不必要的麻烦。