利用Node.js制作爬取大众点评的爬虫

下面是利用Node.js制作爬取大众点评的爬虫的攻略：

一、背景

大众点评是以点评为核心，覆盖餐饮、休闲娱乐、酒店旅游等多个领域的一家消费场景服务平台。通过大众点评平台，我们可以获取各个领域的用户评价和商户信息。因此，对于大众点评平台的数据采集非常有意义。

二、技术栈

在制作爬取大众点评的爬虫时，我们需要使用以下技术栈：

• Node.js：利用Node.js的request模块来请求大众点评的网页；
• Cheerio：利用Cheerio来解析网页HTML，获取所需的数据；
• async：利用async来进行异步操作，以加快数据的获取；
• fs：利用fs模块将数据存储到本地文件。

三、实现步骤

1. 获取网页

首先，我们需要使用Node.js中的request模块来请求大众点评的网页，并获取到对应的HTML代码。

const request = require('request');

request('https://www.dianping.com/', (error, response, body) => {
  if (!error && response.statusCode == 200) {
    console.log(body); // 输出获取到的HTML代码
  }
});

2. 解析HTML

接下来，我们需要使用Cheerio模块来解析HTML代码并获取页面中所需的信息。

const cheerio = require('cheerio');

const $ = cheerio.load(body);
$('.section .title').each((i, el) => {
  console.log($(el).text()); // 输出页面中所有的标题
});

3. 异步操作

由于获取数据的过程比较耗时，我们需要利用async模块进行异步操作，以加快数据的获取。

const async = require('async');

const urls = ['https://www.dianping.com/beijing/ch10/g101', 'https://www.dianping.com/beijing/ch22/g101'];

async.mapLimit(urls, 2, (url, callback) => {
  request(url, (error, response, body) => {
    if (!error && response.statusCode == 200) {
      const $ = cheerio.load(body);
      callback(null, $('.shop-list .shop-name a').text()); // 获取商铺名称
    } else {
      callback(error);
    }
  });
}, (err, results) => {
  if (err) {
    console.log(err);
  } else {
    console.log(results); // 输出获取到的商铺名称
  }
});

4. 数据存储

最后，我们需要使用fs模块将获取到的数据存储到本地文件中。

const fs = require('fs');

fs.writeFile('shops.txt', results.join('\n'), (err) => {
  if (err) {
    console.log(err);
  } else {
    console.log('数据保存成功！');
  }
});

四、示例说明

下面，我们通过两个示例来详细讲解如何使用Node.js制作爬取大众点评的爬虫。

示例一

在这个示例中，我们将获取大众点评网站上北京地区所有商铺的名称，并将其保存到本地文件中。

const request = require('request');
const cheerio = require('cheerio');
const async = require('async');
const fs = require('fs');

const urls = ['https://www.dianping.com/beijing/ch10/g101', 'https://www.dianping.com/beijing/ch22/g101'];

async.mapLimit(urls, 2, (url, callback) => {
  request(url, (error, response, body) => {
    if (!error && response.statusCode == 200) {
      const $ = cheerio.load(body);
      callback(null, $('.shop-list .shop-name a').text());
    } else {
      callback(error);
    }
  });
}, (err, results) => {
  if (err) {
    console.log(err);
  } else {
    fs.writeFile('shops.txt', results.join('\n'), (err) => {
      if (err) {
        console.log(err);
      } else {
        console.log('数据保存成功！');
      }
    });
  }
});

示例二

在这个示例中，我们将获取大众点评网站上北京地区所有商铺的名称、评分和评论数量，并将其保存到本地文件中。

const request = require('request');
const cheerio = require('cheerio');
const async = require('async');
const fs = require('fs');

const urls = ['https://www.dianping.com/beijing/ch10/g101', 'https://www.dianping.com/beijing/ch22/g101'];

async.mapLimit(urls, 2, (url, callback) => {
  request(url, (error, response, body) => {
    if (!error && response.statusCode == 200) {
      const $ = cheerio.load(body);
      const result = [];
      $('.shop-list .txt .tit a').each((i, el) => {
        const shop = {};
        shop.name = $(el).text();
        shop.rating = $(el).parent().siblings('.comment').find('.star_score').text();
        shop.reviewCount = $(el).parent().siblings('.comment').find('.review-num b').text();
        result.push(shop);
      });
      callback(null, result);
    } else {
      callback(error);
    }
  });
}, (err, results) => {
  if (err) {
    console.log(err);
  } else {
    fs.writeFile('shops.json', JSON.stringify(results), (err) => {
      if (err) {
        console.log(err);
      } else {
        console.log('数据保存成功！');
      }
    });
  }
});

在以上示例中，我们使用了mapLimit方法，每次同时请求两个URL。获取到商铺信息后，我们使用数组来保存结果，并使用JSON.stringify方法将结果转换为JSON格式，再使用fs模块将结果保存到本地文件中。