基于nodejs 的多页面爬虫实例代码

点此前往基于nodejs的多页面爬虫实例代码。

什么是爬虫？

爬虫是指按照一定的规则自动抓取互联网信息的程序工具。常用于各类搜索引擎、数据采集、研究和分析等方面。

基于nodejs 的多页面爬虫实例代码

本篇文章将为大家介绍一个使用 Node.js 编写的多页面爬虫的实例代码，借助此代码，您可以轻松地抓取网页数据。

前置条件

• Node.js
• NPM

代码文件

代码文件包括两个文件：

• app.js（用于初始化爬虫并启动爬取任务）
• lib/spider.js（用于具体实现爬虫）

实现步骤

1. 执行npm init命令，并填写必要的信息来创建一个新的Node.js项目，将app.js和lib文件夹添加到根目录中。
2. 在 lib/spider.js 文件中实现 Node.js 代码，并导出模块，整个爬虫逻辑就在这个文件中实现。
3. 在 app.js 文件中初始化爬虫并启动爬取任务。

爬虫代码详解

以下是示例代码：

// lib/spider.js
const request = require('request');
const cheerio = require('cheerio');
const fs = require('fs');

module.exports = function spider(url) {
    request(url, function (err, res, body) {
        if (err) return console.error(err);

        const $ = cheerio.load(body);
        const links = [];

        // 获取所有链接并保存到数组中
        $('a').each(function () {
            const link = $(this).attr('href');
            if (link && link.indexOf('http') === 0) links.push(link);
        });

        // 创建文件用于保存链接信息
        const fileName = url.split('://')[1] + '.txt';

        if (links.length > 0) {
            // 如果有链接则将它们写入文件
            const content = links.join('\n');
            fs.writeFile(fileName, content, function (err) {
                if (err) return console.error(err);
                console.log(`Links saved to ${fileName}`);
            });

            // 递归爬取链接中的内容
            links.forEach(function (link) {
                return spider(link);
            });
        } else {
            // 如果没有链接则关闭爬虫
            console.log('No more links found!');
        }
    });
};

这个爬虫的逻辑很简单，它首先从指定的URL爬取链接，并将链接保存到links数组中。然后它再将这些链接分别传给自己，递归地执行这个过程，直到没有新的链接可用。

使用cheerio模块，则可以方便的匹配网页标签（类似于jQuery的语法）。当然，还需要使用request和fs模块来分别发起HTTP请求和将数据写入本地文件。

启动爬虫任务

在app.js中可以直接引入并执行spider函数。下面的示例是一个启动爬虫任务的简单代码：

// app.js
const spider = require('./lib/spider');

// 启动爬虫任务
spider('https://www.baidu.com');

示例说明

下面介绍两个使用本例实现的应用场景。

示例一：爬取 CNode 社区帖子

CNode 社区是一个 Node.js 开发者的主要社区，可以通过下面的代码来抓取最新5个帖子：

// app.js
const spider = require('./lib/spider');

// 启动爬虫任务
spider('https://cnodejs.org/');

实际运行之后会得到如下输出：

Links saved to cnodejs.org.txt
Links saved to https://cnodejs.org/topic/5cc9137326e0d916582dc9a3
Links saved to https://cnodejs.org/topic/260bbf52b9a4c3b136b1c5f0
Links saved to https://cnodejs.org/topic/5cc901e526e0d916582dc93c
Links saved to https://cnodejs.org/topic/5cc8dcf526e0d916582dc769
No more links found!

我们可以看到，它首先保存了链接信息，然后分别递归爬取每个链接。直到没有链接了，就会输出“No more links found!”。

示例二：抓取某网站的所有404页面

以下代码展示了如何找到一个网站中的所有404页面：

// app.js
const spider = require('./lib/spider');

// 将根目录下所有的HTML文件都看作是URL
const urlList = ['./index.html', './about.html', './contact.html', './blog.html'];
const base = 'http://localhost:3000/';

urlList.forEach(function (url) {
    return spider(base + url);
});

这里直接列出根目录下所有的HTML文件，每次都访问本地的localhost:3000服务器。然后利用spider函数递归爬取每个文件，如果页面返回404状态码，则自动保存该链接并继续递归到该页面下的子页面。

当然这只是示例代码，实际应用中需要考虑如何避免爬取重复的页面，以及如何剔除掉那些不是真正的404页面，等等。