深入nodejs中流(stream)的理解

理解 Node.js 中的流（stream）非常重要，因为在处理大量数据或网络流时，流是一种高效而可靠的方式。本文将深入介绍 Node.js 中的流概念和使用方法，包括流的类型、创建和使用流、以及流的事件和操作。

流的类型

在 Node.js 中，流可以分为四类：

1. 可读流（Readable Stream）：从源头读取数据。
2. 可写流（Writable Stream）：向目标写入数据。
3. 双工流（Duplex Stream）：既可以读取数据也可以写入数据。常见的例子是 Socket。
4. 转换流（Transform Stream）：属于双工流的一种，会修改从源头读取的数据，再写入到目标中。常见的例子是 zlib 流，用于压缩和解压数据。

创建和使用流

要使用一个流，首先需要创建一个实例，并指定源头和目标（如果有的话）。例如，要创建一个可读流并从文件中读取数据，可以使用 fs.createReadStream()，如下所示:

const fs = require('fs');
const rs = fs.createReadStream('/path/to/file');

创建转换流和可写流的方法类似，分别使用 stream.Transform 和 fs.createWriteStream，例如：

const stream = require('stream');
const ts = new stream.Transform();
const ws = fs.createWriteStream('/path/to/file');

流的事件和操作

创建流的实例后，可以使用事件来监听它的状态。

data 事件：当有数据可读时，会触发 data 事件，可以使用如下代码监听：

rs.on('data', function(chunk) {
  console.log(`Received ${chunk.length} bytes of data.`);
});

其他流事件还包括：end（数据读取完毕），error（发生错误）和 finish（数据写入完毕）。

有一些常见的流处理操作：

1. pipe() 函数：将一个可读流连接到一个可写流中，自动调节速度和缓存，可实现高效处理大量数据，例如：

js
rs.pipe(ts).pipe(ws);

1. unpipe() 函数：从目标中移除可读流，例如：

js
rs.unpipe(ts);

1. pause() 和 resume() 函数：分别暂停和恢复流的读写，例如：

js
rs.pause();
rs.resume();

示例说明

以下是两个使用流的示例：

示例一

在处理大型日志文件时，可以使用可读流逐行读取文件，并使用转换流来执行某些操作，而不必一次性将整个文件读入内存。例如，以下是用于处理日志文件的转换流示例：

class LogTransform extends stream.Transform {
  constructor(options) {
    super(options);
    this.tail = '';
  }
  _transform(chunk, encoding, callback) {
    const lines = (this.tail + chunk)
      .split('\n')
      .filter((line, index, array) => {
        return line.length > 0 || index < array.length - 1;
      });
    this.tail = lines.pop();
    lines.forEach(line => this.push(`${line}\n`));
    callback();
  }
  _flush(callback) {
    if (this.tail.length > 0) {
      this.push(`${this.tail}\n`);
    }
    callback();
  }
}

const fs = require('fs');
const rs = fs.createReadStream('/path/to/logfile');
const ts = new LogTransform();
rs.pipe(ts).pipe(process.stdout);

该转换流将文件转换成逐行格式，并将格式化后的数据写入输出流中，以便显示。在这个示例中，process.stdout 是指标准输出流（console.log 和 process.stdout.write 使用的流）。

示例二

在从网络中读取数据时，可以使用可读流和双工流的组合。例如，以下是使用 net 模块创建 TCP 服务器并处理客户端请求的示例：

const net = require('net');

const server = net.createServer(client => {
  console.log(`Client ${client.remoteAddress}:${client.remotePort} connected.`);
  const ts = new stream.Transform();
  ts._transform = (chunk, encoding, callback) => {
    const data = chunk.toString().toUpperCase();
    callback(null, data);
  };
  client.pipe(ts).pipe(client);
});

server.on('error', error => {
  console.error(`Server error: ${error.message}`);
});

server.listen(8888, () => {
  console.log(`Server listening on port ${server.address().port}...`);
});

当一个客户端连接到该服务器时，服务器会创建一个新的转换流，处理从客户端读取的数据，将它们转换为大写字母，并将结果返回给客户端。在这个示例中，“客户端”连接到同一台计算机的端口 8888。