js判断文件是否为utf-8编码的方法

要判断一个文件是否为UTF-8编码，可以通过检查文件的字节序标记（BOM）或通过解析文件内容来确定。下面是两种不同的方案。

方案一：通过检查BOM

BOM是UTF-8文件的可选字节序标记，它在文件头部前三位表示UTF-8编码方式，它的作用是告诉文本编辑器该文件使用UTF-8编码。因此，可以先读取文件的前三个字节，判断它们是否是BOM来判断文件是否为UTF-8编码。

const fs = require('fs');

function isUtf8File(filePath) {
  const buffer = Buffer.alloc(3);
  const fd = fs.openSync(filePath, 'r');
  fs.readSync(fd, buffer, 0, 3, 0);
  fs.closeSync(fd);

  if (buffer[0] === 0xEF && buffer[1] === 0xBB && buffer[2] === 0xBF) {
    return true;
  } else {
    return false;
  }
}

上面的代码先使用fs.openSync()打开文件，然后使用fs.readSync()读取前三个字节到一个Buffer对象中，最后使用fs.closeSync()关闭文件。如果前三个字节是“0xEF 0xBB 0xBF”，那么就是UTF-8编码，返回true，否则返回false。

方案二：通过解析文件内容

如果文件没有BOM，那么可以尝试解析文件内容，根据UTF-8的编码规则来判断文件是否为UTF-8编码。一种简单的方法是使用一个正则表达式来匹配UTF-8编码序列。

const fs = require('fs');

function isUtf8File(filePath) {
  const buffer = fs.readFileSync(filePath);
  const str = buffer.toString('utf-8');
  const utf8Regex = /[\u{00}-\u{7F}]*([\u{C2}-\u{DF}][\u{80}-\u{BF}]|[\u{E0}-\u{EF}][\u{80}-\u{BF}]{2}|[\u{F0}-\u{F4}][\u{80}-\u{BF}]{3})[\u{00}-\u{7F}]*/u;
  return utf8Regex.test(str);
}

这个函数先读取文件到一个Buffer对象中，然后将其转换为一个字符串。接着使用一个正则表达式来匹配UTF-8编码的序列，如果文件是UTF-8编码，那么正则表达式会匹配成功，返回true，否则返回false。

示例

假设我们有一个UTF-8编码的文本文件test.txt，其内容为：“Hello, World!”。
现在，我们可以使用上面两种方法来判断该文件是否为UTF-8编码。

console.log(isUtf8File('test.txt')); // true

或者使用方案二：

console.log(isUtf8File('test.txt')); // true

上述代码会输出true，表示该文件是UTF-8编码。

再假设我们有一个GBK编码的文本文件test2.txt，其内容为：“你好，世界！”。
使用方案一，此时判断结果应该为false，使用方案二，需要修改正则表达式，如下所示：

const utf8Regex = /([\u{00}-\u{7F}])*([\u{C2}-\u{DF}][\u{80}-\u{BF}]|[\u{E0}-\u{EF}][\u{80}-\u{BF}]{2}|[\u{F0}-\u{F4}][\u{80}-\u{BF}]{3})([\u{00}-\u{7F}]*)|([\u{80}-\u{FF}]+)/u;

使用以上提到的两种方法：

console.log(isUtf8File('test2.txt')); // false

console.log(isUtf8File('test2.txt')); // false

上述代码会输出false，表示该文件不是UTF-8编码。