Node.js抓取中文网页乱码问题和解决方法

Node.js抓取中文网页乱码问题和解决方法

在使用Node.js抓取中文网页时，经常会遇到乱码的问题。下面提供一些解决方法：

1. 设置HTTP头部

在请求中设置HTTP头部来指定编码类型，可以有效避免乱码问题。

示例代码：

const https = require('https');

const options = {
  hostname: 'www.example.com',
  path: '/path/to/page',
  headers: {'content-type': 'text/html;charset=utf-8'}
};

https.get(options, (res) => {
  let rawData = '';
  res.setEncoding('utf8');
  res.on('data', (chunk) => { rawData += chunk; });
  res.on('end', () => {
    console.log(rawData);
  });
}).on('error', (e) => {
  console.error(e);
});

2. 使用编码转换

使用iconv-lite库可以将GBK编码转换为UTF-8。

示例代码：

const https = require('https');
const iconv = require('iconv-lite');

const options = {
  hostname: 'www.example.com',
  path: '/path/to/page'
};

https.get(options, (res) => {
  let rawData = [];
  res.on('data', (chunk) => { rawData.push(chunk); });
  res.on('end', () => {
    const html = iconv.decode(Buffer.concat(rawData), 'gbk');
    console.log(html);
  });
}).on('error', (e) => {
  console.error(e);
});

以上是两种常用的解决方法，选择哪种取决于你的具体需求和项目情况。

希望本文对你有所帮助！

示例：

以下示例使用iconv库将乱码转换为正常中文字符。

const https = require('https');
const iconv = require('iconv-lite');

const options = {
  hostname: 'www.example.com',
  path: '/path/to/page'
};

https.get(options, (res) => {
  let rawData = [];
  res.on('data', (chunk) => { rawData.push(chunk); });
  res.on('end', () => {
    const html = iconv.decode(Buffer.concat(rawData), 'gbk');
    console.log(html);
  });
}).on('error', (e) => {
  console.error(e);
});

以上示例代码将获取到的原始数据使用iconv库进行GBK编码转换，最终输出正常的中文字符。

参考资料

• 如何处理Node.js中文乱码问题？
• Node.js中文编码问题基础篇