如何优雅地使用C语言编写爬虫

什么是爬虫

爬虫是模拟浏览器访问网页，自动获取或提取网页内容的程序。通常情况下，使用爬虫可以得到我们需要的数据，并用于数据分析、挖掘或者是机器学习等领域。

C语言实现爬虫

C语言的爬虫实现，主要的方式是模拟HTTP请求来获取数据，最简单的方法是使用curl库。Curl是一个命令行工具和库，用于从服务器获取或上传文件。它支持许多协议，包括HTTP、FTP、SMTP、POP3等。curl在C和C++中都有相应的支持库。

在使用curl来编写爬虫时，我们通常需要使用以下步骤：

1. 初始化curl，设置URL链接、调用curl_easy_setopt()函数设置不同参数

c
CURL* curl = curl_easy_init();
curl_easy_setopt(curl, CURLOPT_URL, "www.example.com");

1. 发送请求

c
CURLcode res = curl_easy_perform(curl);

这里需要注意，一旦请求失败，需要使用curl_easy_strerror()函数输出错误信息。

1. 获取服务器的响应

使用CURLOPT_WRITEFUNCTION和CURLOPT_WRITEDATA设置回调函数和传递参数，将服务器的响应数据存储到本地变量或文件中。

c
size_t write_data(char *ptr, size_t size, size_t nmemb, void *userdata) {
FILE *fp = (FILE *) userdata;
size_t written = fwrite(ptr, size, nmemb, fp);
return written;
}
curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp);
curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_data);

1. 处理响应数据

对于HTML网页的响应，我们通常需要进行解析和提取。这个时候可以使用库，如libxml2、libtidy等。

示例1：C语言爬取Github API

下面的代码展示了一个简单的示例，说明如何通过C语言程序爬取Github API的数据：

#include <stdio.h>
#include <curl/curl.h>

int main(void) {
    CURL *curl;
    CURLcode res;
    char url[256];
    sprintf(url, "https://api.github.com/users/github");

    curl = curl_easy_init();
    if (curl) {
        curl_easy_setopt(curl, CURLOPT_URL, url);
        curl_easy_setopt(curl, CURLOPT_USERAGENT, "libcurl-agent/1.0");
        curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1L);
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, fwrite);

        res = curl_easy_perform(curl);
        if (res != CURLE_OK) {
            fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));
        }

        curl_easy_cleanup(curl);
    }
    return 0;
}

这个示例执行后，会直接输出Github API返回的内容。

示例2：C语言爬取Baidu搜索

这个示例说明了如何实现C语言爬虫来爬取Baidu搜索页面中的数据。

#include <stdio.h>
#include <string.h>
#include <curl/curl.h>

int write_callback(void *ptr, size_t size, size_t count, void *userdata) {
    char *str = (char *) userdata;
    int len = strlen(str);
    memcpy(&(str[len]), ptr, size * count);
    str[len + size * count] = '\0';
    return size * count;
}

int main(void) {
    CURL *curl;
    CURLcode res;
    char url[256];
    sprintf(url, "http://www.baidu.com/s?wd=hello+world");

    curl = curl_easy_init();
    if (curl) {
        char buf[65536] = {0};
        curl_easy_setopt(curl, CURLOPT_URL, url);
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_callback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, buf);

        res = curl_easy_perform(curl);
        if (res != CURLE_OK) {
            fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));
        } else {
            printf("%s", buf);
        }

        curl_easy_cleanup(curl);
    }
    return 0;
}

这个示例中，我们首先通过curl来构造了一个百度搜索hello world的URL链接，然后通过curl_easy_setopt设置不同的参数和回调函数来获取和处理响应。