C语言实现HTTP下载器的方法

本篇攻略将介绍如何使用C语言实现一个HTTP下载器。

HTTP是一种应用层协议，常用于传输超文本。HTTP协议中使用TCP/IP协议进行数据传输，同时也支持加密传输（HTTPS）。本篇攻略将通过C语言编程实现HTTP协议中的GET方法，从而实现HTTP下载器。

准备工作

在开始之前，我们需要准备以下内容：

1. 了解HTTP协议的基本原理。HTTP协议基于请求-响应模式，使用URI来确定请求的资源，常用的HTTP方法有GET、POST等。
2. 了解C语言基础，熟悉C语言网络编程相关的API，如socket、connect、send、recv等。
3. 开发环境搭建。我们建议使用Visual Studio Code等开发工具，同时需要安装C语言的编译器和Socket编程库。

基本流程

实现HTTP下载器的基本流程如下：

1. 解析命令行参数，获取HTTP请求的URL。
2. 使用socket函数创建一个TCP套接字。
3. 使用connect函数将套接字连接到目标服务器的IP地址和端口号。
4. 构造HTTP请求报文，并使用send函数发送请求报文到服务器。
5. 使用recv函数接收服务器返回的HTTP响应报文。
6. 解析HTTP响应报文，并提取出需要下载的文件数据。
7. 将文件数据写入本地文件中。
8. 关闭套接字。

下面将具体讲解每个步骤实现的方法。

步骤1：获取HTTP请求的URL

我们可以使用命令行参数来指定需要下载的HTTP资源的URL。例如，我们可以在命令行中输入以下内容：

httpdownloader.exe https://www.example.com/file.txt

然后在程序中解析https://www.example.com/file.txt这个URL，以获取需要下载的HTTP资源的信息。

步骤2：创建TCP套接字

我们可以使用socket函数创建一个TCP套接字。具体方法如下：

int sockfd = socket(AF_INET, SOCK_STREAM, 0);

其中，AF_INET表示IPv4协议，SOCK_STREAM表示使用TCP协议进行数据传输，0表示使用默认的协议类型。

步骤3：将套接字连接到服务器

我们可以使用connect函数将套接字连接到目标服务器的IP地址和端口号。具体方法如下：

struct sockaddr_in servaddr;
memset(&servaddr, 0, sizeof(servaddr));

servaddr.sin_family = AF_INET;
servaddr.sin_port = htons(80); // HTTP默认端口是80

inet_pton(AF_INET, "www.example.com", &servaddr.sin_addr);
connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr));

其中，servaddr是sockaddr_in结构体类型的变量，用来存放服务器的IP地址和端口号。memset函数用来初始化servaddr结构体。inet_pton函数用来将字符串类型的IP地址转换为网络字节序的二进制数值格式。htons函数用来将主机字节序的端口号转换为网络字节序的端口号。

步骤4：发送HTTP请求报文

我们可以使用send函数发送HTTP请求报文到服务器。具体方法如下：

char request[1024];
sprintf(request, "GET /file.txt HTTP/1.1\r\n"
                  "Host: www.example.com\r\n"
                  "\r\n");

send(sockfd, request, strlen(request), 0);

其中，request是字符数组类型的变量，用来存放构造出的HTTP请求报文。sprintf函数用来格式化字符串，构造出HTTP请求报文。我们通过设置Host字段来告诉服务器需要下载的资源所在的主机名（即域名）。\r\n表示换行。

步骤5：接收HTTP响应报文

我们可以使用recv函数接收服务器返回的HTTP响应报文。具体方法如下：

char response[1024];
int len = recv(sockfd, response, sizeof(response), 0);

其中，response是字符数组类型的变量，用来存放接收到的HTTP响应报文。recv函数返回接收到的字节数。

步骤6：解析HTTP响应报文

我们需要解析HTTP响应报文，并提取出需要下载的文件数据。

HTTP响应报文的格式如下：

HTTP/1.1 200 OK
Content-Type: text/plain
Content-Length: 1024

Hello, World!

其中，第一行表示HTTP协议版本、状态码和状态描述。Content-Type表示响应报文中包含的数据类型。Content-Length表示响应报文中包含的数据长度。

我们需要编写代码来解析响应报文，并提取出文件数据。具体方法如下：

char *p = strstr(response, "\r\n\r\n");
int datalen = len - (p - response + 4);

FILE *fp = fopen("file.txt", "wb+");
fwrite(p + 4, 1, datalen, fp);
fclose(fp);

其中，strstr函数用来查找HTTP响应报文中数据部分的起始位置。datalen表示响应报文中包含的文件数据的长度（总长减去HTTP头部长度）。fp是文件指针类型的变量，用于打开并操作文件。fwrite函数用于将文件数据写入本地文件。

步骤7：关闭套接字

下载完毕之后，需要及时关闭套接字，以释放资源。具体方法如下：

close(sockfd);

示例

下面是一个完整的HTTP下载器的示例代码，用于下载百度的logo：

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <unistd.h>

int main(int argc, char *argv[]) {
    if (argc != 2) {
        printf("Usage: %s <URL>\n", argv[0]);
        exit(0);
    }

    char *url = argv[1];
    char domain[1024];
    char path[1024];

    if (sscanf(url, "http://%[^/]/%s", domain, path) != 2) {
        printf("Invalid URL: %s\n", url);
        exit(1);
    }

    int sockfd = socket(AF_INET, SOCK_STREAM, 0);
    if (sockfd == -1) {
        perror("socket error");
        exit(1);
    }

    struct sockaddr_in servaddr;
    memset(&servaddr, 0, sizeof(servaddr));

    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(80);

    if (inet_pton(AF_INET, domain, &servaddr.sin_addr) == -1) {
        perror("inet_pton error");
        exit(1);
    }

    if (connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) == -1) {
        perror("connect error");
        exit(1);
    }

    char request[1024];
    sprintf(request, "GET /%s HTTP/1.1\r\n"
                      "Host: %s\r\n"
                      "\r\n", path, domain);

    if (send(sockfd, request, strlen(request), 0) == -1) {
        perror("send error");
        exit(1);
    }

    char response[1024 * 10];
    int len = recv(sockfd, response, sizeof(response), 0);

    char *p = strstr(response, "\r\n\r\n");
    int datalen = len - (p - response + 4);

    FILE *fp = fopen("logo.png", "wb+");
    fwrite(p + 4, 1, datalen, fp);

    fclose(fp);

    close(sockfd);

    return 0;
}

下面是一个使用HTTPS协议下载的示例代码，用于下载百度的logo：

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <unistd.h>
#include <openssl/ssl.h>
#include <openssl/err.h>

int main() {
    SSL_library_init();

    SSL_CTX *ctx = SSL_CTX_new(TLS_client_method());
    if (ctx == NULL) {
        printf("Unable to create SSL context\n");
        exit(1);
    }

    SSL *ssl = NULL;
    int sockfd = -1;
    BIO *bio = NULL;

    bio = BIO_new_ssl_connect(ctx);
    if (bio == NULL) {
        printf("Unable to create BIO object\n");
        exit(1);
    }

    BIO_get_ssl(bio, &ssl);
    SSL_set_mode(ssl, SSL_MODE_AUTO_RETRY);

    BIO_set_conn_hostname(bio, "www.baidu.com:https");

    if (BIO_do_connect(bio) <= 0) {
        printf("Unable to connect to HTTPS server\n");
        exit(1);
    }

    int fd = BIO_get_fd(bio, NULL);
    sockfd = SSL_get_fd(ssl);

    char request[1024];
    sprintf(request, "GET /img/bd_logo1.png HTTP/1.1\r\n"
                      "Host: www.baidu.com\r\n"
                      "\r\n");

    if (send(sockfd, request, strlen(request), 0) == -1) {
        perror("send error");
        exit(1);
    }

    char response[1024 * 10];
    int len = recv(sockfd, response, sizeof(response), 0);

    char *p = strstr(response, "\r\n\r\n");
    int datalen = len - (p - response + 4);

    FILE *fp = fopen("logo.png", "wb+");
    fwrite(p + 4, 1, datalen, fp);

    fclose(fp);
    BIO_free_all(bio);
    SSL_CTX_free(ctx);

    return 0;
}

总结

本篇攻略介绍了如何使用C语言实现HTTP下载器的方法，具体步骤包括获取HTTP请求的URL、创建TCP套接字、将套接字连接到服务器、发送HTTP请求报文、接收HTTP响应报文、解析HTTP响应报文、将文件数据写入本地文件、关闭套接字。同时我们通过两个示例代码，演示了如何通过HTTP协议和HTTPS协议下载文件。