使用LibTorch进行C++调用pytorch模型方式

使用LibTorch进行C++调用pytorch模型是一种常见的操作。下面将对如何使用LibTorch进行C++调用pytorch模型方式进行详细的讲解。

1. 安装LibTorch

首先需要从官网 https://pytorch.org/ 下载与你的CUDA版本和操作系统匹配的LibTorch库。

下载完成后，将下载的文件解压到你想要安装的目录。然后，在运行时，需要包含该目录的include文件和lib文件夹。

2. 载入模型

载入PyTorch模型，需要用到Torch::jit::load()函数。下面是一个简单的例子：

#include <torch/script.h> // 包含LibTorch头文件

int main() {
  torch::jit::script::Module module = torch::jit::load("model.pt");
}

在这里，“model.pt”是你的PyTorch模型保存的路径。如果模型中包含了CUDA设备，还需要使用其他的重载形式，来指定相应的设备。

另外，在载入模型的时候，必须要有PyTorch Python运行时环境的支持。也就是说，需要已经在代码中定义并初始化了Python环境。

3. 输入数据

载入模型后，就可以开始输入数据了。下面是一个例子：

int main() {
  // 载入模型
  torch::jit::script::Module module = torch::jit::load("model.pt");

  // 准备输入数据
  std::vector<torch::jit::IValue> inputs;
  inputs.push_back(torch::ones({1, 3, 224, 224}));

  // 使用模型进行推理
  at::Tensor output = module.forward(inputs).toTensor();
}

在这里，我们使用了一个由PyTorch张量构成的std::vector作为模型的输入。张量的类型和大小应该与模型的输入要求相对应。与输入相同，推理输出也是一个张量。

4. 使用模型进行推理

使用模型进行推理，只需要调用载入的module的forward()函数。forward()函数的参数是一个std::vector，也就是模型的输入。它的返回值是torch::jit::IValue类型的结果，需要进行转换，然后才能得到一个张量。

在以下示例中，我们将使用一个基本的ResNet模型进行推理，并传递一张随机生成的图像作为输入：

#include <torch/script.h>
#include <iostream>

int main() {
    // 载入模型
    torch::jit::script::Module module = torch::jit::load("resnet18.pt");

    // 准备输入数据
    torch::Tensor input_tensor = torch::randint(0, 255, {1, 3, 224, 224});
    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(input_tensor);

    // 使用模型进行推理
    at::Tensor output_tensor = module.forward(inputs).toTensor().detach().cpu();

    // 输出结果
    std::cout << output_tensor << std::endl;
    return 0;
}

在上面的代码中，我们首先使用PyTorch的randint()函数生成一张随机的224x224RGB图像。然后，将它打包成一个std::vector<torch::jit::IValue>，最后调用forward()函数进行推理，将输出张量的数据流转移到CPU（如设置了CUDA\GPU，要转到CUDA）。

除了基本的ResNet模型外，还可以使用libtorch进行推理显卡放到Cuda中

#include <ATen/ATen.h>
#include <torch/torch.h>
#include <iostream>

int main() {
    at::Tensor a = at::ones({2,2}, at::kCUDA);
    std::cout << a << std::endl;
    return 0;
}

在上述示例中，我们首先使用了ATen头文件，以及torch命名空间。使用了at::ones()函数初始化了一个2x2的张量，并将该张量转移到了CUDA上进行处理。这里，CUDA的使用和ATen库的调用都是使用全称空间名。造成这种情况的原因是，ATen和torch命名空间约定了在全称空间名下使用的的工具，以及项目名称的前缀，以便在ATen库中仅自动导入torch的对象。