Qt利用ffmpeg实现音视频同步

我将详细讲解“Qt利用ffmpeg实现音视频同步”的完整攻略。

1. 确定开发环境

首先，我们需要安装Qt和ffmpeg。Qt是一个跨平台的C++应用程序开发框架，可以用于开发Windows、MacOS、Linux等应用程序，而ffmpeg是一个广泛使用的开源跨平台的音视频处理工具。

2. 引入ffmpeg开发库

在Qt项目中使用ffmpeg，需要引入ffmpeg开发库。我们可以使用以下命令从Qt工具栏中打开项目属性窗口：

右键点击项目->属性->C++->常规->添加附加包含目录和附加库目录

添加 include 和 lib 目录的绝对路径。

例如：

附加包含目录：D:\ffmpeg-4.4\include
附加库目录：D:\ffmpeg-4.4\lib

接下来，在.pro文件中添加以下依赖：

LIBS += -lavcodec
LIBS += -lavformat
LIBS += -lavutil
LIBS += -lswresample
LIBS += -lswscale

3. 音视频解码同步实现

以下是示例代码，展示了如何通过使用FFmpeg读取音频和视频流并进行同步处理：

AVFormatContext *ic = avformat_alloc_context();
avformat_open_input(&ic, inputVideo, nullptr, nullptr);
avformat_find_stream_info(ic, nullptr);

int videoIndex = av_find_best_stream(ic, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);
int audioIndex = av_find_best_stream(ic, AVMEDIA_TYPE_AUDIO, -1, -1, nullptr, 0);

AVCodecParameters *codecP = ic->streams[videoIndex]->codecpar;
AVCodec *codec = avcodec_find_decoder(codecP->codec_id);
AVCodecContext *codecC = avcodec_alloc_context3(codec);

avcodec_parameters_to_context(codecC, codecP);
avcodec_open2(codecC, codec, nullptr);

AVFrame *pFrameYUV = av_frame_alloc();
AVFrame *pFrameRGB = av_frame_alloc();

int numBytesYUV = av_image_get_buffer_size(AV_PIX_FMT_YUV420P, codecC->width, codecC->height, 1);
uint8_t *bufferYUV = (uint8_t *) av_malloc(numBytesYUV * sizeof(uint8_t));
av_image_fill_arrays(pFrameYUV->data, pFrameYUV->linesize, bufferYUV, AV_PIX_FMT_YUV420P, codecC->width, codecC->height, 1);

int numBytesRGB = av_image_get_buffer_size(AV_PIX_FMT_RGB24, codecC->width, codecC->height, 1);
uint8_t *bufferRGB = (uint8_t *) av_malloc(numBytesRGB * sizeof(uint8_t));
av_image_fill_arrays(pFrameRGB->data, pFrameRGB->linesize, bufferRGB, AV_PIX_FMT_RGB24, codecC->width, codecC->height, 1);

AVPacket *pkt = av_packet_alloc();

while (av_read_frame(ic, pkt) >= 0) {
    if (pkt->stream_index == videoIndex) {
        if (avcodec_send_packet(codecC, pkt) == 0) {
            while (avcodec_receive_frame(codecC, pFrameYUV) == 0) {
                // convert YUV to RGB
                sws_scale(imgConvertCtx, (const uint8_t * const *) pFrameYUV->data, pFrameYUV->linesize, 0, codecC->height,
                          pFrameRGB->data, pFrameRGB->linesize);

                // process RGB
            }
        }
    } else if (pkt->stream_index == audioIndex) {
        // process audio
    }
    av_packet_unref(pkt);
}

av_packet_free(&pkt);
av_frame_free(&pFrameYUV);
av_frame_free(&pFrameRGB);
avcodec_free_context(&codecC);
avformat_free_context(ic);

这段代码中，我们首先使用avformat_open_input打开输入的音视频文件，并使用avformat_find_stream_info获取流的详细信息。然后，我们找到音频和视频流所在的索引，准备进行解码。

对于视频流，我们需要使用AVCodecContext打开相应的视频解码器，并使用avcodec_send_packet/avcodec_receive_frame逐帧进行处理。这里进行了一个YUV到RGB的颜色空间转换过程，相关代码中用到了imgConvertCtx的SwsContext对象。关于音频的处理，由于篇幅限制就不在这里赘述了。

以上是使用FFmpeg读取音视频流并进行同步处理的实现。在实际应用中，读取音视频流并进行处理的过程可能因为场景不同而有所不同，但总体步骤类似。

4. 视频解码、显示与播放

要播放我们读取和处理过的音视频流，需要使用一个合适的Qt工具。以下是示例代码，用于将处理过的视频帧显示到一个窗口中：

QImage::Format convertToQImageFmt(AVPixelFormat fmt)
{
    switch (fmt) {
        case AV_PIX_FMT_RGB24:
            return QImage::Format_RGB888;
        case AV_PIX_FMT_RGBA:
            return QImage::Format_RGBA8888;
        case AV_PIX_FMT_YUV420P:
            return QImage::Format_YUV420P;
        case AV_PIX_FMT_YUV422P:
            return QImage::Format_YUV422P;
        case AV_PIX_FMT_YUV444P:
            return QImage::Format_YUV444P;
        default:
            return QImage::Format_Invalid;
    }
}

void VideoPlayer::paintEvent(QPaintEvent *)
{
    QPainter painter(this);

    AVFrame *pFrame = videoPlayer->getFrame();
    if (pFrame == nullptr) {
        return;
    }

    AVPixelFormat pixelfmt = (AVPixelFormat) pFrame->format;
    QImage::Format qfmt = convertToQImageFmt(pixelfmt);
    if (qfmt == QImage::Format_Invalid) {
        return;
    }

    QImage qimg(pFrame->data[0], pFrame->width, pFrame->height, pFrame->linesize[0], qfmt);
    painter.drawImage(0, 0, qimg);
}

这段代码中，我们使用QPainter对象来将已经处理好的视频帧绘制到视频显示窗口中。首先，我们从我们自己实现的VideoPlayer对象中获取AVFrame对象，以准备进行处理。

然后，我们根据AVFrame对象的颜色空间、宽、高等参数创建一个QImage对象，该对象可以方便地被Qt用于绘制。最后，我们使用QPainter的drawImage函数将处理好的QImage对象绘制到窗口中。

以上示例只是展示了将视频帧显示到窗口中的简单示例。当然，我们也可以使用Qt提供的音视频播放器QMediaPlayer来处理和播放音视频流。