ffmpeg的AVPacket和AVFrame之间的关系

### FFmpeg AVPacket 使用说明 #### 初始化和读取 AVPacket 在 FFmpeg 中，`AVPacket` 是用于存储编码后的音视频帧的数据结构。初始化 `AVPacket` 并从中读取数据的过程如下： ```c #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> // 创建并初始化 AVPacket 结构体 AVPacket* packet = av_packet_alloc(); if (!packet) { fprintf(stderr, "Failed to allocate AVPacket\n"); exit(1); } // 打开输入文件并获取格式上下文 AVFormatContext *fmt_ctx; const char *input_filename = "input.mp4"; if (avformat_open_input(&fmt_ctx, input_filename, NULL, NULL) != 0) { fprintf(stderr, "Could not open source file %s\n", input_filename); exit(1); } if (avformat_find_stream_info(fmt_ctx, NULL) < 0) { fprintf(stderr, "Could not find stream information\n"); exit(1); } int ret; while ((ret = av_read_frame(fmt_ctx, packet)) >= 0) { // 处理每一个 AVPacket... // 清空当前使用的 AVPacket 数据以便下次使用 av_packet_unref(packet); } ``` 上述代码展示了如何创建一个 `AVPacket` 实例以及通过 `av_read_frame()` 函数来不断从媒体文件中读取出新的包[^1]。 #### 正确管理内存防止泄漏 当不再需要某个特定的 `AVPacket` 或者结束程序运行前应当确保正确释放其占用资源以免造成内存泄露现象发生: ```c // 当完成所有操作之后记得释放分配给 AVPacket 的空间 av_packet_free(&packet); // 关闭输入文件句柄 avformat_close_input(&fmt_ctx); ``` 注意这里不仅有对自定义指针对象进行了销毁(`av_packet_free`)还包含了对于外部依赖项如文件描述符等也做了清理工作(`avformat_close_input`). 这样可以有效避免潜在的风险问题[^2]. #### 编解码过程中利用 AVPacket 通常情况下，在实际应用里我们会把接收到的数据先保存成 `AVPacket`,再传递给相应的编解码函数去做进一步处理. ```c for (;;) { int got_output; // 假设已经有一个有效的 AVCodecContext *dec_ctx 和 AVFrame *frame /* 获取下一个压缩过的视频帧 */ if (av_read_frame(fmt_ctx, packet) < 0) break; /* 发送该数据包至解码器 */ if (avcodec_send_packet(dec_ctx, packet) == AVERROR(EAGAIN)) continue; while (got_output = 0, !avcodec_receive_frame(dec_ctx, frame)) { // 对解码出来的原始图像做些事情... // 将已处理完毕的数据标记为空闲状态供后续重用 av_frame_unref(frame); } // 同步清零本次循环所涉及的对象属性值以防干扰下一轮迭代过程. av_packet_unref(packet); } ``` 此片段体现了完整的从读入到最终显示或另存为其他形式之间的转换链路[^3].

在使用FFmpeg中进行音视频编解码时，每个AVPacket结构体都有一个pts字段，表示该AVPacket的显示时间戳。pts的计算方式与编码器和封装格式有关，常见的计算方法如下： 1. 对于视频帧，pts通常是解码器返回的AVFrame结构体的pts值，如果AVFrame结构体中没有pts值，则可以通过计算当前帧的播放时间来计算pts。例如，对于MPEG-2视频，pts可以通过计算以下公式得出：pts = 90 * ((dts - start_dts) * 300) / time_scale，其中dts为解码后的AVFrame的dts值，start_dts为第一个AVPacket的dts值，time_scale为视频流的时基值。 2. 对于音频帧，pts通常是通过计算当前帧的播放时间来计算的。例如，对于AAC音频，可以通过计算以下公式得出：pts = 90 * sample_index / sample_rate，其中sample_index为当前帧在音频流中的采样序号，sample_rate为音频流的采样率。 需要注意的是，pts的计算方式可能因编码器和封装格式的不同而有所差异，因此具体的计算方法需要根据实际情况进行调整。