ffmpeg基础开发

### FFmpeg基础开发知识点 #### 一、多媒体概念介绍 **1.1 视频格式** - **常见格式** - **MPEG**: 包括MPEG-1、MPEG-2、MPEG-4等标准，广泛应用于广播、电视等领域。 - **H.26x系列**: 如H.263、H.264 (AVC)、H.265 (HEVC)，被广泛用于互联网传输和移动设备。 - **AVI**: 由Microsoft开发，支持多种压缩算法。 - **MP4**: 基于MPEG-4 Part 14标准，是目前最流行的视频格式之一。 **1.2 音频格式** - **常见格式** - **MP3**: 最常见的有损压缩音频格式之一。 - **AAC**: 高级音频编码，音质优于MP3，被广泛用于Apple产品中。 - **WAV**: 无损音频格式，通常用于高质量音乐存储。 - **比较** - MP3因文件小而广泛使用，但音质略逊于AAC和WAV。 - AAC提供了更好的音质和更高的压缩效率。 - WAV由于其无损特性，文件较大，主要用于专业音频制作。 **1.3 字幕格式** - **外挂字幕与内嵌字幕的阐述** - **外挂字幕**: 存储在独立的文件中，如SRT、ASS或SSA格式。 - **内嵌字幕**: 直接嵌入到视频文件中，无法分离。 - **外挂字幕视频与内嵌字幕视频的画面比较** - 外挂字幕可以根据用户需求开启或关闭。 - 内嵌字幕无法修改或删除，适用于不需修改字幕的场合。 - **外挂字幕的三种格式** - **SRT**: 最常见的文本字幕格式。 - **ASS/SSA**: 支持更复杂的样式和效果。 - **VTT**: WebVTT格式，用于网页上的视频字幕。 **1.4 采集录制和播放渲染** - **视频采集** - 指通过摄像头或其他设备捕获视频信号的过程。 - **视频录制** - 将捕获的视频信号保存成文件。 - **视频渲染** - 将视频信号转化为图像序列并展示给观众。 **1.5 编解码器** - 编码器将原始数据转换为特定格式的数据流。 - 解码器则将这些数据流还原为原始数据。 **1.6 容器和协议** - **容器格式和编码格式** - 容器格式定义了如何封装音频、视频等多种数据类型。 - 编码格式规定了数据的压缩方式。 - **协议** - 视频协议如RTSP、HTTP Live Streaming (HLS)。 - 音频协议如RTP。 - 上层通讯协议如TCP/IP。 **1.7 常用概念介绍** - **硬解** - 硬件加速的解码过程，利用GPU提高性能。 - **IBP帧** - I帧：关键帧，可以直接解码。 - B帧：双向预测帧，依赖于前后帧进行解码。 - P帧：前向预测帧，只依赖于前面的帧。 - **DTS和PTS** - DTS: 解码时间戳，指示何时解码数据包。 - PTS: 显示时间戳，指示何时显示数据包。 - **分辨率** - 表示图像清晰度，单位为像素宽度×像素高度。 - **码率** - 单位时间内传输的数据量，常用Mbps表示。 - **帧率** - 每秒显示的图片数量，单位为fps。 - **RGB和YUV** - RGB: 红绿蓝三基色模型。 - YUV: 色度亮度分离模型。 - **实时和非实时** - 实时处理需要在限定时间内完成。 - 非实时处理没有严格的延时限制。 - **复合视频和S-Video** - 复合视频包含亮度和色度信号。 - S-Video将亮度和色度信号分开传输。 - **硬件加速** - 利用硬件（如GPU）来加速计算过程。 - **FFmpegDevice** - FFmpeg中的设备抽象层，用于处理输入输出设备。 #### 二、FFmpeg框架 **2.1 FFmpeg概述** - **简介** - FFmpeg是一个开源的多媒体框架。 - 提供了一系列工具和库来处理多媒体数据。 - **功能** - 编码和解码多种音频和视频格式。 - 捕获、过滤和转换媒体流。 - 多平台兼容性。 - **模块组成** - libavformat: 容器处理。 - libavcodec: 编解码。 - libavutil: 公共工具。 - libavfilter: 音视频滤镜。 - libswscale: 视频缩放和色彩空间转换。 - libswresample: 音频重采样。 - libavdevice: 输入输出设备支持。 - **命令集** - ffmpeg: 处理视频和音频。 - ffplay: 播放媒体文件。 - ffprobe: 探测媒体文件元数据。 **2.2 媒体播放器三大底层框架** - FFmpeg、GStreamer和VLC是三个常用的底层多媒体框架。 - 每个框架都有自己的优点和应用场景。 #### 三、编译及简单应用 **3.1 FFmpeg库编译和入门介绍** - FFmpeg库可以通过源码编译的方式安装。 - 编译选项可以定制化所需的功能。 **3.2 流媒体数据流程讲解** - 数据流从输入设备或文件读取，经过解码、滤镜处理后，再编码并输出到文件或设备。 **3.3 简单应用** - 使用FFmpeg进行简单的视频转码操作。 - 例如，将H.264编码的视频转为VP9编码。 **3.4 SDL（SimpleDirectLayer）** - **SDL显示视频** - SDL是一个跨平台的多媒体库。 - 可以用来显示FFmpeg解码后的视频帧。 - **SDL显示音频** - SDL也可以用于播放FFmpeg解码的音频数据。 **3.5 ffmpeg程序的使用** - **ffmpeg.exe** - 命令行工具，用于处理视频和音频文件。 - **ffplay.exe** - 媒体播放器，可以播放各种格式的媒体文件。 - **ffprobe.exe** - 用于探测媒体文件的信息。 #### 四、数据结构 - **AVCodec结构体** - 描述编解码器的基本属性。 - **AVCodecContext结构体** - 存储编解码器上下文，包括参数设置。 - **AVInputFormat结构体** - 描述输入容器格式。 - **AVFormatContext结构体** - 用于管理媒体文件或网络流的整体上下文。 - **MovContext结构体** - 用于处理MOV格式文件。 - **URLProtocol结构体** - 定义了访问不同协议的接口。 - **URLContext结构体** - 用于管理网络连接。 - **AVIOContext结构体** - 处理输入输出流。 - **AVStream结构体** - 描述单个媒体流的信息。 - **MOVStreamContext结构体** - MOV格式的流上下文。 - **AVPacket结构体** - 包含编码后的媒体数据包。 - **AVPacketList结构体** - 存储AVPacket的链表。 - **AVFrame结构体** - 存储未压缩的音频或视频帧数据。 #### 五、重要模块 **5.1 libavutil公共模块** - **common.h文件** - 包含基本的宏定义和类型声明。 - **bswap.h文件** - 提供字节序转换函数。 - **rational.h文件** - 定义了有理数结构体。 - **mathematics.h文件** - 数学函数集合。 - **avutil.h文件** - FFmpeg公共实用函数。 **5.2 libavcodec编解码模块** - **avcodec.h文件** - 编解码器API的主要头文件。 - **allcodec.c文件** - 注册所有编解码器。 - **dsputil.h文件** - 数字信号处理工具函数。 - **dsputil.c文件** - 数字信号处理工具函数实现。 - **utils_codec.c文件** - 编码器工具函数。 - **imgconvert_template.h文件** - 图像转换模板函数。 - **imgconvert.c文件** - 图像颜色空间转换实现。 - **msrle.c文件** - Microsoft RLE编码器实现。 - **turespeech_data.h文件** - TrueSpeech编码器数据文件。 - **turespeech.c文件** - TrueSpeech编码器实现。 **5.3 libavformat容器模块** - **avformat.h文件** - 容器API的主要头文件。 - **allformat.c文件** - 注册所有容器格式。 - **cutils.c文件** - 容器工具函数。 - **file.c文件** - 文件操作相关函数。 - **avio.h文件** - IO操作相关头文件。 - **avio.c文件** - IO操作相关函数实现。 - **aviobuf.c文件** - 缓冲区管理。 - **utils_format.c文件** - 容器工具函数实现。 - **avidec.c文件** - 容器解码器函数。 #### 六、播放器 - **ffmpeg库的配置** - 配置FFmpeg库以支持所需的编解码器和容器格式。 - **一个简单的视频播放器** - 使用FFmpeg库进行视频解码，并利用SDL库进行显示。 - **音频播放器** - 类似地，使用FFmpeg解码音频，并利用SDL播放。 - **一个完整的播放器--ffplay** - 提供了一个图形界面的媒体播放器。 - **ffplay流程图** - 描述ffplay的工作流程。 - **ffplay源码剖析** - 分析ffplay的核心代码，了解其实现原理。 #### 七、应用开发 - **7.1 ffmpeg库的使用：编码** - 使用FFmpeg库对视频进行编码。 - 选择合适的编解码器和参数设置。 #### 八、关键函数介绍 - **8.1 avformat_open_input()** - 打开一个媒体文件或网络流。 - **8.2 avcodec_register_all()** - 注册所有的编解码器。 - **8.3 av_read_frame()** - 从媒体文件或网络流中读取下一个数据包。 - **8.4 avcodec_decode_video2()** - 解码一个视频数据包。 - **8.5 transcode_in** - 用于视频转码的函数。