深入理解FFmpeg

上篇 基础与参数详解
第 1章　多媒体基础　2
1.1 从现实世界到数字世界　2
1.1.1 颜色和图像　2
1.1.2 电影、电视和视频　4
1.1.3 音频　6
1.1.4 音视频封装、传输和 未来　10
1.2 视频图像像素点的数据格式　10
1.2.1 图像的位深　10
1.2.2 FourCC　11
1.2.3 灰度模式表示　11
1.2.4 YUV色彩表示　11
1.2.5 RGB色彩表示　15
1.2.6 HSL与HSV色彩表示　18
1.3 视频逐行和隔行扫描、NTSC与 PAL制式　19
1.3.1 逐行与隔行扫描　19
1.3.2 NTSC制式　20
1.3.3 PAL制式　21
1.4 帧率、PTS和DTS　22
1.5 图像分辨率与宽高比　22
1.6 图像的色彩空间　23
1.7 音频采样数据格式　24
1.7.1 声道　25
1.7.2 采样率　26
1.7.3 采样位深　27
1.7.4 带宽计算　28
1.8 小结　28
第 2章　FFmpeg简介　29
2.1 FFmpeg的发展历史　29
2.2 FFmpeg的基本组成　31
2.2.1 封装/解封装模块 AVFormat　32
2.2.2 编/解码模块AVCodec　32
2.2.3 滤镜模块AVFilter　32
2.2.4 设备模块AVDevice　33
2.2.5 图像转换模块swscale　34
2.2.6 音频转换模块 swresample　34
2.2.7 编解码工具ffmpeg　34
2.2.8 播放器ffplay　35
2.2.9 多媒体分析器ffprobe　35
2.3 不同平台下的编译　35
2.3.1 Windows平台编译 FFmpeg　36
2.3.2 Linux平台编译 FFmpeg　37
2.3.3 macOS平台编译 FFmpeg　38
2.4 FFmpeg特性的选择与定制　38
2.4.1 编码器支持　40
2.4.2 解码器支持　41
2.4.3 封装支持　41
2.4.4 解封装支持　42
2.4.5 通信协议支持　42
2.5 小结　43
第3章　FFmpeg工具使用基础　44
3.1 ffmpeg常用命令　44
3.1.1 封装转换　46
3.1.2 解码和编码　47
3.1.3 转码流程　48
3.2 ffprobe常用命令　49
3.2.1 ffprobe常用参数　49
3.2.2 ffprobe使用示例　51
3.3 ffplay常用命令　58
3.3.1 ffplay常用参数　59
3.3.2 ffplay高级参数　60
3.3.3 ffplay的数据可视化分析 应用　63
3.3.4 ffplay快捷键　65
3.4 小结　65
第4章　封装与解封装　66
4.1 视频文件转MP4　67
4.1.1 MP4格式标准介绍　68
4.1.2 Fragment MP4与CMAF　89
4.1.3 MP4分析工具　91
4.1.4 MP4在FFmpeg中的 Demuxer　94
4.1.5 MP4在FFmpeg中的 Muxer　95
4.2 视频文件转FLV　99
4.2.1 FLV文件标准介绍　99
4.2.2 FLV Muxer参数说明　104
4.2.3 文件转FLV举例　104
4.2.4 生成带关键索引的 FLV　105
4.2.5 FLV文件格式分析 工具　106
4.3 视频文件转MPEG-TS　107
4.3.1 MPEG-TS格式简介　109
4.3.2 MPEG-TS Muxer参数 说明　113
4.3.3 MPEG-TS格式分析 工具　114
4.4 视频文件转HLS　115
4.4.1 HLS标准的M3U8 介绍　116
4.4.2 HLS Muxer参数　119
4.4.3 HLS Muxer举例说明　119
4.5 视频文件切片　128
4.5.1 segment切片参数　128
4.5.2 segment切片举例　129
4.5.3 使用ss与t参数切片　132
4.6 视频文件的音视频流抽取　133
4.6.1 提取AAC音频流　133
4.6.2 提取H.264视频流　134
4.6.3 提取H.265视频流　134
4.7 系统资源使用情况　135
4.8 小结　136
第5章　编码与转码　137
5.1 软编码H.264　138
5.1.1 x264编码参数简介　139
5.1.2 H.264编码举例　141
5.2 硬件加速　154
5.2.1 基于OS的硬件加速方案 简介　155
5.2.2 NVIDIA GPU硬编 解码　163
5.2.3 Intel QSV硬编解码　165
5.2.4 Raspberry Pi硬编解码　170
5.2.5 macOS系统硬编解码　171
5.2.6 其他加速方案简介　173
5.3 输出MP3　173
5.3.1 MP3编码参数介绍　174
5.3.2 MP3的编码质量设置　174
5.3.3 平均码率编码ABR 参数　176
5.4 输出AAC　176
5.4.1 AAC编码器操作　178
5.4.2 FDK-AAC　179
5.4.3 高质量AAC设置　182
5.4.4 AAC音频质量对比　182
5.5 系统资源使用情况　182
5.6 小结　183
第6章　流媒体技术　184
6.1 录制与发布RTMP流　185
6.1.1 RTMP参数说明　186
6.1.2 RTMP参数举例　187
6.2 录制与发布RTSP流　189
6.2.1 RTSP demuxer参数 介绍　190
6.2.2 RTSP demuxer参数使用 举例　191
6.2.3 RTSP demuxer/muxer的 一些小说明　193
6.3 录制HTTP流　194
6.3.1 HTTP参数说明　194
6.3.2 HTTP参数举例　195
6.4 录制与发布UDP/TCP流　197
6.4.1 TCP与UDP参数　197
6.4.2 TCP/UDP参数使用 举例　198
6.4.3 TCP/UDP使用小结　201
6.5 多路流输出　202
6.5.1 管道方式输出多路流　202
6.5.2 tee封装格式输出　202
6.5.3 tee协议输出多路流　203
6.6 DASH流输出　204
6.6.1 参数介绍　205
6.6.2 参数举例　205
6.7 HDS流输出　206
6.7.1 参数说明　206
6.7.2 HDS使用举例　207
6.8 小结　208
第7章　bitstream过滤器　209
7.1 aac_adtstoasc过滤器　210
7.1.1 ADTS格式　210
7.1.2 ASC格式　211
7.2 mp4toannexb过滤器　212
7.2.1 Annex B格式　213
7.2.2 AVCC格式　213
7.2.3 hevc_mp4toannexb/h264_ mp4toannexb的使用　214
7.3 h264_metadata过滤器　215
7.3.1 h264_metadata参数说明 　216
7.3.2 h264_metadata参数举例 　216
7.3.3 其他Codec的metadata 过滤器　221
7.4 其他常用bitstream过滤器　221
7.4.1 dump_extra　221
7.4.2 trace_headers　222
7.4.3 filter_units　223
7.5 小结　225
第8章　滤镜使用　226
8.1 滤镜表达式使用　226
8.2 滤镜描述格式　229
8.2.1 滤镜基本排列方式　229
8.2.2 时间内置变量　229
8.3 视频水印操作　229
8.3.1 文字水印示例　229
8.3.2 图片水印示例　232
8.4 画中画操作　233
8.5 视频多宫格处理　235
8.6 视频字幕操作　237
8.6.1 ASS字幕流写入视频流 　237
8.6.2 ASS字幕写入封装容器 　238
8.7 视频3D化处理　239
8.7.1 stereo3d处理3D视频　239
8.7.2 3D图像转换示例　241
8.8 视频截图操作　242
8.8.1 vframes参数截取一张图片 　242
8.8.2 fps滤镜定时获得图片　242
8.9 音频流滤镜操作　243
8.9.1 双声道合并单声道　243
8.9.2 双声道提取　243
8.9.3 双声道转双音频流　244
8.9.4 单声道转双声道　244
8.9.5 两个音频源合并双声道　245
8.9.6 多个音频合并为多声道 　245
8.10 音频音量探测　246
8.10.1 音频音量获得　246
8.10.2 绘制音频波形　247
8.11 生成测试元数据　248
8.11.1 生成音频测试流　248
8.11.2 生成视频测试流　248
8.12 音视频倍速处理　250
8.12.1 atempo音频倍速处理　250
8.12.2 setpts视频倍速处理　251
8.13 云剪辑常用技术　252
8.13.1 定格帧　252
8.13.2 透明视频兼容处理　252
8.13.3 隔行交错视频兼容处理 　253
8.13.4 HDR视频兼容处理　254
8.13.5 雪碧图和WebVTT　255
8.13.6 缩略图　256
8.13.7 复杂项目渲染　256
8.13.8 色度抠图　257
8.13.9 蒙版抠图　258
8.13.10 调色　259
8.13.11 透明度调整　259
8.13.12 动态缩放　260
8.13.13 画质检测　260
8.13.14 滤镜动态调整　262
8.13.15 深度学习　262
8.14 小结　264
第9章　采集设备操作　265
9.1 Linux设备操作　265
9.1.1 查看设备列表　265
9.1.2 采集设备fbdev参数说明 和使用　266
9.1.3 采集设备v4l2参数说明 和使用　266
9.1.4 采集设备x11grab参数 说明和使用　268
9.2 macOS设备操作　269
9.2.1 查看设备列表　270
9.2.2 设备采集举例　270
9.3 Windows设备采集　273
9.3.1 使用dshow采集音视频 设备　273
9.3.2 使用vfwcap采集视频 设备　274
9.3.3 使用gdigrab采集窗口　274
9.4 小结　276
下篇 API使用及开发
第 10章　libavformat接口的使用　279
10.1 媒体流封装　281
10.2 媒体流解封装　284
10.3 文件转封装　288
10.4 视频截取　290
10.5 AVIO以及示例　292
10.6 AVPacket常用操作　296
10.7 小结　300
第 11章　libavcodec接口的使用　301
11.1 旧接口的使用　302
11.1.1 视频解码旧接口　303
11.1.2 视频编码旧接口　306
11.1.3 音频解码旧接口　308
11.1.4 音频编码旧接口　310
11.2 新接口的使用　311
11.2.1 视频解码新接口　312
11.2.2 视频编码新接口　315
11.2.3 音频解码新接口　318
11.2.4 音频编码新接口　320
11.3 硬件加速的编解码　322
11.3.1 硬件加速解码　323
11.3.2 硬件加速编码　327
11.4 AVFrame操作　329
11.5 内存操作　335
11.6 小结　337
第 12章　libavfilter接口的使用　338
12.1 Filter和FilterGraph简述　338
12.2 FFmpeg中内置的滤镜　340
12.2.1 音频滤镜　340
12.2.2 视频滤镜　345
12.3 libavfilter的API使用　354
12.4 使用滤镜给视频加Logo　356
12.5 小结　360
第 13章　FFmpeg辅助库的使用　361
13.1 libavutil的dict与opt操作　361
13.2 libswscale的sws_scale图像 转换　368
13.2.1 图像转换流程　368
13.2.2 代码实例　370
13.3 libswresample执行声音转换　374
13.3.1 声音转换流程　374
13.3.2 代码实例　376
13.4 小结　379
第 14章　音视频播放器开发实例　380
14.1 播放器开发概述　380
14.2 SDL核心功能API介绍　381
14.2.1 初始化SDL库　381
14.2.2 图像渲染　381
14.3 SDL音频播放　387
14.3.1 SDL事件循环　389
14.3.2 SDL定时器　391
14.4 播放器解码和展示　392
14.4.1 FFmpegPlayerCtx　393
14.4.2 播放器设计　395
14.4.3 事件循环线程　399
14.4.4 demux线程　400
14.4.5 视频解码线程　408
14.4.6 音视频同步　412
14.4.7 音视频扩展　417
14.5 小结　417
第 15章　FFmpeg在RTC中的实例解析　418
15.1 RTC的特点　418
15.1.1 什么是RTC　418
15.1.2 RTC媒体传输　419
15.2 FFmpeg在Chromium中的应用　421
15.2.1 FFmpeg在Chromium WebRTC中的应用　422
15.2.2 FFmpeg在Chromium中的其他应用　428
15.3 FFmpeg在FreeSWITCH中的应用　433
15.3.1 FreeSWITCH简介　433
15.3.2 FreeSWITCH的FFmpeg 模块开发环境准备　434
15.3.3 FFmpeg初始化和加载 　436
15.3.4 avcodec实例　436
15.3.5 avformat实例　447
15.3.6 其他　468
15.4 FFmpeg在BareSIP中的应用 　469
15.4.1 AVCodec　469
15.4.2 AVFormat　480
15.4.3 AVFilter　489
15.5 小结　494
第 16章　定制FFmpeg模块　495
16.1 添加AVFormat模块　496
16.1.1 book文件格式　496
16.1.2 添加文件　497
16.1.3 添加文件封装格式　497
16.1.4 添加文件解封装格式　502
16.2 添加AVCodec模块　505
16.2.1 book编解码算法定义　505
16.2.2 实现book编码　505
16.2.3 实现book解码　507
16.2.4 将编解码器注册到FFmpeg 并加入编译工程　508
16.2.5 运行测试　509
16.3 添加AVFilter模块　509
16.3.1 添加基础滤镜　509
16.3.2 支持多线程图像处理 　512
16.3.3 支持图像动态化的表达式　513
16.3.4 支持process_command　515
16.4 添加Protocol模块　516
16.4.1 添加新协议的消息结构　516
16.4.2 回调函数　517
16.4.3 编译　518
16.4.4 测试　519
16.5 小结　519
第 17章　FFmpeg调试与测试　520
17.1 自身的调试选项　520
17.1.1 debug选项　520
17.1.2 DTS/PTS问题的排查　521
17.2 loglevel与report 　522
17.2.1 使用loglevel　522
17.2.2 使用report　523
17.3 在调用库时的调试　523
17.3.1 基于日志　524
17.3.2 基于带调试信息库　524
17.4 给社区汇报Bug及提交补丁　525
17.4.1 代码风格　525
17.4.2 给FFmpeg贡献代码　528
17.5 小结　530