智能汽车环境感知技术

第1章　绪论001
1.1　汽车的智能化002
1.1.1　智能汽车002
1.1.2　智能网联汽车002
1.1.3　无人驾驶汽车003
1.2　环境感知技术的重要性004
1.3　国内外研究现状006
1.3.1　基于图像的环境感知技术006
1.3.2　基于点云的环境感知技术010
1.3.3　基于多传感器融合的环境感知技术012
1.3.4　基于多任务网络的环境感知技术013
第2章　智能汽车感知系统及传感器标定方法015
2.1　感知系统介绍016
2.1.1　感知系统架构016
2.1.2　传感器介绍017
2.2　单目相机标定019
2.2.1　相机成像模型019
2.2.2　相机内参标定022
2.3　相机和激光雷达联合标定025
2.3.1　相机坐标系和激光雷达坐标系的转换模型025
2.3.2　外参的联合标定026
本章小结031
第3章　基于单目视觉的环境感知技术033
3.1　深度学习理论及相关方法介绍034
3.1.1　注意力机制034
3.1.2　注意力机制的计算034
3.1.3　自注意力机制035
3.2　VisionTransformer037
3.3　SwinDeformableTransformer-BiPAFPN-YOLOX目标检测算法041
3.3.1　DarkNet53-PAFPN-YOLOX目标检测算法041
3.3.2　SwinDeformableTransformer-BiPAFPN-YOLOX目标检测算法整体结构045
3.3.3　重建可变形自注意力机制046
3.3.4　主干网络：SwinDeformableTransformer048
3.3.5　颈部：BiPAFPN051
3.4　实验与分析053
3.4.1　实验平台搭建053
3.4.2　数据集053
3.4.3　评价标准053
3.4.4　训练策略055
3.4.5　实验数据统计与分析055
3.5　实车实验062
3.5.1　实验设备介绍062
3.5.2　实时检测064
本章小结067
第4章　基于MobileNetv2_CA-YOLOv4的环境感知技术069
4.1　MobileNetv2_CA-YOLOv4的轻量化目标检测算法070
4.1.1　深度可分离卷积070
4.1.2　网络结构的构建071
4.1.3　注意力机制及对比074
4.1.4　协调注意力机制CoordinateAttention（CA）的嵌入075
4.1.5　构造网络损失函数078
4.1.6　马赛克图像增强方法079
4.2　MobileNetv2_CA-YOLOv4目标检测算法的实验与分析080
4.2.1　实验平台080
4.2.2　数据集介绍081
4.2.3　模型训练081
4.2.4　评价指标082
4.2.5　实验结果分析082
4.2.6　目标检测结果对比086
本章小结089
第5章　基于MCDVformer的多任务环境感知技术091
5.1　多任务主干MCDVformer介绍092
5.1.1　整体结构092
5.1.2　移位窗口自注意力机制092
5.1.3　重建可变形自注意力机制093
5.1.4　关键点可变形自/交叉注意力机制094
5.1.5　SwinDeformableEncoder-Decoder095
5.1.6　密集残差连接097
5.2　目标检测实验098
5.2.1　数据集与评价标准098
5.2.2　训练策略098
5.2.3　定量实验分析099
5.2.4　定性实验分析100
5.3　实例分割实验101
5.3.1　数据集、训练策略与评价指标101
5.3.2　定量实验分析101
5.3.3　定性实验分析103
5.4　目标分类实验103
5.4.1　数据集以及评价指标103
5.4.2　训练策略104
5.4.3　定量实验分析104
5.5　语义分割实验106
5.5.1　数据集与评价指标106
5.5.2　训练策略106
5.5.3　定量实验分析106
5.5.4　定性实验分析108
5.6　消融实验109
5.7　实车实验113
5.7.1　目标检测实车实验113
5.7.2　实例分割实车实验115
5.7.3　语义分割实车实验117
本章小结118
第6章　基于点云数据增强的环境感知技术119
6.1　点云密度和语义增强框架与流程120
6.1.1　点云密度增强121
6.1.2　点云语义增强122
6.2　点云和图像之间的坐标转换124
6.3　数据集和检测器细节125
6.4　实验和结果分析126
6.4.1　nuScenes数据集的评价指标126
6.4.2　nuScenes数据集上的实验结果127
6.4.3　KITTI数据集上的实验结果127
6.5　消融实验128
6.5.1　点云密度增强的有效性验证129
6.5.2　点云语义增强的有效性验证131
6.5.3　D-SAugmentation整体性能的有效性验证132
本章小结134
第7章　基于两阶段序列融合的环境感知技术135
7.1　多模态传感器数据融合方法及概念136
7.2　两阶段序列融合网络137
7.3　最近群组关联的点云语义增强137
7.3.1　点云语义增强模块138
7.3.2　最近群组关联138
7.4　基于置信度和距离的非极大值抑制141
7.4.1　基于置信度的非极大值抑制141
7.4.2　级联距离与置信度的非极大值抑制141
7.5　实验结果及分析143
7.5.1　数据集介绍143
7.5.2　二维检测器的配置143
7.5.3　三维检测器的配置144
7.5.4　融合模块的配置144
7.5.5　检测结果及对比145
7.6　消融实验146
7.6.1　NGP模块的有效性146
7.6.2　C-DNMS模块的有效性147
7.6.3　TSF整体网络的有效性149
本章小结150
第8章　基于多模态融合的环境感知技术151
8.1　多模态融合环境感知算法问题描述152
8.2　MFF-Net总体框架153
8.2.1　空间变换投影（STP）154
8.2.2　自适应表达增强（AEE）融合155
8.2.3　自适应非极大值抑制（A-NMS）算法157
8.3　实验设置158
8.3.1　实验环境158
8.3.2　网络细节159
8.3.3　KITTI数据集评价指标159
8.3.4　网络训练参数159
8.4　实验结果和分析160
8.4.1　KITTI测试结果与分析160
8.4.2　nuScenes测试结果与分析162
8.5　消融实验162
8.5.1　定量实验分析163
8.5.2　定性实验分析164
本章小结167
参考文献168