计算机视觉life”，选择“星标”
快速获得最新干货
本文转载自自动驾驶之心
自动驾驶中的多传感器融合
原文：Multi-Sensor Fusion in Automated Driving: A Survey
自动驾驶正成为影响未来行业的关键技术，传感器是自动驾驶系统中感知外部世界的关键，其协作性能直接决定自动驾驶车辆的安全性。本文主要讨论了近年来自动驾驶中多传感器融合的不同策略。分析了常规传感器的性能和多传感器融合的必要性，包括radar、激光雷达、摄像机、超声波、GPS、IMU和V2X。根据最近研究中的差异，将融合策略分为四类，并指出了一些不足之处。传感器融合主要应用于多目标跟踪和环境重建，论文讨论了多目标跟踪中建立运动模型和数据关联的方法。最后，作者分析了当前研究中的不足，并提出了未来进一步改进的建议。通过本survey， 希望能够分析自动驾驶过程中多传感器融合的现状，并提供更有效和可靠的融合策略。
本文首先讨论了AD中使用的传感器和技术，以及为什么和如何使用它们来完成AD任务。然后，根据不同研究中的特定融合方法，分析和讨论了当前的不足和可以改进的地方。
1）融合感知系统中的传感器
1.毫米波雷达
目前，毫米波雷达的主流频段包括24GHZ、60GHZ和77GHZ，最流行的是77GHZ；而60GHZ是仅在日本采用的频段，24GHZ频段将在未来逐步废除。79GHZ波段雷达具有更高的距离、速度和角度分辨率，已得到广泛认可，并将成为未来车载雷达的主流频带。与相机和激光雷达相比，毫米波雷达具有更长的波长，具有一定的抗阻塞和抗污染能力，可以应对雨、雪、雾和黑暗环境。雷达不仅可以获得多个目标的精确距离，还可以利用多普勒频移效应测量相对速度。不同类型的车载雷达波形通常分为调频连续波（FMCW）雷达和脉冲雷达。由于脉冲雷达在接收回波信号时需要严格隔离发射信号，而高功率信号将在一个短暂的连续周期中发射，这导致了对硬件的高要求和复杂的结构。因此，大多数车载毫米波雷达采用FMCW作为发射波形。FMCW雷达确保目标的距离和相对速度同时可用，并且速度分辨率和距离分辨率是可控的。
毫米波雷达的一个缺点是对于相对静止的目标难以区分。除受到噪声干扰外，AD车辆还经常受到由金属物体（如路标或护栏）产生的错误警报的影响。一般的处理方法是采用恒虚警率（CFAR）检测，用噪声的方差不断更新判决阈值，从而获得恒定的虚警概率[51]。此外，预处理的雷达数据可以通过应用生成对抗网络（GAN）[52]-[55]生成图像，但图像仍然面临分辨率不足的问题。此外，随着配备FMCW雷达的车辆数量的增加，共享频率干扰现象将成为一个问题，参考文献[56]提出了一种新的雷达布置系统，该系统具有不受带宽限制的适当的布置解决方案。与同类雷达相比，其分辨率提高了一个数量级以上，这将有助于雷达构建高分辨率地图。
2.Camera
为了从图像中获得目标的位置，需要建立像素与物理世界之间的关系，这称为相机标定。参考文献[58]回顾了相机标定的方法，并将其分为优化方法、变换矩阵方法、分布标定方法、张正友标定方法和传统标定方法。在实际标定过程中，参考文献[59]提出了灵活的摄像机标定方法，该方法只需要从不同角度拍摄棋盘，然后建立径向透镜畸变模型。该方法包括一个封闭形式的解，然后根据最大似然准则进行非线性求解。针对多传感器融合，参考文献[60]-[64]提出了一些基于深度信息的摄像机标定方法。随着计算机视觉应用的不断扩展，有必要提出具有更低复杂度和更灵活的新颖创新算法。一些研究使用双目相机或深度相机来获得具有深度信息的图像数据。然而，在距离分辨率方面，与radar或激光雷达[16]，[65]仍有很大差距。参考文献[66]中，基于Pascal、Coco和CityScape的现有数据集生成的污损图像（模糊、雪天、雾天、过亮过曝）用于评估最先进的目标检测算法。如下图所示，检测精度至少降低了31.1%，在某些情况下，最大值降低了60.4%。因此，可以得出结论，无论在何种条件下，单摄像机传感器都是非常不可靠的。
3.激光雷达
4.GPS和IMU
车载定位设备可以通过多个传感器的协作来解决和处理一些专有场景，高精度算法设计还为自动驾驶车辆提供了高精度定位。参考文献[77]认为，双天线和IMU的组合可以克服传感器偏差并获得ood精度，但系统成本太高。因此，本研究提出了一种基于GPS和IMU的低成本横向滑移角估计方法。然而，他们认为，尽管摄像机可以提供有用的角度信息，但由于其不可靠的操作，摄像机不能很好地应用于横向滑移角的测量过程。同时，当角速度变化太快时，该方案不能很好地工作。车载GPS和IMU的结合可以实现其车辆的定位。仅依靠GPS和IMU无法实现FAD车辆的车道水平定位要求。参考文献[78]，GPS和IMU用于实时跟踪移动目标。跟踪结果表明，跟踪目标和实际路线之间仍然存在无法忍受的偏差。对于L4和L5水平的AD，显然有更多的传感器需要数据融合。SLAM使用摄像机或激光雷达数据通过闭环检测校准位置，以实现车辆在定位环境中的精确定位。参考文献[79]提出为B-SLAM、GPS和IMU设置信息，并提高自主车辆定位的鲁棒性和准确性。该方法可以通过IMU信息的EMI监督聚类获得密集的FGPSS信号，这增强了鲁棒性，即使GPS信号丢失，也能实现更好的定位。此外，在参考文献[80]中，将激光雷达点云与GPS-IMU融合，并通过全卷积神经网络研究处理后的数据，以生成车辆的安全驾驶路线。同时，讨论了雷达和摄像机数据融合的可能性，以进一步提高系统的传感精度和传感范围。一般而言，将更多传感器数据融合到广告感知过程中将显著提高车辆感知能力和感知范围。多个传感器产生的计算压力也会增加。V2V、V2I和云计算的结合将降低车辆处理大量数据的计算压力。与DSRC相比，C-V2X技术具有更全面的覆盖范围、更大的带宽，并与智能手机兼容，实现了车辆与人之间的通信。
5.车辆通信
6.多传感器融合与分析
目前，三种主要传感器组合形式用于感知MSHIF系统中的环境，包括RC、CL和RCL。结果表明，最常用的传感器组合是RC，因为这种组合可以在获得周围物体的距离信息的同时获得优异的分辨率。同样，激光雷达和摄像机的组合可以获得具有深度的图像信息，一些研究将激光雷达和毫米波雷达与摄像机相结合，以提高安全冗余度。雷达和摄像机都是全方位的经济技术，激光雷达的性能正在逐步提高，高性能产品的价格仍然很高。虽然camera可以获得目标的轮廓、纹理和颜色分布，但缺点也是显而易见的。双目和深度相机的应用允许图像数据具有深度信息，但在高精度方面还有很长的路要走。与相机和激光雷达相比，毫米波雷达具有更长的波长，可以穿透雨、雪和雾。美中不足的是，雷达更容易受到杂波干扰。激光雷达可以昼夜连续工作，除恶劣天气条件外，还可以提供高分辨率和长距离的三维数据。因此，满足各种工作条件的唯一解决方案是采用MSHIF技术。
2）多传感器数据融合
1.基于可分辨单元的融合策略
基于可分辨单元（FSBDU）的融合策略或数据级融合，是指将不同传感器的可分辨单元的数据直接融合，然后对融合后的数据进行进一步处理的融合过程。FSBDU[93]，[94]基本上用于多源图像融合以增强图像，特别是在通过融合红外图像和RGB图像进行遥感成像的应用中。由于波长较长，毫米波雷达的原始数据不利于立即成像。激光雷达的空间分辨率高于毫米波雷达，但水平分辨率和垂直分辨率仍远远落后于光学图像。同时，由于传感器的不同采样率和FOV，有必要在时间和空间上分别对齐它们。多个传感器的数据处理单元（称为帧）具有不同的数据格式和数据体积，因此需要对齐不同的传感器帧。空间对准意味着不同传感器检测到的相同目标对应于FSBDU过程中的统一坐标系。近年来，一些研究侧重于毫米波雷达成像[95]，[96]，但仍不足以区分复杂场景中的多个目标。一些研究使用雷达或激光雷达生成光栅图，然后与光学图像融合，这也可以被视为FSBDU方法。一般来说，在雷达或激光雷达与摄像机融合的过程中，FSB分为两个方向。一种是基于雷达或激光雷达的障碍物检测结果，生成光栅图，即基于区域的融合。另一种方法是将光学图像作为真实样本，并通过GAN[52]-[55]生成雷达或激光雷达图像。
自动驾驶过程中的多源异构像素级融合通常利用雷达和激光雷达或生成的图像的可分辨单元，然后从融合数据中提取环境特征和目标参数，用于进一步决策。FSBDU直接合并数据，无需深度信息提取[103]。虽然可以最大程度地融合多源数据，但数据之间存在冗余，导致融合效率低。
2.基于互补特征的融合策略
3.基于目标属性的融合策略
4.基于多源决策的融合策略
基于多源决策的融合策略（FSBMD）通过单传感器数据对目标的位置、属性和类别进行初步决策，然后采用特定的融合策略将多传感器获得的决策进行全面组合，并采用适当的方法实现最终的融合结果。FSBMD集成直接对特定目标进行决策，最终决策结果的准确性直接取决于融合效果。FSBMD通常可分为决策融合、决策制定、可信度融合和概率融合[115]-[118]。FSBMD的方法通常包括主观贝叶斯概率推理方法、Dempster-Shafer（D-S）、基于证据理论的推理方法、人工智能（AI）方法和模糊子集理论方法。参考文献[16]提出了一种多传感器广告平台，用于通过数据处理提取道路边缘、车道标志、交通标志、障碍物和目标的运动参数。基于平台中目标信息的决策策略有助于控制自动驾驶车辆的运动状态。参考文献[113]提出了将综合模糊理论与神经系统相结合的框架。该框架结合了卡尔曼分离和精细处理标准，为目标跟踪框架构建了有效的信息组合策略。模糊集为数据工程、处理系统、选择和信息分析的发展提供了新的思路。自适应神经模糊推理系统（ANFIS）是最有效的神经系统框架之一。ANFIS具有很强的可接受性和预测能力，是在任何框架中管理经验不稳定性的有效工具[119]，[120]。此外，参考文献[90]提出了一种基于D-S证据理论的证据融合框架，以应对传感器的易受攻击性和目标的不确定性运动。然后，将可靠性函数与测量值相结合，以建立分类指数，对目标进行分类，尤其是行人检测。此外，本文中的置信函数重新分配了传感器提供的概率，以便在不确定信息准确时做出可靠决策。参考文献[91]提出了摄像机、GPS和车载传感器的组合，用于车辆的精确定位。通过使用扩展卡尔曼滤波算法，他们融合了GPS信息和视觉里程计，与传统GPS定位方法相比，精度提高了40%。FSBMD综合了不同传感器做出的多个决策，融合策略的性能决定了最终的融合效果。通过信息融合，最终决策直接产生[121]-[123]。这种方法可以有效地避免依赖单个传感器的感知结果作为最终决策而导致的不确定性和不可靠性。然而，FSBMD并不能从数据处理层面显著提高目标检测性能，而且数据互补性相对较低。在大多数研究中，这种策略常常与其他策略相结合。
5.融合策略和感知结果分析
3）目标跟踪和数据关联
在驾驶过程中，驾驶员将继续观察交通状况。除了观察交通灯外，更重要的是分析和预测车辆和行人的行为意图。为了实现这一目标，需要实时跟踪多个潜在的安全威胁，并根据跟踪结果分析目标的移动趋势和意图。这样，自动驾驶车辆可以提前做出正确的决定，避免危险的发生。为了分析目标的意图，需要对不同目标的运动模式进行建模，然后根据运动模式判断目标的运动状态，如静止、匀速、加速运动和转弯。此外，在复杂的交通环境中，由于存在干扰因素，不同传感器很难确保目标检测前后帧的一致性。对于自主车辆的安全决策和运动规划，需要确保多个目标的精确跟踪，即使目标在当前帧中丢失。此外，由于多个传感器的融合，不同的传感器为多个目标生成不同的跟踪轨迹。因此，在跟踪过程中应采用特定的融合策略，以确保最终结果的可靠性。
1.运动模型
人类运动的时间序列一直是一个相关的研究课题，行人检测是自动驾驶中的重要组成部分，近年来开展了相关研究[133]，[134]。参考文献[135]–[139]提出了相应的车辆运动模型。为了便于目标跟踪和状态预测，参考文献[89]中提出了目标的恒速（CV）模型和恒加速度模型（CA）。参考文献[128]进一步提出了车辆模型，包括恒速车道保持（CVLK）模型、恒加速车道保持（CALK）模型，恒速车道改变（CVLC）模型和恒加速车道改变（CALC）模型。一般来说，如果运动模型太复杂，计算量会急剧增加；反之，如果过于简单，则会影响跟踪性能。不同的运动模型包括两类：线性运动模型和线性运动模型。适当的模型可以显著提高车辆跟踪系统的性能。此外，参考文献[140]提出了更一般的模型，包括恒定速度（CV）、恒定加速度（CA）、恒定转弯率和速度（CTRV）、恒定转弯速度和加速度（CTRA）、恒定曲率和加速度（CCA）以及恒定转向角和速度（CSAV）。此外，这些运动模型的状态转换图如下图所示，其为转向角速度、加速速度和转向角。基于运动模型的跟踪可以实现更好的跟踪性能和准确性。此外，通过运动模型分析目标的运动状态，可以进一步确定目标的意图。
2.目标跟踪问题的分类
目标跟踪过程是将传感器的当前测量值与历史轨迹相匹配。然而，当面对多个传感器和多个目标的跟踪问题时，情况变得复杂。在不同的场景和应用中，目标的数量可能不同于由多个传感器监测的目标。多源异构数据的多目标跟踪问题包括四种情况。
1） 单传感器跟踪稀疏目标（S2S）
S2S主要考虑稀疏情况下的多目标跟踪，这意味着多目标不会相互作用[144]，[145]。如果在多目标跟踪中不存在跟踪模糊，则适当的方法包括最近邻（NN）算法、相应的改进NN算法、卡尔曼滤波和基于贝叶斯滤波的算法，这两种算法都相对成熟并具有广泛的应用。
2） 单传感器跟踪多个目标（S2M） 与多个稀疏目标相比，S2M中的多个目标具有距离分辨率模糊或重叠遮挡等情况，可以采用全局数据关联算法[146]，[147]。
3） 多个传感器跟踪稀疏目标（M2S）
类似于S2S，目标分布稀疏。然而，对于多传感器跟踪的同一目标，多个传感器之间的目标位置在时间和空间上存在差异[19]，[113]。此外，不同传感器的数据形式和处理方法不同。M2S通常采用K-最近邻（K-NN）算法、联合卡尔曼滤波（FKF）和联合概率关联算法（JPDA）以及相关改进算法。
4） 多传感器跟踪多个目标（M2M）
以从单个角度捕获多个目标的运动信息，M2M中存在数据重叠和轨迹交叉问题。在结构化的城市环境中，目标的行为通常与周围环境密切相关，这使得M2M问题特别[89]、[125]、[126]。目前，应用的方法包括JPDA及其改进算法、多目标假设跟踪（MHT）、RFS理论。
3.数据关联方法
多个传感器的数据关联包括两种情况：一种是单个传感器的轨迹关联，其将当前跟踪结果与历史跟踪轨迹相关联；另一种是考虑将多个传感器的测量值与历史上多个目标的跟踪轨迹相关联。当前研究中常用的基本思想主要分为最近邻算法、基于卡尔曼滤波的改进算法、基于贝叶斯滤波思想的改进算法，基于概率数据关联的算法和基于随机有限集的方法。
1） 最近邻（NN）算法
2） 基于卡尔曼滤波的方法
KF是一种递归算法，可以通过获得先前观察到的目标状态估计和当前状态的测量值来估计目标的当前状态[150]。FKF可用于解决多传感器跟踪多个目标的问题。在文献[5]中，提出了一种结合模糊自适应融合和小波分析的方法，将线性过程模型分解为一系列更简单的子系统，并应用多个KF分别估计这些子系统的状态。结合参考文献[113]中的KF和自适应神经模糊推理系统（ANFIS），为目标跟踪框架构建了一种有效的信息组合方法，其精度和性能优于传统的KF算法。类似地，在参考文献[37]中，根据预测状态的加权平均和基于当前测量的估计状态更新，在测量更新步骤中，对具有较高不确定性的状态赋予较低的权重。此外，FKF用于处理雷达、激光雷达、摄像机和其他传感器的测量值，减少统计噪声和其他误差。在参考文献[148]中，KF用于测量简单的实验场景。基本KF的问题是它不能精确估计非线性系统。KF可以精确估计线性系统，但在非线性系统中很难达到最佳估计。因此，一些研究采用了EKF及其改进算法。由于车辆的非线性运动过程，参考文献[125]采用EKF将非线性问题线性化。无迹KF（UKF）是另一种广泛应用的改进KF算法。UKF采用统计线性化技术，通过先验分布中收集的n个点（也称为assigma点）的线性回归来线性化随机变量的非线性函数[151]。由于UKF考虑了随机变量的扩展，这种线性化比EKF中的泰勒级数线性化更精确。
3） 基于贝叶斯滤波的方法
4） 基于概率数据关联的方法
概率数据关联（PDA）是一种广泛应用的算法，有许多改进。它验证了所有测量，并估计了目标的运动状态和协方差，而不仅仅是采用单个测量，[155]提出了JPDA算法来处理多目标跟踪，该算法考虑了多个边缘分布的联合分布概率[156]。在文献[157]中，提出了一种称为PDA反馈PF（PDA-FPF）的算法来解决数据关联不确定性，这表明PDA-FPF的性能接近理想的JPDA。然而，JPDA面临大量计算的问题。此外，还提出了精确最近邻RPDA（ENNPDA）[158]、联合概率数据协会（JIPDA）[159]和其他改进的算法，以通过精确计算来简化算法。参考文献[89]和[148]表明，与神经网络算法相比，JPDA算法具有更高的相关精度，但同时计算正常。JIPDaint将目标存在的可能性作为目标质量测量[159]，这在目标自动跟踪中具有明显的效果，可以在一定程度上应对相邻目标或重叠目标的跟踪。然而，它也存在跟踪聚类的问题。另一方面，JIPDA仍然合并两个目标的轨迹，以应对两个目标在短时间内相互伴随的问题。JIPDA filter与JPDA的结合完美地解决了这个问题[160]。在参考文献[125]中，JIPDAIS用于管理多个目标的出现和消失。然后，应用城市交通场景中的真实数据集来证明JIPDAINAD的性能。此外，多目标跟踪（MHT）算法是JPDA算法的进一步改进。当目标出现或消失时，可以自动启动或终止数据关联。它的可扩展性受到限制，因为它依赖于对目标和噪声的先验知识。参考文献[126]中，MHT滤波算法用于实现多目标的跟踪管理。MHT滤波器根据支持每条轨迹的传感器数据分析每条轨迹并测量值。通过两个假设条件对每条轨迹进行序贯似然比检验，并根据统计决策函数顺序计算分数。如果得分超过阈值，则验证测量值并将其更新为跟踪。参考文献[161]结合了RFS理论和JPDA的优点，提出了CCJIPDA，同时，详细比较了多目标跟踪算法，包括JIPDA、ENNJIPDA，JIPDA*、RFS和CCJIPDA。显然，改进的算法在相邻或重叠目标的跟踪过 程中具有较好的跟踪效果，但相关的AD研究没有采用。
5） 基于随机有限集的方法
RFS理论将单目标的贝叶斯滤波框架直接扩展到多目标跟踪问题。RFS可以避免复杂的相关过程，估计目标的数量和状态，适用于密集多目标跟踪。然而，由于计算过程涉及一组复杂的积分运算，因此应用非常困难。本研究提出了几种典型的滤波器来改变这种情况。改进的算法包括广义标记多伯努利（GLMB）滤波器、基数化PHD（CPHD）、多目标多伯努利滤波器和广义标记多贝努利（GLMB）滤波器。马勒提出了一种基于RFS[162]、[163]的概率假设密度（PHD）方法。PHD滤波器可以跟踪可变数量的目标，并估计目标的数量和位置。不需要数据相关性，但帧之间的相同目标的相关性是不可能的。参考文献[127]提出通过将数据关联与PHD滤波器相结合来实现多目标跟踪。第一步是将目标提取阶段的数据划分为围绕每个目标的聚类，并在帧之间应用这些区别，以实现轨道连续性。第二种是应用先前的目标状态和运动模型来估计下一帧中的目标。然而，当目标运动是非线性的时，在实际中难以建立运动模型。此外，在参考文献[112]中的AD应用中，基于毫米波雷达状态估计的图像特征轨迹和高斯混合数据被用于分割运动目标，而高斯逆Wishart概率假设密度滤波器（GIW-PHD）被用于跟踪分割的目标。一般来说，RFS具有完整的理论基础，没有复杂的数据关联，可以同时估计多个目标的数量和状态。近年来，它取得了快速发展。
参考
[1] Multi-Sensor Fusion in Automated Driving: A Survey.
文章仅用于学术分享，如有侵权，请联系删除。
独家重磅课程官网：cvlife.net
全国最大的机器人SLAM开发者社区
技术交流群
— 版权声明 —
本公众号原创内容版权属计算机视觉life所有；从公开渠道收集、整理及授权转载的非原创文字、图片和音视频资料，版权属原作者。如果侵权，请联系我们，会及时删除。返回搜狐，查看更多
责任编辑：