停车位检测算法总结

Context-Based Parking Slot Detection With a Realistic Dataset

摘要

这篇文章提出了一种基于上下文的两阶段的停车位检测方法，其灵感来自于人类司机寻找停车位的过程。由两个深度网络模块组成：一个停车位的上下文识别器和停车位检测器。识别器识别停车环境，包含车位类型、角度和车位的可用性；车位检测器通过多个基于类型的具有旋转anchor box和旋转非最大抑制的微调检测器来定位停车位的确切位置。此外，作者还发布了一个真实的停车位数据集，其中包含22817张停车位图像，车位类型和环境比较丰富。还提出了一种新的停车位检测评估指标，反映车辆是否可以停在检测到的停车位内。
github
代码环境搭建测试：to do!
本文提出的数据集地址：https://aistudio.baidu.com/aistudio/datasetdetail/146884

一、方法

从上图可以看出，整个模型由一个分类回归模型（基于 mobienet V2） + 检测模型组成（基于 yolov 3）

A. Overvier

总体方案如图所示。将车辆左右两侧的鱼眼相机捕获的图像转换为鸟瞰视图图像，并作为输入，这里没有用到多个鱼眼相机拼接的俯视图，而是只用到单个相机，给出的观点是拼接会造成计算量的增加而且拼接会造成一定的图像失真。停车位的检测使用一个两阶段的深度学习模型，由一个**停车上下文识别器(PCR)和一个停车位检测器(PSD)**组成。

在PCR中，估计了类型和方向，这是停车位的粗略信息，
类型 ：平行、垂直、倾斜、非停车位
方向 ：一个角度值（−90和90度之间的角值）
但是对每一张图片只预测一个类型各一个角度值
In most cases, since the adjacent parking slots will have the same orientation and type, the PCR outputs one parking slot type and one angular value per input image containing multiple slots.

在PSD中，根据PCR提供的检测信息，估计停车位的准确坐标。作者解释从直观的角度来看，方法类似于人类操作者驾驶和停车的过程。司机粗略地寻找一个停车的地方，然后估计出停车位的确切位置，是有那么点道理。
在PSD中有三个检测器，根据PCR推断的停车位类型，只有一个可以进行检测。首先使用所有类型的数据来训练一个检测器，然后将其复制到三个检测器中。最后，这三个检测器中的每一个都用特定类型的数据进行微调。当图像被归类为非停车位时，PSD不会被激活，因为在该空间中没有停车位。

B. PARKING CONTEXT RECOGNIZER

当应用于实际的停车系统时，PCR始终工作识别车辆附近是否存在停车位。在实际情况下，当没有停车时，无需估计停车位的准确位置。因此，只有当PCR识别到周围空间是可用的停车类型时，PCR才能为PSD提供类型和角度，以估计停车位的确切位置。这样，PCR作为一种过滤器，可以减少停车系统中的计算量。使用MobileNetV2作为backbone。

输入的图像为 64×192 的RGB图像。主干网络后接两个分支；一个用于类型分类，另一个用于方向角度回归。

• 分类分支
  分类分支由两个全连接的层组成：一个128个神经元和ReLU激活的隐藏层和一个4个输出单元的Softmax激活层。分类分支中的4个输出单元分别表示其中一种停车位类型：平行、垂直、倾斜和非停车位。
• 回归分支
  回归分支由两个全连接的层组成：一个128个神经元和relu激活的隐藏层和一个具有 Sigmoid激活的输出单元层。输出单元产生停车位的角度，GT值怎么算呢（是根据停车位的分隔线计算出来的）使直线垂直于车辆行驶方向的角度为0度，将顺时针方向旋转的直线的角度设置为正角，而将逆时针方向旋转的直线的角度设置为负角。因此，该角度的值在−90和+90度之间的范围内，它被归一化到0到1之间的范围。
  其实就是一个目标检测问题，box 的角点可以计算出角度值。labelme 就可以标注吧
  
• PCR LOSS
  
  式中，${\hat{P}}_c$为分类分支的第c个输出值，$\hat{\theta }$为回归分支的输出值，而$P_c$和$\theta$分别为停车位类型和方向的真值。$\lambda$是平衡多任务损失的参数

C. PARKING SLOT DETECTOR

PSD
PSD是基于YOLOv3的结构构建的，并估计了紧密包含停车位的四边形的四个顶点的坐标。常见的目标检测器，包括YOLOv3，可以估计宽度、高度和中心坐标，因为它们的目标是找到一个包围目标的水平边界框。停车场是四边形，但有时不是矩形的，可以旋转或一些区域可能被截断。本文的车位检测器即使在上述情况下，也要估计停车位的四个顶点的坐标，以准确地描述停车位的位置。本文检测器的输出设计如图3a所示。在(b)中，黑色虚线表示旋转的锚框，蓝色实线表示停车位。

在普通的目标检测器中，水平边界框使用水平锚框进行估计。相比之下，本文通过旋转锚框来更准确地检测旋转后的停车位。锚框的旋转角度用PCR估计的结果，用$\hat{\theta }$表示。旋转后的锚框分别用$(b_x、b_y)$和$(b_{xi}、b_{yi})$表示，它们分别表示停车位的中心点坐标和第i个顶点的坐标。
这些坐标的计算方法为：

其中，$t_x、t_y$为估计停车位中心坐标；$x_i、y_i$为估计停车位顶点坐标；$c_x、c_y$为网格的坐标；$A_w、A_h$分别为锚框的宽度和高度。这些符号如图3b所示。通过旋转锚框，各种停车位的外观变得相似，如图4所示。
三种类型的停车场都使用了Fine-tuned，当停车类型被归类为非停车位时，检测器不工作。每个检测器对每种停车位类型都有独特的权重，只有当相应的停车位类型被PCR激活时才可以操作。

rNMS

评估指标

IoU是目标检测最普遍的评价指标，但是不太适用于停车位检测问题。即使预测的停车位具有相同的IoU值，车辆在停车位上的停放也可能不同，如图6所示。

为了缓解这个问题，提出了一个新的评估指标，称为停车分数，它反映了车辆是否可以停在停车位内。
一个停车位的停车分数$S$是通过将两个分数相乘来计算的：面积分数$S_{Area}$（估计停车位面积的准确性）和位置分数$S_{L}oc$（估计位置的准确性）。利用gt的停车位G和预测的停车位P的 坐标来估计这两个分数。

这两个区域大小越接近，分数就越接近值1。位置分数用来衡量P的面积在G的面积内，计算为

where $P^1$ is a scale-downed location of $P$ so that $P^1\subset G$。如果$P$完全包含在$G$中，则$S_{Loc}$的最大值为1。如果停车分数$S$超过阈值，则判定预测为真，否则为假。然后根据真判断和错误判断计算整个测试集的精度、召回率和平均精度。

实验

MobileNetV2、YOLOv3 architecture using darknet-53 as the backbone.

总结

本文的方法虽然是一个二阶段的方法，但是整体架构和使用的模型比较简单，从实验效果看也不错，用的MobileNetV2、和基础的YOLOv3，感觉有很大的改进空间。