单目摄像头的四足机法方生仿人器机器人仿生方法

文 | 慢纪硬核说

编辑 | 慢纪硬核说

近年来，我们提出了许多移动机器人跟随人的方法，一些学者使用二维或三维激光来完成这项任务。

在实际应用中，不方便放置反射材料，并且仅检测身体的一部分并不可靠。

这种方法的缺点是，仅凭点云数据不容易区分目标人和其他人，也有学者利用视觉传感器来实现人的跟随，用于人跟随机器人，这些使用立体摄像机的方法具有很高的计算复杂度。

还有人提出了一种基于RGB-D摄像机的方法，通过在线提升的目标模型对人进行跟踪。 RGB-D相机受到光照的影响。

基于单目摄像机的人跟踪方法受到了越来越多的关注。

已经发表了许多基于单眼视觉的人跟踪方法。这些方法主要有两种实现方式，一种方法是基于身体信息来检测目标人。

机器人根据目标手的位置完成不同的指令，有人提出了一种结合身高、步态和颜色特征来识别目标人的方法，这些使用身体信息的方法很容易受到目标人的姿势和步态的影响。

另一种方法是检测自定义标记来识别目标，Bakar在目标人身上放置了几个标记，使用定制的标记可以更好地识别目标人，但这些标记受到目标人姿势的限制。

值得注意的是，由于遮挡导致识别不准确，因此跟踪时不可避免地会丢失目标，如何重新识别目标人是需要解决的问题。

本文旨在通过实验，探讨出更具有优势的单目摄像头四足机器人仿生方法。

实行方法

我们的方法由一个人探测器、一个运动跟踪器和一个重新识别模块组成。

1.在初始化阶段，机器人根据CCF学习目标人的外表特征。 在输入视频帧的情况下，人物检测器首先检测并输出图像中人物的边界框。

2.将检测结果作为测量值用于人员分类。CCF将始终提取特征，在线增强将更新其分类器以区分目标。

3.当机器人分心，失去目标时，RNN模块会预测目标的运动，并将运动信息与外观特征相结合，重新识别目标。

4.KF根据重新识别的目标状态进行自我更新，使机器人始终跟随目标。

1.目标提取

在开发的框架中，首先从噪声背景中提取图像帧中人物的感兴趣区域(ROI)。为此，使用OpenPose作为检测器，因为它具有较高的精度和实时性。

此工具用于提取图像框架中多个人物的骨架P={p1，p2，…，pn}。它可以实时检测图像中多人的二维姿态，并提供18个人体关节在图像帧中的位置。

我们在此利用这些关节的信息来描绘ROI，用于人的检测。在此，我们将颈部关节和踝关节作为ROI提取的关键关节。

颈部关节和踝关节的位置在图像分别是xneck，xankle，和xr。根据颈部关节和踝关节的位置，得到ROI的中心，随后表示图像中边界框的位置，

然后，我们得到一个以图3(b)为中心的边界框，将所有关节包起来，作为接下来提取人物特征的ROI。

2.目标地

在跟踪目标人的过程中，机器人可能会分心而失去目标，干扰可能来自障碍物或其他行人的遮挡以及目标特征的不匹配。

这将导致目标跟踪性能不可靠，需要发展目标捕获方法来保持长期跟踪稳定性。

在我们的工作中，我们设计了一种基于RNN的目标再识别机制，以提高目标再识别的鲁棒性。

我们采用RNN的原因是： 与CNN不同，CNN当前节点的输入只包含前一个节点的信息，而RNN当前节点的输入包含所有前一个节点的信息，这意味着RNN可以更好地预测时间序列；

当目标服装的颜色和质地与其他人相似时，仅依靠外表特征是不可靠的。将RNN预测的运动信息与CCF提取的外观特征相结合，可以提高再识别的准确率。

如果分数大于或等于阈值，则认为重新识别目标是正确的。然后通过预测的边界框插值缺失检测，并使用重新识别的结果更新KF跟踪器。

overlap1和overlap2分别大于不同的阈值。如果该值低于阈值，则将其设置为零。这种条件可以减少后续可信性的计算，保证实时性。

3. 人员跟踪

我们用KF来追踪人。我们使用KF而不是继续在捕获模块中使用RNN来跟踪行人有两个原因。

在接下来的过程中，跟踪模块不仅要跟踪目标人，还要跟踪其他行人，因为人物分类模块需要计算每个人的ROIs来提取外观特征。

考虑到要跟踪所有检测到的行人，基于简单模型的KF可以简化计算。

人的跟踪是一个连续的过程，而RNN只有在机器人因分心而失去目标，需要重新识别时才会起作用，因为RNN的长期运行会产生累积误差。

我们将OXRYRZR标记为机器人坐标系，将OXCYCZC标记为摄像机坐标系。在t时刻，t是目标的边界框。

根据针孔投影模型，可以估计出目标人和四足机器人之间的距离Dt。将目标人的水平中心坐标Pt视为目标人的期望位置，并计算目标人相对于OXCYCZC中ZC轴的水平方向角接合θt如下所示:

实验与结果

1. 实验装置

我们进行了一系列的实验来验证重新识别模块和整体框架的有效性和准确性。

单目摄像头安装在四足机器人的前面，作为外部传感器来感知环境。考虑到四足平台的升降，摄像机离地面的平均高度为0.4 m，水平视野约95°。

使用相机捕获的图像大小为640 × 480像素。移动基地是一个Jueying Mini Lite四足机器人与Jetson TX2作为处理单元。

该系统使用机器人操作系统(ROS)和Ubuntu 18.04操作系统构建。TX2接收并处理摄像头的数据。然后生成线速度和角速度命令，并通过Wi-Fi模块发送给四足机器人。

2.目标提取

为了实现人的跟随，我们的系统首先需要提取目标，即将目标与其他行人区分开来。 对于分类模块，我们训练CNN网络来获得行人外观的特征提取器，然后评估特征提取和分类的效果。

我们使用CUHK03数据集训练中描述的CNN网络。CUHK03数据集是一个具有深度学习能力的大规模人物再识别数据集。

CUHK03数据集中的身份总数约为1400个，每个身份的图像数量约为10个。在训练过程中，CNN网络从两个连续的输入图像中提取特征，输出相似位置的人是否为同一个人。

训练完成后，将CNN的前两个卷积层作为CCF提取器提取外观特征。在这项工作中，第一层和第二层的卷积滤波器的数量为10。

3. 目标地

为了评估重新识别模块和开发的框架，我们使用四足机器人在室内和室外环境中收集了两个数据流。在收集的数据流中，图像的分辨率为640 * 480像素。

我们采集了不同光照环境下的图像序列。在记录的序列中，当遮挡发生时，四足机器人无法感知目标人而失去目标。

4.目标跟踪

通过收集室内和室外环境的数据流来验证单目人跟踪系统的有效性。室内实验在走廊内进行，室外实验在校园内进行。

我们在室内和室外环境下的个人跟踪评估结果， 图11(a) - (d)为室内环境下的跟踪性能。

在不同的光照条件下，开发的管道可以帮助跟踪目标人物，图11(e) - (h)为室外环境场景下的跟踪性能。

可见，室外环境的背景更为复杂，干扰因素较多。我们的方法即使在目标人因频繁遮挡而丢失的情况下，仍然可以检测和跟踪目标。

从室内和室外实验中可以看出，我们的方法在人跟随评估中表现更好。这得益于两个方面。

我们的基于人体姿势的检测器可以在复杂的环境中准确地检测到人。当机器人丢失目标时，得益于我们的目标捕获机制，机器人可以准确地识别目标。

我们将基于RNN的运动信息与基于CCF的外观特征相结合，对目标进行再识别，从而提高了再识别的准确性和目标跟踪的稳定性。

5.实验采用四足机器人

为了评估所开发的方法在真实机器人平台上的性能，我们在室外环境中进行了长期的人体跟踪实验。

在四足机器人平台上只安装了一个单目摄像头作为感知传感器，机器人有望跟随在校园周围行走的目标人。目标人员沿着预定义路径行走。

具体实验过程是，机器人在初始化阶段首先学习指定目标人的外表特征。

然后，当目标开始移动时，机器人使用所开发的方法跟踪目标人。特别是当机器人因分心而失去目标时，激活目标捕获机制，重新识别目标并继续跟踪。

在整个过程中，TX2开发板负责接收和处理摄像机数据，并向机器人发送控制命令。

结论及未来工作

提出了一种基于单目摄像机的四足机器人人跟随框架，提出的框架首先使用人体姿态估计方法检测人。

然后利用KF跟踪模块对所有行人进行跟踪，并根据检测结果更新行人的状态。更重要的是，当机器人丢失目标时，激活再识别模块基于RNN的目标捕获机制，结合目标人的运动信息和外貌特征对分类模块的结果进行校正。

通过评价和其他方法的比较，表明我们提出的方法在跟踪人身上更有效。我们还将整个框架应用于现实环境中的四足机器人。

结果表明，该方法能够使四足机器人稳定地跟踪目标人。

参考文献

[1] 柴辉，孟建军，荣晓霞，李勇，一种新型液压四足机器人的设计与实现，机器人36(4)(2014):385-391。

[2] M.罗伯特， K. 布兰科,，G.内尔森, R. 布雷德，粗糙地形四足机器人，IFAC Proc Vol. 41(2)(2008) 10822-10825。

[3] 凌俊，柴辉，李勇，张辉，姜鹏，一种基于三维激光雷达的四足机器人户外人体跟踪方法，2019年第九届IEEE自动化，控制与智能系统网络技术国际会议(CYBER)， 2019, pp. 843-848。

[4] A.雷，N. 奥尔, 张辉，二维激光扫描仪的跟踪与跟踪，2015年IEEE机器人与自动化国际会议，IEEE, 2015, pp. 726-733。

[5] 孙勇，孙磊，刘建军，基于RGB-D的服务机器人实时快速检测与跟踪，2016年第12届世界智能控制与自动化大会(WCICA)， 2016, pp. 1514-1519。

唯有真正把你当作主人

1.知道主人的生物钟

泰迪有自己的一套生物钟，而它们的生物钟里的一部分则会根据主人的生物钟来修改，当它们和主人生活久了后就基本摸清了主人的生活规律，比如几点钟起床、几点钟出去、几点钟回家、几点钟睡觉，甚至有些狗狗连主人几点钟上厕所都把握得很准。

比如在主人要起床之前，泰迪就会安安静静的守在主人的床边，看到主人有一丝醒意时，就会轻轻的在主人身边玩。

2.喜欢往主人身上跳

泰迪就有这个“臭毛病”，当你在那儿休息时，一不留神它就跳到你身上来了，尤其是当你正有睡意时，这么吓唬你一下后，心中肯定是不舒服的。不过这真的是泰迪把你当作主人的表现之一，因为在它们看来，主人就是它们的好朋友，好朋友就得一起玩，不玩的话又怎么会是好朋友呢？

3.对主人撒娇

泰迪其实比较内向，它们不会对一般人随便撒娇，但如果它把你当作主人的话，它就会很喜欢在你的身边蹭来蹭去以及舔你，并想和你玩游戏。这时候你最好顺着泰迪的想法做，摸摸它、抱抱它并和它玩耍，相信泰迪肯定会很开心。

4.服从主人

在服从命令上，泰迪也做得很好，虽然它们个子小，但能会的“把戏”有很多，比如学人走路、跳跳舞、转圈圈，泰迪做这些事时很可爱。当然这离不开主人的教导。

5.出门时送你，回家时等你

泰迪是我见过的狗狗中最粘主人的狗狗了，它们懂得什么叫分离，也懂得什么叫重逢，每次主人出门时，泰迪会跟着主人走，直到走到门边时，见主人并没打算带它出去，就会坐在门边，注视着主人关门。

等到主人快要回家时，泰迪会坐在门边等你开门，然后用它最热情的方式欢迎你回家。对于一位城市上班族来说，这样的欢迎真的很暖心。