基于深度强化学习的无人驾驶智能控制技术研究

迪怡嘉 1,2 翟晓燕 *1,2 卢志刚 1,2 王虎跃 1,2

（ 1.北方自动控制技术研究所 ,太原 030006;2. 智能信息控制技术山西省重点实验室 ,太原 030006）

摘要：在科学技术迅速发展的背景下，我国人工智能技术发展也在稳步上升。尤其是在当前，车辆行驶安全性已经受到了社会各界广泛关注。为了解决车辆拥堵的问题、提高车辆驾驶安全性素，发展智能汽车已经成为汽车产业现阶段的重点方向，人工智能与无人驾驶技术的融合应用更成为当前研究的热点内容。近几年，深度强化学习算法作为人工智能技术领域的主要算法之一，不仅能够在复杂的任务关系中找到重点，同时也拥有着非常强大的自主学习优势，在实现无人驾驶智能控制技术上具有重大的发展意义。对此，本文基于深度强化学习算法的发展理论，探讨当前无人智能驾驶控制系统的存在问题并提出验证，提高对无人驾驶车辆的控制能力。

关键字：深度强化学习算法；无人驾驶；智能控制

前言：随着全球汽车保有量的不断增长，如今城市化出行拥堵问题已经成为当前面临的新挑战。根据研究显示，实现对无人驾驶智能控制车辆的技术研究不仅可以有效减缓当前全球旅行城市的出行时间，同时也能够有效地避免交通拥堵问题，减轻二氧化碳等有害气体的排放。由此可见，实现无人驾驶汽车的智能控制不仅仅是在汽车机动性能上有所提高，也为大众的出行安全以及汽车的安全驾驶奠定了基础，提供了全新的驾驶选择。而深度强化学习算法作为当前人工智能领域中的重要算法，更是一种寻找任务映射状态获取知识的最佳手段。如果在深度强化学习算法的背景下实现无人驾驶智能控制技术的应用，那么对于当前无人驾驶智能控制技术的进步将具备重要的发展含义。

2. 深度强化算法在车辆智能控制中的发展现状

深度强化学习算法发展于2013年，在此之前就已经有大量的研究表明，强化学习技术必将会对深度强化学习算法的应用起到至关重要的作用。最早的强化学习技术产生是通过多种学科技术的组合发展而来的，例如心理学、统计学等等，也是强化学习技术的初步形成阶段。直到二十世纪七十年代初期，强化学习技术才在人工智能技术领域得到了广泛的应用，逐步发展为人工智能技术的核心技术。近年来，随着深度学习与强化学习技术的不断融合，深度强化学习算法的出现不仅解决了传统算法中的高维环境困境，同时也能够更好地利用网络的延迟更新策略来减缓每一次的误差，提高深度强化学习算法整体性能。基于此，深度强化学习算法凭借其独特的发展优势，逐步在无人驾驶智能控制技术上占据了一席之地。根据相关研究显示，如果在汽车的原始驾驶领域中输入驾驶数据并利用深度强化学习算法进行高维环境中的图像提取，那么就可以就进行无人驾驶车辆的模拟控制，这也充分表明深度强化学习算法已经成为当前无人驾驶汽车控制技术中的发展先驱。随着深度强化学习算法的发展愈来愈成熟，当前的智能技术已经发展到，在对无人驾驶车辆的行驶状态施加限制条件的状态下，车辆也能够凭借深度强化学习算法中的自主学习手段完成控制任务。由此可见，深度强化学习算法作为当前人工智能技术中的决策算法，在无人驾驶车辆中的技术应用具备非常大的应用前景。

3. 无人驾驶智能控制技术系统运动分析设计

在无人驾驶车辆智能控制技术的发展当中，如果想要获取最完整的实验数据十分困难且复杂，并且也需要在实践的基础上耗费大量的时间来验证该算法的实际性能，开发周期极长并具备一定的危险性。那么传统的无人驾驶控制系统主要可以分为感知系统以及决策系统中的分层控制，以此来实现无人驾驶车辆的运转，其中的每个系统又可以分为独立的小功能模块，进一步完成无人驾驶任务，如图一所示。其次，在无人驾驶车辆控制系统中经常利用激光雷达或相机等设备，通过定位系统以及环境感知的方式来找到车辆行驶过程中障碍物的具体位置，如图二所示。因此，当前的无人驾驶车辆控制系统主要可以分解为以下三个层次：首先第一层次就是在无人车辆驾驶过程中的路程规划，根据实时的交通状态来决定车辆行驶的最佳路线。第二层次也是车辆驾驶的行为层，即车辆要根据系统给出的定位点来根据道路的交通变化以及自身的感知状态来决定车辆的行驶状态。第三层次则是在第二层次发展的技术上，对无人驾驶车辆的形式轨迹制定可行性方案，例如无人驾驶车辆的行驶位置或是否偏离预定航线等等^【1】。

图一 传统无人驾驶控制系统 图二 无人驾驶感知模块

4. 深度强化算法在无人驾驶智能技术中的研究

基于传统的无人驾驶控制系统发展状态，那么在深度强化学习算法的利用上就可以根据车辆行驶的目的地以及传感器信息实现无人驾驶车辆的直接控制。而无人驾驶车辆的模型建立作为技术应用中的关键部分，提高模型建设的净赚度不仅可以实时观察无人驾驶车辆的运行状态，同时也需要通过不断的改良来确立技术发展的最佳策略，对此在无人驾驶车辆的模型建设中通常做出以下假设：首先要将车辆的模型建设为最简单的动力学模型，通常采用线性轮胎模型，例如自行车等等，如图三所示。在此模型中，如果将车辆的结构简化为自行车的运行结构，那么也就意味着车辆并不存在漂移的现象，且车辆本身以及悬架构成是做刚性运动的，由车辆的前轮进行控制。同时，由于车辆的后轮部位普遍无法进行偏转，当车辆的后轮转角为零时，那么在车辆运动模型的建立中就可以直接反映出车辆的实时位置与时间、速度等制约因素之间的关系，明确无人驾驶车辆的控制量以及信息量，为后续的智能技术发展奠定基础。除此之外，对于无人驾驶汽车智能技术的发展来说，在驾驶环境上的仿真模拟也能够进一步提高技术的进步，其中包括汽车行驶中的交通信息、环境信息或者天气情况等等。所以更应该加强模拟器中的传感器信息，并在此基础上兼容深度强化学习算法框架进行研究。

图三 车辆运动建模示意图

结论：

综上所述，深度强化学习算法自身凭借独特的发展优势，当前已经在汽车的无人驾驶智能领域得到了各界人士的广泛关注。利用深度强化学习算法的发展优势不仅可以解决当前无人驾驶智能技术中的高维状态空间，同时通过技术环境的不断交互状态，也在能够在复杂的驾驶状态下进行自主决策和感知，更是当前实现无人驾驶智能技术发展的重要途径之一。由于当前在现实中搭建无人驾驶运动环境的建设成本较高，对此本文通过分析传统中的无人驾驶控制系统以及无人驾驶感知模块，来建立对应的无人驾驶车辆运动模型，进一步提升深度强化学习算法的发展效率，降低无人驾驶车辆智能控制技术的开发难度。

参考文献：

[1]齐连军,院鹏春,邓小军,李洪,隋少龙,张越,史越瑶.露天煤矿远程无人电铲的安全化系统研究——以霍林河露天煤矿为例[J].煤炭科学技术,2021,49(S1):106-112.

[2]丛磊,焦月,王璐,胡百乐.无人驾驶车辆的计算机控制系统综述以及相关专利分析[J].科技展望,2015,25(27):126+128.

作者简介：迪怡嘉(1996-)，男，山西侯马人，在读研究生。研究方向：系统工程。

*通信作者：翟晓燕(1988-)女，山西大同人，硕士，工程师。研究方向:火力与指挥控制、无人系统、人工智能