引用论文
郭景华, 李文昌, 王班, 王靖瑶. 基于深度强化学习的网联混合动力汽车队列控制[J]. 机械工程学报, 2024, 60(2): 262-271.
GUO Jinghua, LI Wenchang, WANG Ban, WANG Jingyao. Deep Reinforcement Learning-based Control Strategy of Connected Hybrid Electric Vehicles Platooning[J]. Journal of Mechanical Engineering, 2024, 60(2): 262-271.
(戳链接，下载全文)
针对网联混合动力汽车队列具有混杂非线性、多动力源混合驱动等特点，厦门大学郭景华团队提出基于深度强化学习的队列分层控制策略。首先，设计了队列模型预测控制器，基于车车通信获取的车辆状态求解约束条件下满足多性能目标的队列车辆最优期望加速度。其次，为提高车辆的燃油经济性，将发动机最优工作曲线和电池特性曲线作为专家知识嵌入深度强化学习算法中。然后，通过分析电池荷电状态、车辆车速以及车辆加速度对智能体动作值的影响来阐明基于深度强化学习(Deep Q network, DQN)的队列能量管理策略是如何根据动作值实现对队列中车辆多系统动力输出之间的协调控制。最后，设计了以电池荷电状态、瞬时燃油消耗率为自变量的奖励值函数，利用最小化损失函数，采用梯度下降法对DQN网络参数进行更新，通过深度强化学习算法实现网联混合动力汽车队列的能量管理控制，并作为《机械工程学报》2024年第2期的封面文章发表了题为《基于深度强化学习的网联混合动力汽车队列控制》一文。
1
论文亮点
针对网联混合动力汽车具有混杂非线性、多动力源混合驱动等特点，利用车-路-云之间的交互信息，提出基于可解释性深度强化学习的队列分层控制构架。队列中各车辆的下层能量控制器根据上层控制器所求解的最优期望加速度，以及基于燃油经济性和电池荷电状态的奖励值函数，通过深度神经网络实现混合动力汽车多系统动态协调控制，最终实现车-能-路-云协同融合。
设计了满足网联混合动力汽车多性能目标的上层MPC 控制器，建立网联混合动力汽车队列上层多目标优化函数，基于C-V2X无线通信获取车辆的状态，在满足约束条件的前提利用 MPC 控制器优化求解加速度增量，以获得当前状态下车辆的最优期望加速度。
为提高车辆的燃油经济性，将发动机最优工作曲线和电池特性曲线作为专家知识嵌入到深度强化学习中，设计了以电池荷电状态、瞬时燃油消耗率为自变量的奖励值函数，利用最小化损失函数，采用梯度下降法对网络参数进行更新，通过知识引导深度强化学习实现网联混合动力汽车队列的节能控制，增强了模型的可解释性、泛化性能和持续进化能力。
试验结果表明，所提出的队列控制构架可以动态规划出队列中车辆期望加速度，实时合理的分配发动机功率与电机功率，最终实现网联混合动力汽车队列中车辆的安全节能行驶。
2
代表图片
图1 多车队列分层控制构架
图2 基于 DQN 深度强化学习的队列能量管理构架
(a) 速度
(b) 冲击度
图9 HWFET工况下队列中车辆状态响应曲线
图10 平均奖励
图12 HWFET工况下队列车辆电机工作点
3
应用前景
网联混合动力汽车作为智能网联与新能源相结合的典型代表，利用云控平台、C-V2X无线通信技术可以实现车与人-车-路-云之间的信息交互，为车辆行驶提供了更安全、节能、高效的解决方案。队列(协同式巡航)控制因其在提高安全性和通行效率的同时减少城市交通拥堵和污染的优势而备受关注。
针对当前队列控制技术存在的响应速度慢、燃油消耗大、多性能目标协调难等难题，本文基于C-V2X无线通信技术，利用车路云之间的交互信息，设计了基于知识引导深度强化学习的网联混合动力汽车队列分层控制构架，实现了车-能-路-云的协同融合 。
4
结论
提出基于深度强化学习的网联混合动力汽车队列能量管理控制策略，通过分析电池荷电状态、 发动机功率、车辆车速以及车辆加速度对深度强化学习动作值的影响来阐明基于DQN深度学习的能量管理控制算法是如何根据动作值实现对队列中车辆多系统动力输出之间的协调控制。能量管理控制器根据上层控制器所求解的最优期望加速度，以及基于燃油经济性和电池荷电状态保持的奖励值函数，通过深度强化学习算法实现混合动力汽车发动机与电机协调控制，最终实现队列中车辆的节能行驶 。
主创简介
郭景华， 厦门大学萨本栋研究院副教授，博士生导师，主要从事先进车辆控制技术研究，中国自动化学会车辆控制与智能化专业委员会委员。近年来先后主持国家级、省部级等项目 20 余项，以第一作者/通讯作者发表 SCI/EI 期刊论文 70 余篇，入选热点论文 1 篇、 ESI 高被引论文 3 篇、授权国家发明专利50 余项，获得2021年福建省科技进步二等奖、2023年中国汽车工程学会技术发明二等奖等科技奖励3项，《电动汽车工程手册》编委、出版《先进车辆系统动力学与控制》等学术专著 2本 。
王靖瑶， 厦门大学航空航天学院副教授，长期从事多智能体控制、网络化控制系统等方面的研究，发表高水平学术论文40篇，授权20余项国家发明专利，先后主持国家自然科学基金项目、教育部产学协同育人项目、国防预研项目、福建省自然科学基金项目等10项 。
李文昌， 硕士研究生毕业于厦门大学，现为同济大学博士研究生。主要研究方向为车辆动力学控制和多车协同控制 。
王班， 厦门大学硕士研究生，主要研究方向为智能驾驶与多车协同控制 。
作 者：郭景华
责任编辑：杜蔚杰
责任校对：张 强
审 核：张 强
JME学院简介
JME学院是由《机械工程学报》编辑部2018年创建，以关注、陪伴青年学者成长为宗旨，努力探索学术传播服务新模式。首任院长是中国机械工程学会监事会监事长、《机械工程学报》中英文两刊主编宋天虎。
欢迎各位老师扫码添加小助理-暖暖为好友，由小助理拉入JME学院官方群！
欢迎关注JME学院视频号~
寻觅合作伙伴
有一种合作叫做真诚，有一种发展可以无限，有一种伙伴可以互利共赢，愿我们合作起来流连忘返，发展起来前景可观。关于论文推荐、团队介绍、图书出版、学术直播、招聘信息、会议推广等，请与我们联系。
感谢关注我们！《机械工程学报》编辑部将努力为您打造一个有态度、有深度、有温度的学术媒体！
版权声明：
本文为《机械工程学报》编辑部原创内容，欢迎转载，请联系授权！
在公众号后台留言需要转载的文章题目及要转载的公众号ID以获取授权!
联系人：暖暖
电话：010-88379909
E-mail：jme@cmes.org
网 址：http://www.cjmenet.com.cn
官方微信号：jmewechat