基于深度强化学习的深圳市急救车调度算法

作     者：吴仍裕 周强 于海龙 王亚沙 WU Rengyu;ZHOU Qiang;YU Hailong;WANG Yasha

作者机构：深圳市急救中心广东深圳518000 北京大学信息科学技术学院北京100871 北京大学软件工程国家工程研究中心北京100871 北京大学高可信软件技术教育部重点实验室北京100871 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2022年第48卷第9期

页      面：298-304页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：深圳市“医疗卫生三名工程”项目(SZSM201911005) 

主　　题：强化学习 神经网络 急救车调度 动态调度 马尔科夫决策过程 

摘      要：在院前急救领域中,急救反应时间是指患者拨打急救电话后,急救车到达现场的时间。传统急救车调度算法未全面考虑急救环境的动态性和复杂性因素,导致模型优化的急救反应时间与实际情况存在偏差。将急救车调度问题建模成马尔科夫决策过程,构建基于深度强化学习的急救车调度算法。以多层感知机作为评分网络结构,通过将急救站的动态信息映射为各个急救站的得分,确定急救车被调往各急救站的概率。同时,结合急救车调度的动态决策特点,利用强化学习中演员-评论家框架下的近端策略优化算法改进评分网络参数。在深圳市急救中心真实急救数据集上的实验结果表明,相比Fixed、DSM、MEXCLP等算法,该算法在每个急救事件中的急救反应时间平均缩短约80 s,并且在10 min内急救车的平均到达比例为36.5%,能够实时地将急救车调度到合适的急救站。