合肥工业大学 合肥 230009
【摘要】本文侧重研究一套道路测试的评价方法,包括道路测试流程、路线的设计、系统的搭建等,并提出一系列评价指标来评价盲区监测功能。
关键词:盲区监测;评价方法;测试流程
引言
盲区监测系统常见的误动作有“漏报警”和“虚警”两种,漏报警是指在汽车盲区内存在目标物,系统应输出报警信号的情况下,未正确输出报警信号;虚警是指汽车盲区内不存在目标物,系统不应输出报警信号的情况下,错误地输出报警信号。这两种误动作都会对驾驶人造成干扰,应最大限度地避免。道路测试的主要目的是测试后向盲区监测系统的可靠性,另外也对系统在不同工况下的功能表现进行测试,从用户层面考虑该系统对驾驶员的影响和驾驶员对后向盲区监测系统的信任度,通过主观评价及客观的数据分析来定位问题,进而优化系统。
1.1 设计思路
道路测试主要为了验证系统控制算法和发现问题场景,从而提升系统运行的稳定性和人机交互体验。所以测试工况的设计,试验路线的选择暂不考虑可靠性测试的场景,详细测试方案流程图如图1所示。
1.2 道路测试路线设计
测试路线的设计中需充分考虑各种交通场景、道路类别、天气类型和道路特征等因素[1];选取该车型用户使用频繁的地区,结合中国多样化的道路类型与多变的路况特点,设计可全面激活该系统功能的路况,测试路线覆盖道路类型包括高速公路、国道/省道、城市道路、乡村道路等,另需包括道路特征有集市、隧道、桥梁、弯道、停车场、坑洼路段、坡道和山路等,测试天气需考虑对毫米波雷达工作性能有影响的晴天、雨天和雾天。具体如表1所示。
表1 道路测试影响因素
考虑因素 | 优先级 | 具体场景 | |||
交通状况 | 1 | 拥堵 | 缓行 | 通畅 | |
道路类别 | 2 | 高速路 | 国道/省道 | 郊区道路 | 城市道路 |
天气类型 | 3 | 晴天 | 雨天 | 雾霾 | 阴天 |
道路特征 | 4 | 集市 | 隧道 | 弯道 |
具体设计路试路线如表2所示。按照这些路线选择在白天和晚上,分别在晴天、雨天和雾霾天三种天气状况下进行测试。
表2 道路测试地点及路线(部分)
序号 | 地点 | 关键词 | 路线 |
1 | 成都 | 国道、隧道、弯道、山路、通畅 | G318快速路 |
2 | 潍坊 | 郊区、城市道路、集市、隧道 | G309国道 |
3 | 苏锡常 | 高速路、国道、缓行 | 苏州中环东线-G2高速-芙蓉大道 |
4 | 苏锡常 | 集市、城市道路、拥堵、隧道 |
2.1 测试系统搭建
把USB-CAN设备通过DB9插头的线束与整车CAN相连;CAN盒、摄像头与随车电脑通过USB接口连接,从而实时的传输数据;数据采集系统也与整车通过带DB9插头的线束与整车CAN连接,可及时稳定的采集视频数据及报文。
2.2 测试数据的保存与记录
路试员每次路试需填写道路测试日志,包括填写路试时间,天气、测试里程等信息以及实时记录路试过程中所遇到问题场景,方便路试后具体分析;数据采集系统主要由数据采集系统主机(包含可插拔式大容量硬盘)、高清摄像头、随车电脑、随车电源等硬件系统及数据分析软件等组成,通过数据采集系统将路试视频和数据保存,图2是数据记录流程图。数据在保存时需进行数据备份,防止因硬件设备损坏造成数据丢失。
根据上位机界面显示出的信息统计系统虚警次数、漏报次数和报警次数;另外在后续处理路试视频时,需根据后向盲区监测系统报警策略,判断系统是否虚警和漏报,若有虚警或者漏报,则同时提取系统虚警漏报前后30秒的信息(生成GIF动图),方便后续追踪回溯。另路试根据实际情况可分不同的阶段进行,按阶段对测试数据进行分析,若路试一段时间发现系统漏报或虚警现象较多或测试数据不达标,则需及时对系统进行优化整改,再进行下一轮路试。
2.3 测试结果统计分析
路试地点主要是成都市、潍坊市、苏州市、无锡市、常州市五个城市;分别在五个城市路段挑选了代表城市典型道路特征的测试路线,详细的测试路线如表6.2所示。测试路线涉及天气包括晴天、阴天、雨天、雾天等;涉及道路类型为高速、国道/省道、郊区道路及城市道路;道路特征包括乡村、集市、桥梁、弯道、坑洼路段、停车场和坡道等;
路试总计两轮,第一轮路试完成后将测试数据进行整理,然后对系统参数及算法进行优化,再进行第二轮路试;总计路试路程约1万公里,白天测试里程为7110公里,晚上测试里程为2920公里,路试耗时约3个月。图3是路试概况分析,分别对不同天气状况下行驶里程和不同道路类型下行驶里程进行统计汇总。
(a) 不同天气状况下行驶里程 (b) 不同道路类型下行驶里程
2.3.2 测试评价指标
为对系统进行评价,现设计典型的系统测试的性能指标,用来统计、分析和对比系统的性能,主要分析测试结果的性能指标如下:
| |
| (2) |
0 | (3) |
|
为虚警率, 为漏报率, 为虚警次数, 为报警总次数, 为漏报次数; 为汽车每行驶1000公里的虚警次数, 为汽车每行驶1000公里的漏报次数, 为路试总里程。
路试总共分两轮进行,第一轮路试完毕后对系统算法及策略进行优化再进行第二轮测试,其中第一轮路试5004公里,第二轮路试4996公里。第一轮如表3所示,第二轮如表4所示。经过两轮路试后,系统虚警率和漏报率分别为1.05%和1.57%,满足系统设计要求。
表4 第二轮道路测试性能指标
2.3.4 典型问题场景
通过大量的测试数据并经过系统分析,道路测试中出现的后向盲区监测系统典型问题场景主要有虚警和漏报两类;虚警有护栏、围墙类虚警和非盲区车辆造成的虚警[2],如图4所示,三张图分别为金属护栏虚警、围墙类虚警和正后方有车辆虚警;漏报有后向盲区车辆漏报,如图5所示,本车两侧分别有车辆经过,满足报警条件,却未报警。
图4 典型虚警场景
图5 典型漏报场景
由于每个驾驶员对后向盲区监测系统预警的主观体验不同,报警灯的闪烁频率是否太快,蜂鸣器声音是否会对驾驶员造成干扰,这些需要综合考虑各路试员的意见。所以在每次路试结束,需要路试驾驶员在主观测试评价表上对系统路试表现进行打分及提出优化意见,路试员路试完毕按照评价分为4个等级,评价结果10-9分为非常满意,9-7分为满意,7-6分为基本满意,小于6分为不满意。对所有驾驶员的评价分数进行计算:
| | (6.5) |
其中 为第 个驾驶员对系统的评价分数, 为驾驶员人数, 是驾驶员综合评价分数。经过统计,共有10位不同驾驶员对该系统进行体验打分,如图8所示,计算出系统 的值为7.9分,评级为满意。
图8 驾驶员评分统计
3 结论
本文提出盲区监测系统的道路测试流程及评价方法,并结合实际的量产项目对该流程进行验证,证明该方案能有效并全面的对盲区监测系统进行分析,为ADAS功能的开发具有一定的指导意义。
参考文献
[1]何佳,李长娟,郭蓬,林强,唐风敏.车辆盲区监测系统测试评价方法研究[J].汽车实用技术,2020(12):107-109.
[2]邢春鸿,陈媛媛,李艺,张强. 盲区监测系统公开道路测试方法研究[A].中国汽车工程学会,2018:4.