基于树莓派的智能导盲眼镜系统

郑翔耀，张丽丽，陈昭宇，吴静文，冯豪博

河南科技大学

摘要：对于盲人这一特殊群体,无法通过视觉获取日常生活中的信息,导致他们在日常生活中有许多不便以及安全隐患。因此,我们设计了一个基于树莓派的智能导盲眼镜系统,本系统由树莓派模块,图像识别模块,超声波避障模块,语音播报模块构成,以树莓派4代B型作为主要设备,搭载linux系统,其可以对障碍物进行超声波检测和分析,为盲人智能识别交通信号灯、斑马线并能以语音提示的形式告知盲人,同时其可以识别书籍文字并通过语音播报给盲人。

关键词：树莓派；导盲眼镜；智能识别；超声波检测；语音播报

基金项目：河南科技大学大学生训练项目（SRTP2023129）

Abstract：For the blind people, they cannot obtain information in daily life through vision, which leads to many inconveniences and safety hazards in their daily life. Therefore, we designed a Raspberry Pi based intelligent guide glasses system, the system is composed of Raspberry Pi module, image recognition module, ultrasonic obstacle avoidance module, voice broadcast module, with Raspberry Pi 4 generation B type as the main equipment, equipped with Linux system, which can carry out ultrasonic detection and analysis of obstacles, intelligent recognition of traffic lights, zebra crossings for the blind and can inform the blind in the form of voice prompts, and it can recognize the text of the book and broadcast to the blind through voice.

Keywords：Raspberry Pi; guide glasses; intelligent identification; ultrasonic testing; Voice broadcast

0引言

根据最新的研究，92%的盲人表示他们不喜欢外出，更倾向于待在家中。此外，有33%的盲人表示他们希望有亲人伴随他们外出。但是，由于他们没有足够的视力，他们的外出存在许多问题：由于他们没有足够的信息，他们很可能会遇到拥挤的街头；他们也可能会遇到驾驶员的技术问题；他们可能会遇到驾驶员的操作失误，甚至会发生事故。根据目前的情况，为确保盲人的安全，我们可以采取一系列措施，包括：无障碍设施、导盲犬、盲道以及使用辅具。无障碍设施可以为残疾提供便捷的通行条件，而导盲犬则可以更好地协助他们完成旅程。然而，由于导盲犬的特殊性质，它们无法被有效操纵，而当代的盲人更加需要使用专业的技术，如使用导盲杖、使用专用的盲道，或者根据它们的触觉，判断它们的活动范围，从而实现更加高效的出行。随着现代技术的发展，传统的盲人导盲技术存在着许多缺陷，比如它们过于庞大、笨拙，并且缺乏智能性，无法有效地识别出周围环境中的阻碍。由于目前的情况，盲人已经成为社会上的一个特殊群体，所以帮助他们实现视觉障碍将是一个全民健康和社会福祉的挑战。

1研究背景

第七次人口普查全国大约有8500多万残疾人,其中视力障碍残疾人有三千多万,并且每年还会有四十多万的增加量,视力残疾人口比例庞大,是全世界盲人最多的国家,占全世界盲人总数的21%,

因为视力受到损害，所以盲人的日常生活中会遇到许多挑战。大多数时候，这些盲人需要通过触觉、听觉、甚至动物来帮忙。这些方法对于他们来说并非易事，但却能够帮助他们度过艰苦的日子。这些工具难以满足视障人群在复杂环境中的导航需求。尽管现在的盲人辅助工具取得了一定的进步，但仍然存在诸多挑战，比如：城市盲道的规划不当、盲道的滥用、盲道的损坏以及缺乏有效的监督，这些问题严重影响了盲人的出行安全。由于训练成本、训练难度和专业技术的局限，导盲犬的数量仍然较少，这使得推广这种技术仍然存在较大的挑战。此外，目前普遍使用的盲人导盲杖体积庞大，重量沉重，而且缺乏智能化，无法准确地识别出周围的环境。随着深度学习、图像处理等技术的发展,智能导盲设备逐渐具备了对环境的感知、识别和导航规划能力。这些设备能够帮助视障人群更加安全、便利地行走,提高其生活质量。

视障人群作为社会的一部分,其需求和权益也日益受到关注。导盲设备作为辅助视障人群的重要工具,其智能化、便捷性和安全性成为了研究的重点。树莓派作为一种微型计算机,由于其强大的计算能力和开源的软件生态,逐渐成为了智能导盲设备开发的热门选择。所以本文设计了一款基于树莓派的智能眼镜系统,具备盲人出行活动所需的文字识别、语音播报、智能避障和摔倒报警等基本需求。通过有效的判断，如障碍物的距离、状态等，我们可以为盲人提供及时的避让指引；在十字路口，通过语音和震动等方式，提示盲人红绿灯的状况；识别斑马线，指引他们沿着正确的方向安全地通过；此外，通过语言播报，让盲人能够正常阅读，丰富他们的生活，而且，还可以实现超声波探测距离和智能避障功能。

2.智能导盲眼镜系统总体设计

此智能导盲眼镜系统采用的是模块化的设计方案。每个模块各自独立地实现相对应的功能,并通过调用接口来实现系统功能的完整性,若有某个模块无法正常工作,其他功能模块也不会受到影响,大大提高了系统的可持续性和安全性。该系统分为四个模块:树莓派模块,图像识别模块,超声波避障模块,语音播报模块。此系统通过图像识别模块识别红绿灯、斑马线以及书籍文字等,超声波避障模块识别是否有障碍物,经树莓派模块处理,再通过语音播报模块播报给使用者。系统设计思路如图1所示

图1系统总体框图

2.1图像识别与采集功能

本设计通过一个摄像头同时采集红绿灯和斑马线的数据信息，而且在采集的过程中需要通过视频拍摄的方式进行连续实时的监测采集。当用户通过操作打开图像识别模块后，摄像头开始拍摄实时视频，并不断地将实时视频传输给处理器。树莓派通过识别算法先进行红绿灯识别，将红绿灯信息通过语音播报传达给用户，若为绿灯，则通过识别算法再进行斑马线识别，并将斑马线信息通过语音播报传达给用户。具体流程图如下图2所示。

图2  图像识别与采集功能实现流程图

2.2超声波智能避障功能

这个设计包含了树莓派、超声波探测器和语音播报模块，可以检测到周围的环境，并且可以进行实时的通信。

通过使用超声波技术，我们能够准确地定位目标。这种技术的基本原理是通过将特定的超音频信号从发射源转换成相应的信号，然后将信号转移至目标所处的环境。当信号穿过目标区域并遇到障碍物时，它会被转换成另一个信号，并被转移至目标所处的环境。通过对信号的快慢变化进行分析，我们能够准确地估算目标与目标之间的距离（s），其单位是千米/秒。具体如下图3所示。

图3 超声波监测智能避障原理图

本功能是在树莓派的控制下，利用超声波测距原理，测量盲人与障碍物之间的距离。当两者距离小于安全距离时，系统会及时发出报警声音，提醒盲人采取避让措施，避免撞上障碍物。

图4 超声波避障功能流程图

2.3语音文字播报功能

本设计基于LD3320芯片,采用ICRoute公司的优化算法,其芯片内部放置了语音合成引擎,可以将文字转换为流畅的语音输出,并且该芯片通过语音合成引擎将预先设定的文字内容转化为语音,并通过扬声器播放。LD3320芯片可以编辑识别后的文字库,将关键字传送进去后,下次识别即生效。

在盲人需要查阅或者翻看正常带有文字且没有盲文的物品时,系统将通过树莓派PiNoIR摄像头实时拍照盲人所看见的文字内容,并提取相应的关键字传输进入芯片,进行数据分析与解析,然后通过语音播报模块将所读取的内容播报出来。

3基于卷积神经网络的语义分割模型

经过精心挑选，我们收录了来自百度、360、搜狗等各种搜索引擎的海量路面图像，并且按照截然不同的路面类型做出了分类，其中包括：干燥的柏油、湿润的柏油、干燥的混凝土、湿润的混凝土、干燥的泥泞、湿润的泥泞、碎石、压实的雪地及冰冻的表层。经过精心筛查，最终收集到2700张道路照片，其中1类分为300张。

我们在这个系统中使用了一种叫做FC-DensenNet56的语义分割网络。这种网络的架构大致可以看作是由五个不同的部件组成，其中TD部件负责收集TU部件的信息。我们通过在这些部件之间插入一条实线，并在这条信息的两端插入一条跳变的部件，从而把收集到的信息与其他部件进行比较。该模型由10个DB模块组成，其中4个为卷积层。第1层由k个特征图构成，它们可以被直接用于输出，并且可以被传递至第2层，而第2层又会从第3层获取更多的信息。通过重复4次的处理，我们可以生成4×k 的特征图DB，从而实现对数据的有效的语义划分。

图5 语义分割网络模型

经过训练后,本系统能对于路况的识别能力较强,能保持95%左右的平均精度,并且在复杂情景下也能有较好的识别效果。

4结语

随着人机交互技术的不断发展，各种盲人出行辅助工具的设计也在不断演进，以满足更多用户的需求，实现更加丰富的功能、更加人性化的智能化体验。本文所设计的基于树莓派的智能导盲眼镜系统满足了盲人出行所需的文字图像识别、语音播报、智能避障等基本需求,能够让盲人像正常人一般安全地出门和日常的简单生活。

参考文献：

[1]吴杰.基于卷积神经网络的轻量化目标识别算法研究[硕士学位论文].长春理工大学,长春,2021.

[2]陈先昌.基于卷积神经网络的深度学习算法与应用研究[D].杭州；浙江工商大学，2013.

[3]胡浩明，奚王雨牧，李亚南，等.基于Google Project Tango的盲人障碍检测系统设计与实现[J].电子技术与软件工程,2019(4):95-97.

[4]汤智超，苏琳，何超，等.导盲机器人的交通标志视觉识别技术研究[J].计算机技术与发展,2014(9):23-27.

[5]范先群，宋雪霏.重视开展眼眶病人工智能诊疗的研究和开发[J].中华眼科杂志,2019,55(11):800-805.

[6]张平昕，罗唐，杜海军，等.基于增强现实技术的智能导盲眼镜设计[J].河南科技,2020,720(22):15-16.

[7]吴翩卉,卢杜晓,罗忠辉,莫玲,肖苏华.智能机器人的超声波避障技术研发及应用[J].机床与液压,2019,47(09):46-50+57.

[8]张建荣.智能导盲拐杖系统的设计［J］.通讯世界，2019 （10）：142-143.

[9]朱爱斌，何大勇，罗文成，等.基于双目视觉方法的可穿戴式导盲机器人研究［J］.机械设计与研究，2016（5）：31-34.