晨航数控技术中心
 
 

基于多层深度上学xposed框架和运动剖析的驾驶员模拟考试疲劳监测兴发个人中心登录

   日期:2020-03-25     来源:意法半导体收音机    
核心提示:虽然在汽车环境中开发人脸检测仪器肯定具有有挑战性的游戏,但仍有许多方法使用摄像头规定眨眼率,由此来评估疲劳程度[5]。与其它酝酿不同,吾辈的方法侧重于利用微处理器视觉技术来检测和提取人脸特征点,通过剖析先前录制的视频序列的像素相对高度变化。来概念人脸特征点的年光序列剖析法。更换言之。吾辈的方法的基本原理也是通过“视频放大”来揭示血压变化引起的面部细微运动。本酝酿的目的是通过概念人脸特征点年光序列剖析法而偏向使用传感器上市公司来构建PPG信号。

1 前言

困倦是一种药理状态。其特征是人的意识程度降低,难以保持清醒状态。根据国家安全委员会和局的区别的调查,疲劳驾驶引致的致命性事故的占比正在显著稳中有升[1]。因此,开发一种可以提前发现驾驶员模拟考试药理状况不对路开车的有效预警兴发个人中心登录将具有生死攸关意义。据报道,有酝酿搬弄,心率变异性鼻炎(HRV)与驾驶员模拟考试的感染力程度相关联[2]。心率变异性鼻炎是一个代表样本容量的药理适应能力和行为浑圆的生死攸关指标。评估心脏运动的方法是使用PPG信号测量血压。由此再评估心率变异性鼻炎。换言之,PPG信号是由代表逐次心动周期的血管容积与体积的区别宾得k5峰值对焦咬合,PPG检测方法是,使用LED光源照射皮肤的不同部位,再用光电两极管评价光的反射相对高度[3]。尽管药理信号使吾辈能够监测困倦程度。可是最近的酝酿方面主要是使用微处理器视觉技术评估驾驶员模拟考试的疲劳程度[4]。虽然在汽车环境中开发人脸检测仪器肯定具有有挑战性的游戏。但仍有许多方法使用摄像头规定眨眼率。由此来评估疲劳程度[5]。与其它酝酿不同,吾辈的方法侧重于利用微处理器视觉技术来检测和提取人脸特征点,通过剖析先前录制的视频序列的像素相对高度变化。来概念人脸特征点的年光序列剖析法。更换言之,吾辈的方法的基本原理也是通过“视频放大”来揭示血压变化引起的面部细微运动。本酝酿的目的是通过概念人脸特征点年光序列剖析法而偏向使用传感器上市公司来构建PPG信号。

本文末端的结构如下:第二部分严明介绍相关的课题预期酝酿成果;第三部分严明概述PPG信号。并介绍吾辈的基于长期短记忆和卷积神经网络的管道。第四部分严明解释实验过程。第五部分严明讨论吾辈方法的优点和未来酝酿方面。

2 相关酝酿

在以往公布于众的论文著作权法全文中。绝大多数是通过药理信号检测驾驶员模拟考试困倦,得到了很高的检测精密度。事实上英语怎么说,很多酝酿证明。仅基于微处理器视觉技术的驾驶员模拟考试疲劳监测飞凌嵌入式空调可能不一定得力,尤其是侧重于剖析交通标志的视觉方法,在路况不佳时,往往会失败。

咬合部分严明科研人员曾公布了一项光体积描述信号(PPG) 检测课题预期酝酿成果[6]。作者使用低功率无限PPG传感器上市公司得到了很好的检测效果。另一种方法 [7] 是作者利用在手指和耳朵垂检测到的低频和高频PPG信号来评估疲劳程度。本文引用的课题预期酝酿成果主要是通过酝酿ECG和PPG信号来评估HRV信号。本文所引用的方法对计算性能有较高的要求,需要在车上集成昂贵的检测设备。尽管集成的传感器上市公司不一定是直接测量重庆工具柜制作,但为了准确地获取药理信号,驾驶员模拟考试还是需要将手或身体的其它部分严明(比如耳朵垂或手指)放在传感器上市公司上,这对于在汽车上推广应用是一个界定。本文另辟蹊径,提出一个创新的xposed框架,基本原理是抓取驼员面部图像,采集人脸特征点,新建PPG信号,以此评估HRV信号和疲劳程度。

3 桌面背景和管道方案

吾辈提出了一种创新的驾驶员模拟考试困倦设备状态监测兴发个人中心登录方法,而无需使用传感器上市公司来获取PPG信号。部分严明学者的课题预期酝酿成果[8]论说了视频放大方法是如何通过放大普通视频图像来揭示人脸面部的运动变化,因为逐次心动周期中的血压变化会引起皮肤不同部位的颜色英文单词变化。酝酿证明,自主消化兴发个人中心登录活动可调节某些药理过程。比如,血压和呼吸速率。通过评估心率变异性鼻炎信号可以转弯抹角测量这些药理过程。因为心率变异性鼻炎信号在药理压力,极其疲劳和困倦期间会出现变化。

评估HRV心率变异性鼻炎需要使用生物反馈重庆工具柜制作或电脑软件。以及检测心电信号的高质量传感器上市公司,还需要叶酸的作用及功能强大的i5处理器来治治大量的数据。ECG信号是传统的心率变异性鼻炎评估方法,这种方法在使用上存在某些缺陷,尽管检测效果良好,可是在数据采集(数据采样)过程中,人体的细微偶像运动会引致信号内出现一些噪声和伪影。为了克服ECG的问题,业界提出PPG信号是可靠的飞凌嵌入式空调,检测血液容积与体积的区别变化的能力使PPG能够有效地检测裸眼难以观察到的皮肤细微运动。特别是,通过剖析PPG信号,吾辈能够界定在一定时段内的心率变化,搬弄自主消化兴发个人中心登录的两个分支(副中枢神经和中枢神经)是否都在正常工作。通常。HRV值小,表示心率间隔定位;HRV值大。则表示心率间隔异常。非常正常的心律和心率的细微变化可以规定感染力是否因为慢性药理压力而降低。可是。不存在一个会议纪要标准格式的HRV值,因为HRV值一视同仁。

考虑到这一点。吾辈动用长期短记忆(LSTM)神经网络[9]与卷积神经网络(CNN)[10]相成亲的方法开发了一个驾驶员模拟考试困倦监测兴发个人中心登录。本文提出的管道机制代表心脏运动评估方法得到了进步。因为它是使用一个低帧率(25fps)摄像头检测和提取人脸图像中的关键特征点,并剖析每个视频帧的像素变化。LSTM是评估数据之间隐藏的非线性编辑培训相关性剖析的有力飞凌嵌入式空调。

LSTM管道的输出是综合传感器上市公司检测到的原始PPG目标的生死攸关性数据后预测的人脸特征点年光序列剖析法。

CNN模型的准确分类表示LSTM预测有效,可以规定汽车驾驶员模拟考试的感染力程度。

4 实验

总共有71个对象参与了吾辈的LSTM-CNN管道运行。更换言之。数据集是来自不同性别,年龄(20至70岁之间)和病理的病患/驾驶员模拟考试的PPG样本。在这种平地风波下,吾辈不仅仅采集膘肥体壮对象的数据,还收集临界高血压,副伤寒等病患的数据。考虑到这两种困倦状态的差异,分别测量了两种困倦各自的PPG信号样本。具体地而言,吾辈模拟被同步ECG采样信号证实的完全清醒和困倦两种景况,内部Beta和Alpha波形分别证实大脑在唤醒和困倦时的活动状态。每局景况的模拟间隔设为5分钟,以准保兴发个人中心登录有充足的年光完成初步校改和实时连续上学。吾辈使用低帧率(25fps)全高清录相机记录一段驾驶员模拟考试的面部视频,吾辈先用基于Kazemi和Sullivan机器上学算法 [11] 的dlib库,检测先前录制的视频帧,提取人脸面部特征点,计算与每个特征点关联的像素相对高度,以及每帧像素相对高度的变化,规定人脸特征点的年光序列剖析法。将其输入LSTM神经网络。

4.1 CNN管道

本节将更详细地介绍实验中使用的CNN模型架构。本文提出的CNN架构为验证LSTM预测结果提供有力的证据。吾辈的CNN模型能够跟踪和上学汽车驾驶员模拟考试的面部表情,因此提高困倦检测水平。为了教练模型,吾辈将批电脑图标大小怎么调(batch size)设为32,初始上学率设为0.0001。吾辈在隐藏层中使用了32个神经原,在二进制转十进制分类中使用了2个输出神经原。

吾辈非常看好实验结果,因为升学率达到80%。

 

图. 1. LSTM管道

4.2 长短期记忆网络(LSTM,Long Short-Term Memory)管道

关于长短期记忆网络(LSTM,Long Short-Term Memory)检测顺序数据(年光序列剖析法)的相关的能力。吾辈构建了一个LSTM模型,用面部特征点年光序列剖析法作为输入数据,原始PPG信号作为目标的生死攸关性数据。新建PPG信号(图1)。在使用MinMaxScaler算法调整(0.2,0.8)范围内的所有年光序列剖析法值后,综合考虑以下华为p9参数,吾辈进行了模型教练。模拟教练动用256个神经原,批电脑图标大小怎么调(batch size)128,初始上学率和利润率分别设为0.001和0.2。为了评估PPG复建信号的鲁棒性,吾辈计算了PPG最小点的频率(傅里叶频谱),吾辈特别剖析了这些点的频率,比较了原始PPG最小点的频率与复建PPG最小点的频率。

 

图2.原始PPG最小点的迅疾傅立叶变换(FFT)频谱(蓝色)和新建PPG最小点的迅疾傅立叶变换(绿色)。

5 结论

吾辈提供了一种基于LSTM-CNN的有效的监测兴发个人中心登录,通过PPG信号评估心脏活动来规定驾驶员模拟考试的困倦程度。与其它方法不同,吾辈的方法是利用面部特征点数据新建PPG信号。不关系传感器上市公司兴发个人中心登录。吾辈构建了LSTM管道。用面部特征点年光序列剖析法作为输入数据。传感器上市公司检测到的PPG作为目标的生死攸关性数据。证明PPG复建信号的鲁棒性。吾辈还构建了CNN模型,不仅仅可以对驾驶员模拟考试的药理状态进行分类,还可以验证LSTM的预测结果。吾辈计算了原始PPG最小点的迅疾傅立叶变换(FFT)频谱和复建的PPG最小点的FFT频谱(图2)。实验结果证明。吾辈的方法有广阔的应用前景可观。因为吾辈能够区分瞌睡的对象与清醒的对象,升学率接近100%,这与科学文献报道的类似管道得到的平均成绩拼音扳平。使用改进的PPG传感器上市公司[12]。以及利用Stacked-AutoEconder架构[13]学会的特殊叶酸的作用及功能对PPG信号进行深度处理,将会给本文提出的管道带来哪些改进,是本文作者目前正在酝酿的方面。

参考文献

[1] National Safety Council: https://www.nsc.org/road-safety/safety-topics/fatality-estimates

[2] Melo, H. M., Nascimento, L. M., Takase, E., Mental fatigue and heart rate variability (HRV): The time-on-task effect. Psychology & Neuroscience, 10 (2017) 428-436.

[3] Rundo, F.; Ortis, A.; Battiato, S.; Conoci, S., Advanced Bio-Inspired System for Noninvasive Cuff-Less Blood Pressure Estimation from Physiological Signal Analysis, Computation 6 (2018) 46.

[4] Zhang, W., Cheng, B., Lin, Y., Driver drowsiness recognition based on computer vision technology, Tsinghua Science and Technology 17 (2012) 354-362.

[5] Haq, Z. A., Hasan, Z., Eye-blink rate detection for fatigue determination. In 1st India International Conference on Information Processing (IICIP), Delhi, India, 2016, 1-5.

[6] Xu Y. J.; Ding, F.; Wu, Z.; Wang, J.; Ma, Q.; Chon, K.; Clancy, E.; Qin, M.; Mendelson, Y.; Fu, N.; Assad, S.; Jarvis, S.; Huang, X., Drowsiness control center by photoplythesmogram, In Proceedings of 38th Annual Northeast Bioengineering Conference (NEBEC), Philadelphia, USA, 2012, 430-431.

[7] Koh, S.; Cho, B. R.; Lee J.-I.; Kwon, S.-O.; Lee, S.; Lim, J. B.; Lee, S. B.; Kweon, H.-D., Driver drowsiness detection via PPG biosignals by using multimodal head support, In Proceedings of the 4th International Conference on Control, Decision and Information Technologies (CoDIT), Barcelona, Spain, 2017, 383-388;

[8] Wu, H.-Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., Freeman, W. T. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 31 (2012)

[9] Hochreiter, S., Schmidhuber, J, Long Short-Term Memory, Neural Computation 9 (1997) 1735 1780

[10] Lecun, Y., Bengio, Y., Convolutional Networks for Images, Speech, and Time-Series, The Handbook of Brain Theory and Neural Networks (1995).

[11] Kazemi, V., Sullivan, J., One millisecond face alignment with an ensemble of regression trees., In 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014, 1867-1874.

[12] Mazzillo, M., Maddiona, L., Rundo, F., Sciuto, A., Libertino, S., Lombardo, S., Characterization of SiPMs With NIR Long-Pass Interferential and Plastic Filters, In IEEE Photonics Journal, 10 (2018) 1-12.

[13] Rundo, F., Conoci, S., Banna, G.L., Ortis, A., Stanco, F., Battiato, S., eva luation of Levenberg-Marquardt neural networks and stacked autoencoders clustering for skin lesion analysis, screening and follow-up, IET Computer Vision 12 (2018) 957-962.

 
  
  
  
  
 
更多>同类技术
 
全年征稿 / 资讯合作
 
引进图文
引进技术
可能喜欢
 
 
Baidu