基于視頻的生理參數(shù)測量技術(shù)及研究進展

　　摘要：生理體征參數(shù)的臨床監(jiān)測對于個體的健康管理、疾病的預防與跟蹤具有重要的意義。遠程光電容積描計法(remotephotoplethysmography)是一項新興的、基于攝像頭的、無接觸方便快捷的生理體征參數(shù)測量技術(shù)。血管內(nèi)部血液的流動造成人體表皮顏色的微弱變化，通過計算機對這一周期性變化的信息進行放大提取，便可以分析出與心臟運作相關(guān)的體征參數(shù)，如心率、血壓等。RPPG自2008年提出之后得到了飛速的發(fā)展，其準確率、魯棒性、實用性都得到了大幅度的提高。RPPG的檢測流程主要是從圖像傳感器獲取人體面部數(shù)據(jù)開始，隨后基于圖像及信號處理技術(shù)完成微弱脈沖波形的提取及相關(guān)體征參數(shù)的計算。本文從rPPG的基本檢測流程出發(fā)，首先對rPPG的硬件采集設(shè)備進行介紹，之后重點描述從rPPG中提取心率的算法，然后進一步介紹rPPG相關(guān)的應用研究，最后就未來rPPG可能的研究方向進行了展望。

　　關(guān)鍵詞：遠程光電容積描計法;無接觸測量;生理體征參數(shù);光照;運動;深度學習

　　進行心率、血氧、血壓等能直接反應身體運作情況的人體心理活動參數(shù)的檢測，對了解個體的生理健康或者情緒狀態(tài)有著十分重要的意義。因此開發(fā)方便快捷的生理參數(shù)檢測方法具有很強的應用價值。當前，心電圖(Electrocardiogram，ECG)與光電容積描計法(Photoplethysmography，PPG)是心率檢測領(lǐng)域最常使用的兩門技術(shù)。ECG通過在人體的不同部位連接傳感器電極，采集體表不同部位的電信號，進而收集心臟的運作信息，是眾多生命體征儀器開發(fā)過程中的黃金標準。PPG則是利用光電技術(shù)在活體組織中檢測血液容積的變化，提取人體相關(guān)的體征信息，也是目前使用最為廣泛的心率檢測技術(shù)。

　　生物醫(yī)學論文投稿刊物： 現(xiàn)代電生理學雜志2017年目錄查詢

　　然而，二者都需要待檢者與檢測設(shè)備進行直接接觸，存在著一定的局限性。比如，當患者皮膚出現(xiàn)創(chuàng)傷或者新生兒皮膚尚未發(fā)育完全時，物理設(shè)備可能會給受檢者帶來二次傷害或者增加不適感。2008年，Verkruysse[1]提出remotephotoplethysmography(rPPG)，這是一種基于普通攝像頭的無接觸式生理參數(shù)檢測技術(shù)。RPPG的檢測原理與PPG是類似的，利用光學信息來分析生理體征參數(shù)。在心臟的驅(qū)動作用下，血液在血管內(nèi)部進行周期性流動，同時動脈的搏動對血管群進行擠壓，從而造成光線傳播強度的周期性變化，反應到皮膚表面則呈現(xiàn)為皮膚亮度的變化。

　　通過圖像設(shè)備與待檢者保持一定的距離完成數(shù)據(jù)采集，隨后利用圖像、信號處理技術(shù)對這一部分微弱的變化進行放大分析，便可以提取出與心臟運作有關(guān)的生理參數(shù)，達到遠程無接觸檢測的目的。無接觸檢測技術(shù)是基于環(huán)境光作為探測光源，圖像傳感器作為數(shù)據(jù)接收裝置，因此受試者的肢體運動和環(huán)境光的變化成為影響rPPG檢測結(jié)果的兩大因素。最近十幾年間，學者們針對rPPG存在的干擾問題進行了大量的研究，該項技術(shù)的性能獲得了多方面的提升[2,3]：

　　(1)準確率與魯棒性得到了顯著的提高。從人體在靜態(tài)下進行測量到受試者可以完成簡單的肢體動作[4]，再到新生兒的臨床監(jiān)護[5]和駕駛員操作狀態(tài)下的無干擾心率監(jiān)測實驗[6]，rPPG從實驗室研究發(fā)展為實際應用;(2)在檢測設(shè)備上，除了常規(guī)的RGB相機，紅外與近紅外技術(shù)[7]的引入，使得rPPG的使用范圍大大提升，在低照明度下也能完成準確的心率預測;(3)基于深度學習的rPPG檢測算法也得到了極大的發(fā)展，從人工神經(jīng)網(wǎng)絡(luò)[8]到與傳統(tǒng)檢測方法結(jié)合的皮膚檢測網(wǎng)絡(luò)[9]，再到神經(jīng)搜索[10]，深度學習在提升rPPG抗干擾方面的能力吸引了眾多學者的研究興趣;(4)除了常規(guī)的心率檢測，rPPG也被用于呼吸率[11]、血氧[12]、血壓[13]等生理參數(shù)的預測。本文從rPPG的檢測流程出發(fā)，首先介紹圖像獲取與感興趣區(qū)域(RegionofInterest，ROI)選取的方法，隨后在提取及分析脈沖信號部分對如何提高檢測的魯棒性與準確率等方面，詳細介紹了rPPG的研究進展;之后就其應用研究進行簡述，最后展望了rPPG的未來研究方向。

　　1基于視頻的rPPG檢測流程

　　皮膚血管內(nèi)的血紅蛋白對光線有較強的吸收作用，從而引起表皮顏色上的微弱變化，通過采集皮膚圖像并對這一變化信號進行捕捉放大，進而分析出相關(guān)的生理參數(shù)。

　　1.1面部數(shù)據(jù)采集

　　從理論上講，人體身上的每一處皮膚都可以捕捉到PPG信號[14]，但是手臂、小腿等位置由于皮膚深度、日常行動等因素，即使是在理想的環(huán)境下，也不足以提取出穩(wěn)健的rPPG信號[15]，所以，無接觸檢測的部位一般為人體面部。基于CCD模塊的彩色相機在rPPG領(lǐng)域內(nèi)是最常使用的采集設(shè)備，低成本、成像質(zhì)量高是RGB相機最大的優(yōu)勢。在目前所開展的研究中，大多數(shù)實驗都是處于良好的照明條件下進行。

　　然而由于普通相機沒有附加光源，當環(huán)境照明度較低或者處于黑暗條件下時，RGB相機會出現(xiàn)成像質(zhì)量差、幀速低的現(xiàn)象。針對這一情況，紅外技術(shù)的引入，提高了rPPG在低照明度下的檢測性能。比如，Sang[7]基于近紅外技術(shù)，提出一套無接觸心率檢測系統(tǒng)，提升了rPPG在黑暗環(huán)境下的使用性能;Hu[16]利用長、短波紅外技術(shù)設(shè)計了一套雙攝成像系統(tǒng)，在夜間完成了心率與呼吸率的高效檢測。除了紅外技術(shù)的使用，深度相機、多光譜成像技術(shù)的使用也增加了rPPG的應用范圍。

　　除了RGB相機，新引入的設(shè)備大多是為了解決低照明度下的檢測問題，比如，近紅外(NearInfrared，NIR)相機在黑暗情況下拍攝的圖像質(zhì)量遠遠強于RGB相機[21]。當前大多數(shù)彩色相機是利用CCD作為圖像傳感器，工作方式是通過離散的像素點將光學信號轉(zhuǎn)為模擬的電流信號，再經(jīng)過后續(xù)操作完成圖像的獲取存儲[22]。受限于這一工作方式，當環(huán)境光線照明度較低時，CCD模塊無法捕捉足夠的光信號進而轉(zhuǎn)換為電信號，所以獲取的圖像整體亮度較低，加大了后續(xù)數(shù)據(jù)分析的難度。紅外技術(shù)的使用提升了彩色相機在低照明度下的成像質(zhì)量。但是，紅外相機的成像質(zhì)量相對較差，所以CCD與紅外技術(shù)結(jié)合的雙模式成像方式受到了關(guān)注，并在rPPG檢測方面展現(xiàn)了良好的實驗結(jié)果。

　　1.2ROI定義

　　定義合理的ROI目的是減少環(huán)境噪聲的引入，包括非皮膚區(qū)的背景噪聲及面部器官活動等帶來的干擾。針對第一種情況，ViolaJones人臉檢測器是在rPPG領(lǐng)域最常用的獲取人臉區(qū)域的技術(shù)。基于Haar特征和級聯(lián)結(jié)構(gòu)，可以實時完成準確的人臉檢測，所以其一般用于rPPG的預處理階段，隨后再使用跟蹤技術(shù)完成全部圖像序列的ROI定義工作。由于面部皮膚不同位置的厚度、平坦度不同，rPPG信號在皮膚上的分布并不均勻[23]。因此，在VJ檢測器的基礎(chǔ)之上，膚色[24,25]和人臉特征點檢測[8]等計算機視覺技術(shù)被用于進一步提升定義ROI的精度及降低非皮膚區(qū)帶來的干擾。

　　1.3初始信號提取與解析

　　完成ROI的定義之后，需要從這一系列連續(xù)圖像中提取原始脈沖信號，進行相關(guān)的分析。對所提取的信號進行解析，一項開創(chuàng)性工作是盲分離技術(shù)(BlindSourceSeparation，BSS)[4,26]的應用。盲分離技術(shù)是一 種在沒有先驗條件的情況下，將源信號在可觀測的混合信號中分離出來的信號處理技術(shù)，在語音分離、生物醫(yī)學等領(lǐng)域得到了廣泛的應用[37]。最具代表性的盲分離技術(shù)是獨立成分分析(IndependentComponentAnalysis，ICA)，Poh等人[4]將RGB三個通道的信號輸入ICA矩陣，自適應分離出目標信號，而隨后的半盲源分離[38]，聯(lián)合盲源分離[30]，約束盲分離[39]都是在此基礎(chǔ)上的改進。但是BSS也存在著一定的缺陷，實際應用中，噪聲源的個數(shù)難以估計，同時盲分離技術(shù)對于輸入信號的長度也有要求。因而，模態(tài)分解技術(shù)[11]成為另外一種常用的rPPG信號解析方式，將單信號分解為多個具有單一中心頻率的子信號。

　　1.3.1降低運動干擾

　　基于相機的rPPG致力于給志愿者最自由舒適的檢測體驗，因此個體運動是影響rPPG檢測準確率最大的干擾因素。除了對個體進行運動補償，比如使用跟蹤算法[40]對ROI進行跟蹤來提升檢測的魯棒性，降低運動干擾的方法還可以分為以下三種。第一種方式是信息融合。面部不同區(qū)域的rPPG信號強度不同，賦予不同質(zhì)量信號權(quán)重并進行融合，可以有效地提升rPPG信號的質(zhì)量。Po[41]對人臉進行分塊處理，通過均值漂移和信噪比閾值自適應選取具有高質(zhì)量rPPG信號進行加權(quán)融合，恢復高質(zhì)量的心率信號。

　　Serge[42]提出基于超像素分割的rPPG信號提取方式，將人臉皮膚分割成多個像素塊，提取每一個區(qū)域的信號進行信噪比計算，通過賦予不同信號的權(quán)重進行融合，有效地提高了rPPG信號的質(zhì)量。同樣的處理方式在Yannick等人[43]的研究中被使用，他們采用貝葉斯評價準則用于皮膚塊信號的評價，并以此計算權(quán)重進行融合，展現(xiàn)了良好的rPPG信號提取效果。類似的，基于信號頻譜主、次頻比值的rPPG塊提取[44]，基于不同區(qū)域膚色強度的信號加權(quán)方法[45]，多區(qū)域信號的加權(quán)融合展現(xiàn)了比單一區(qū)域更好的信號提取效果。

　　區(qū)域信息融合的方式通過賦予高質(zhì)量信號更大的權(quán)重，降低低質(zhì)量信號的參與，有效地避免了噪聲干擾，提升了rPPG檢測的運動魯棒性。而除了面部的信息融合之外，多相機的通道信號融合同樣展現(xiàn)了良好的檢測效果。例如，Cheng等人[34]證明了多個彩色相機的同步采集對于提升rPPG檢測準確率的有效性。信息融合是解決運動干擾非常有效的方法，賦予不同信號權(quán)重進行信號重建，可以提升rPPG信號的魯棒性，但是這需要較大的計算資源，對于皮膚區(qū)的檢測要求較高。此外，另外一種提升rPPG運動魯棒性的方法是顏色空間的轉(zhuǎn)換。

　　第二種是顏色空間的轉(zhuǎn)換。RGB空間是使用最廣泛的色彩空間，也是rPPG領(lǐng)域使用最多的顏色空間。RGB空間屬于加色系統(tǒng)，外界對三個通道的干擾是同步的，通過顏色空間轉(zhuǎn)換的方式，分離亮度和色度信息，在色度信息中提取血液的脈沖信號，可以有效地提高rPPG檢測的魯棒性。Yang[46]證明CIELab模式對提升rPPG運動魯棒性是有效果的，個體的運動只會影響信號在亮度通道上的分布，色度信號獨立于運動之外，只受血液流動的影響;色度信息的使用在deHaan[47]的研究中也被使用。

　　將脈沖信號從運動引起的干擾中分離出來，在同樣的運動實驗中，準確率比BSS算法提升了40%;對于同樣使用投影變換進行rPPG信號的提取，YCbCr[48]空間提取的信號平均信噪比RGB空間提升了69.3%，同樣采用修正策略，Cho[49]在HIS空間中，對圖像的像素點進行基于遞歸最小二乘法的噪聲消除，實驗結(jié)果表明，修正后的圖像所提取的rPPG信號與參考信號展現(xiàn)出了良好的一致性。不過，顏色空間轉(zhuǎn)換只適用于運動幅度較小的場景，只進行簡單的圖像轉(zhuǎn)換，對亮度信息的濾除效果是限制的，另外環(huán)境光噪聲的強度同樣會對色度的提取產(chǎn)生影響。

　　第三種方式是建立rPPG的光學模型進而降低運動的干擾以提升魯棒性。根據(jù)Feng所建立的光學模型[50]，三個顏色通道的信號都受到同一種運動的調(diào)制，因此提出基于紅色及綠色通道信號的自適應色差運算方法，先通過ROI跟蹤技術(shù)減少頭部運動的干擾，再經(jīng)過色差運算去除受運動調(diào)制的散射、漫反射光強信號，剩余部分為運動調(diào)制的脈沖信號，最后根據(jù)rPPG信號的頻譜特性，由帶通濾波器進一步降低運動產(chǎn)生的造成。

　　1.3.2降低光照噪聲

　　rPPG以自然光作為探測源，照射到皮膚上的光線容易受到外界的干擾而影響表皮亮度的變化。不同于解決運動對rPPG檢測造成的干擾主要集中在算法層面，提升無接觸檢測的光照魯棒性可以分為硬件及算法兩個方面。不同成像技術(shù)的使用提升了rPPG的檢測性能，使得其在弱光環(huán)境下的檢測效率得到了顯著的提升。

　　但是，rPPG信號在可見光之外的光譜下強度是比較弱的，因此，Wang[17]利用窄帶雙頻濾光片代替紅外濾光片，提升了在紅外波段rPPG信號的強度。而不同于使用單一的CCD或紅外成像技術(shù)，Kado等人[53]在可見光與近紅外錄制的視頻中分別提取rPPG信號，并對面部進行分塊處理提取心率值，構(gòu)建心率直方圖，通過融合不同的面部區(qū)域的信號，顯著地提升了rPPG在多種不同光照條件下的檢測性能。

　　此外，在弱光環(huán)境下，基于可見光的相機成像幀速會降低，無法捕捉到皮膚上微弱的變化信息，因此，Laurie[36]開發(fā)了一種曝光自控制算法，使得相機在低幀速的情況下也能提取出高質(zhì)量信號。另外一方面，從算法的角度進行光照信息的濾除受到了更加廣泛的關(guān)注。第一種方式是對初始信號進行分解，從信號中直接提取處于人體脈搏范圍內(nèi)的信息。

　　面部視頻的rPPG信號中包含了心率信號及噪聲信號，使用集成經(jīng)驗模態(tài)分解(EnsembleEmpiricalModeDecomposition，EEMD)、小波分解[54]等信號分析工具將rPPG信號自適應地分解為多個具有不同頻率的模態(tài)，進而選取處于人體脈搏范圍之內(nèi)的分量。這種信號解析方式可以有效地排除無規(guī)律光照噪聲產(chǎn)生的干擾，然而，當外界噪聲的頻率與心跳頻率接近或者光照強度過大以至于覆蓋了信號原有的脈動特征時，對單一信號的分解將會出現(xiàn)較大的誤差。

　　由此，Song[55]針對這一缺陷提出EEMDMCCA，有效地解決了使用單一模態(tài)分解工具無法應對周期性光照噪聲的缺陷。Song在面部的不同區(qū)域提取rPPG信號，由EEMD對每一組信號分解后將所得的全部子信號送入MCCA中進行進一步分離，在光照不均勻及多種光照變化的條件下，EEMDMCCA都展示出了良好的信號分解效果。此外，將光照變化的信息從提取的混合信號中進行濾除，對rPPG信號進行重建，同樣可以有效地提升rPPG在光照變化環(huán)境下的檢測魯棒性。

　　1.4相關(guān)體征參數(shù)的計算

　　完成rPPG信號的解析之后，可以根據(jù)信號的時域或者頻域特征進行相關(guān)參數(shù)的計算。心率與呼吸率的研究最為成熟，這兩個參數(shù)往往以頻率作為特征進行計算，二者的生理信號都具有明顯的周期性。主要分為兩種方式進行估算，基于峰值點估計與基于頻率估計。對于給定的時域rPPG信號，可以通過檢測并統(tǒng)計信號的極大值點數(shù)來得到心率的估計值[28]。一個極大值點代表一個心動周期。

　　2RPPG技術(shù)的應用

　　RPPG以自然光為媒介從人體表皮的連續(xù)圖像中進行心臟脈沖信息的獲取，不需要專業(yè)硬件，使用手機或計算機攝像頭就可以獲得心率、呼吸率、血氧飽和度、血壓等生理體征參數(shù)。這種無接觸、低成本、操作簡單的檢測方式除了用于臨床診治，還使得隨時隨地的健康監(jiān)測成為可能，對于移動醫(yī)療、遠程醫(yī)療的推廣有著重要的意義。

　　3未來的研究方向

　　過去的十幾年間，rPPG各方面的性能都得到了很大的提升，從實驗室研究到臨床應用，再到商業(yè)產(chǎn)品的開發(fā)，基于相機的新型檢測方式帶給了受檢者舒適的體驗。但是rPPG仍處于技術(shù)的研發(fā)階段，存在著一定的局限性需要進一步去彌補和提高。為了進一步滿足實際應用的需求，rPPG的發(fā)展需要解決以下的兩個問題：

　　3.1皮膚差異

　　光線對不同位置皮膚的穿透深度不同，表皮對光線的吸收強度也不同。目前的研究結(jié)果表明，大部分rPPG算法在黑色人種身上的實驗效果是較差的[52]，同樣的情況也出現(xiàn)在以PPG為核心技術(shù)的部分運動手表中。這是合理的，rPPG與PPG都是以光作為探測源，而黑色素是人類皮膚的主要色素體。光線到達表皮再繼續(xù)深入內(nèi)部，在表皮處會有一定強度的衰減，導致進入皮膚深層的光強降低。

　　黑色素越多，對光線的吸收強度越大，這一定程度上減弱了信號，降低了信噪比，增大了檢測結(jié)果的誤差。除了人種的差異之外，面部皮膚的遮掩如紋身、毛發(fā)，或者當受檢者處于高光環(huán)境而導致面部大面積油光反射，這些因素都會對微弱的周期性顏色變化信息產(chǎn)生干擾，從而rPPG的檢測準確率也會降低。進一步的工作可以集中于針對這些干擾因素而提出檢測性能更高的rPPG算法。

　　3.2數(shù)據(jù)庫

　　隨著深度學習的發(fā)展，rPPG算法逐漸由傳統(tǒng)的計算框架改由利用神經(jīng)網(wǎng)絡(luò)進行特征的提取與結(jié)果的估計，而高質(zhì)量的數(shù)據(jù)對基于深度學習的rPPG算法開發(fā)是非常重要的。此外，對于所提出的新算法也同樣需要大量的數(shù)據(jù)進行評測。然而，目前常見的數(shù)據(jù)庫大多數(shù)是在可控條件下采集的，施加的干擾大部分是人為添加。而在現(xiàn)實場景中，環(huán)境、個體對rPPG帶來的干擾是不可控的，同時也更具多樣化。

　　因此，我們需要更多更全面、更具多樣性的數(shù)據(jù)庫提出并共享，以此來評測所提出的rPPG算法，以及促進更多更高效和準確的檢測算法開發(fā)。同時，目前的數(shù)據(jù)集主要的實驗人員為健康的成年人，嬰幼兒、老年人以及有相關(guān)心血管生理疾病的病人等實驗人員的數(shù)據(jù)極少，而這一部分數(shù)據(jù)對于提升算法的泛化能力是極為重要的。因此，我們也需要有針對這一部分人群的數(shù)據(jù)庫提出，以此來對新算法的性能進行評估。

　　3.3其他限制

　　除了上述兩個主要問題之外，檢測距離的限制，檢測速度及實用性同樣是需要進一步解決的問題。目前所進行的研究，人臉與相機之前的距離多為0.6m左右，這在大多數(shù)情況適用于手機進行自我檢測，在實際應用中需要的距離往往更長，如ICU的監(jiān)護，運動員的生理檢測等等。目前的rPPG算法主要檢測一段時間的平均值，這更適用于常規(guī)長時間的健康狀況監(jiān)測，在Chen的工作也提到，rPPG更適用于中醫(yī)類似的監(jiān)測系統(tǒng)，在需要實時放映心臟運作情況如ICU等醫(yī)護場所，rPPG存在著較大的局限。基于視頻的心率檢測方法具有很大很廣的應用前景更潛能等待我們挖掘跟研究，我們同樣相信rPPG在生理監(jiān)測，遠程醫(yī)療等領(lǐng)域能發(fā)揮出重要的作用。

　　4總結(jié)

　　遠程光電容積描計法是逐漸發(fā)展起來的一門無接觸生理體征參數(shù)測量技術(shù)，開展相應的研究具有十分重要的理論意義及使用價值。然而，目前仍存在著大量的難題需要去進一步地解決。本文總結(jié)了當前rPPG主流的算法模型，就rPPG測量的各項生理指標進行了介紹，以及就未來rPPG的研究前景進行展望。為了適應不同的臨床場景，目前已經(jīng)開發(fā)了多種具有較高準確率和魯棒性的算法，并已在駕駛、醫(yī)療監(jiān)測等領(lǐng)域完成初步應用。我們希望這篇綜述能讓讀者對rPPG有進一步的認識，也希望rPPG能夠進一步發(fā)展，真正在公共安全、健康管理及醫(yī)療領(lǐng)域發(fā)揮其應用價值。

　　參考文獻：

　　[1]VERKRUYSSEW,SVAASANDLO,NELSONJS,Remoteplethysmographicimagingusingambientlight[J].OpticsExpress,2008,16(26):2143421445.

　　[2]ROUASTPV,ADAMMTP,CHIONGR,etal.,RemoteheartratemeasurementusinglowcostRGBfacevideo:atechnicalliteraturereview[J].FrontiersofComputerScience,2018,12(5):858872.

　　[3]CHENX,CHENGJ,SONGR,etal.,Videobasedheartratemeasurement:recentadvancesandfutureprospects[J].IEEETransactionsonInstrumentationandMeasurement,2019, 68(10):36003615.

　　[4]POHMZ,MCDUFFDJ,PICARDRW,Noncontact,automatedcardiacpulsemeasurementsusingvideoimagingandblindsourceseparation[J].OpticsExpress,2010,18(10):1076210774.

　　[5]GIBSONK,ALNAJIA,FLEETJ,etal.,Noncontactheartandrespiratoryratemonitoringofpreterminfantsbasedonacomputervisionsystem:amethodcomparisonstudy[J].PediatricResearch,2019,86(6):738741.

　　[6]HUANGPW,WUBJ,WUBF,Aheartratemonitoringframeworkforrealworlddriversusingremotephotoplethysmography[J].IEEEJournalofBiomedicalandHealthInformatics,2021,25(5):13971408.

　　作者：陳嘉濤1，張泓凱1，黃燕平2,3，藍公仆2,3，許景江2,3，秦嘉2,3，安林2,3

轉(zhuǎn)載請注明來自發(fā)表學術(shù)論文網(wǎng)：http://www.zpfmc.com/jjlw/28890.html