通信電纜 網絡設備 無線通信 云計算|大數據 顯示設備 存儲設備 網絡輔助設備 信號傳輸處理 多媒體設備 廣播系統 智慧城市管理系統 其它智慧基建產品
智慧云天（深圳）技術有限公司
智慧云天（深圳）技術有限公司
閱讀：30發布時間：2023-7-2
通過拍攝你的一段人臉視頻，就可以測量出你的心率，甚至還可以獲得你的呼吸率等生理指標，這種“黑科技"就是近年（本文發布時間：2021-12-03）來出現的 rPPG （remote photoplethysmography）技術。rPPG 技術主要是通過捕捉人臉表面由于心臟跳動所帶來的皮膚顏色變化來實現對心率等生理量的測量，在健康監控等領域有著重要的應用價值。
為什么可以通過人臉表面皮膚的顏色變化就能實現對心率的測量呢？這主要是因為在人臉皮膚的真皮層和皮下組織層里有著豐富的毛細血管。如圖1所示，當心臟跳動時，毛細血管內的血流量會產生一個周期性的變化，從而導致對外界光照的吸收量有一個周期性的變化。這樣的一個周期性變化雖然我們肉眼無法觀察到，但是卻可以被攝像頭所捕捉。通過利用攝像頭捕捉這樣的皮膚顏色變化，就可以做進一步的生理指標測量了。
通過利用rPPG技術實現對皮膚表面顏色變化的捕捉，不僅可以測量心率，還可以測量一系列其他的生理量。這一測量過程的核心的步驟為恢復出BVP（blood volume pulse）信號，即心率信號。
如圖2所示，在通過人臉視頻獲得原始的顏色變化信號之后，首先可以直接利用不同顏色通道信號直流量和交流量的比值來估計血氧含量（SpO2）。而利用不同顏色通道信號的交流量，經過一定的方法，可以恢復出BVP信號。通過對恢復得到的BVP信號的頻域特征進行分析，就可以得到心率和呼吸率。而通過對BVP信號進行時序上的峰值檢測，可以獲得IBI（Inter-beat-intervals），進而可以計算得到每個時刻的瞬時心率值。在IBI序列中，除了包含著瞬時心率的信息，還可以通過其頻譜特征來計算呼吸率和對于睡眠監控、壓力檢測十分重要的心跳變異性等生理量。
雖然可以通過人臉皮膚的顏色變化來實現心率等生理量的測量，但是這樣的顏色變化十分微弱，很容易受到頭部姿態，外界光照條件等因素的影響。如圖3所示，為了解決這些問題，研究者們提出了一系列的方法，這些方法可以分為傳統手工設計方法和數據驅動方法。其中傳統手工設計方法主要通過建模人臉皮膚對于光照的吸收和反射情況，或者建模心率信號的物理特性，從而實現對周期性的生理信號的提取。而數據驅動的方式則通過設計相應的顏色變化信號的特征，利用機器學習或者深度學習的方式來學習一個良好的特征到生理量的映射。
傳統手工設計方式的優勢在于更加可控，在一些限定的場景下能夠做到非常準確，但是其問題也在于對于非常復雜的場景，例如環境光照在一直變化，被試者一直搖頭晃腦的情況，算法的有效性較為有限。而對于數據驅動的方法而言，其算法上限更高，對復雜場景的適應性更強，但同時，算法也更加不可控。如何采集足夠的覆蓋各種場景的數據，如何設計和訓練一個能有效遷徙到各個應用場景的模型，在現階段仍然是一個未解決的開放性問題。對相關方法更詳細的介紹和討論可以參考文獻 [2]。
算法設計為了實現算法的可控性，我們選擇基于傳統的手工設計算法來恢復心率信號并進行心率的估計。在獲得原始的 R/G/B 顏色空間信號之后，通過尋找的顏色空間投影來組合不同顏色空間的信號。這一方法能有效消除頭部運動等因素所帶來的不穩定，于此同時，我們還基于恢復的心率信號的質量，設計了信號的組合和算法的重啟策略，從而讓算法能夠適應更多的應用場景.
[1] Hao-Yu Wu, Michael Rubinstein, Eugene Shih, John Guttag, Fredo Durand, William T. Freeman. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 2012
[2] 牛雪松,韓琥,山世光. “基于rPPG的生理指標測量方法綜述" 《中國圖像圖形學報》 2020
智慧城市網 設計制作，未經允許翻錄必究 .? ? ?
請輸入賬號
請輸入密碼
請輸驗證碼