作者：李四偉@星輿實驗室
本文為作者投稿，Seebug Paper 期待你的分享，凡經采用即有禮品相送！ 投稿郵箱：paper@seebug.org
相關閱讀：“刷臉時代”你的臉就是我的臉 -- 人臉識別漏洞分析 (下）
大家好, 我是星輿車聯網實驗室李四偉。星輿取 “星辰大海, 輿載萬物”之意, 是專注于車聯網技術研究, 漏洞挖掘和工具研發的安全團隊。團隊成員在漏洞挖掘, 硬件逆向與AI大數據方面有著豐富經驗, 連續在GeekPwn等破解賽事中斬獲獎項, 并獲眾廠商致謝。團隊研究成果多次發表于DEFCON等國內外頂級安全會議。
自七十年代以來，人臉識別已經成為了計算機視覺和生物識別領域被研究最多的主題之一，隨著深度學習的大力發展，大量人臉識別數據集的構建，硬件成本的降低，人臉識別技術逐漸走向成熟，并與各領域技術應用相結合，廣泛應用于金融，安防，娛樂等等領域。而人臉識別技術的安全性問題越來越受到重視，各種基于人臉識別技術的漏洞產生的人臉欺詐方法層出不窮，對人臉識別漏洞做系統性的分析。本文闡述了人臉識別系統的構成和原理，對人臉識別各個子任務存在的問題與漏洞進行分析，展示了人臉識別漏洞分析的一些方法，并設計相應實驗驗證。在幾款常見車輛系統中做了相關測試，成功驗證出一種能夠欺騙車載人臉識別系統的方法，并實際在多款車輛上測試通過，成功欺騙車載人臉識別系統，進入車載系統，獲取用戶信息，甚至獲取車輛啟動權限，將車輛正常啟動。并在其他場景中例如手機，打印機等驗證了該方法的有效性，最終總結了一種通用的2D人臉識別系統的漏洞，并給出了緩解該漏洞的建議。
人臉識別簡述
1. 人臉識別的定義
人臉識別，是指利用分析比較人臉視覺特征信息進行身份鑒別的計算機技術，屬于生物特征識別技術中的一種[1].。人臉識別是一個開放區間的分類任務。
2. 人臉識別的發展
從上個世紀七十年代起，人臉識別算法不斷的優化，人臉識別的方法不斷的多樣化，而基于人臉特征提取的方法也逐漸從人工精心設計局部特征轉變到通過算法模型訓練提取全局深度特征，甚至多種特征相融合的多模態人臉識別算法。而由于數據采集設備的發展能夠采集到包含更多信息的數據，基于對不同數據源處理，又劃分出2D人臉識別技術與3D人臉識別技術。
3. 人臉識別系統結構
現在通用的人臉識別任務由人臉檢測，人臉對齊，人臉特征提取及人臉匹配組成，部分場景下還包含活體檢測，屬性提取；3D人臉識別還包括3D重構，點云生成等過程，下圖是一個通用的人臉識別系統架構:
我們重點闡述一下人臉識別對輸入數據分析的過程，如圖[2]：
人臉檢測： 人臉檢測器用于圖像中是否包含人臉，人臉的邊界框的坐標位置的回歸，如果有人臉，就返回包含每張人臉的邊界框的坐標及置信度[3,4]。下圖展示了一種經典的人臉檢測算法，檢測人臉的過程[5]：
人臉對齊： 人臉對齊的目標是使用一組位于圖像中固定位置的參考點來縮放和裁剪人臉圖像。這個過程通常需要使用一個特征點檢測器來尋找一組人臉特征點，在簡單的 2D 對齊情況中，即為尋找最適合參考點的最佳仿射變換。更復雜的 3D 對齊算法還能實現人臉正面化，即將人臉的姿勢調整到正面向前[4].下圖為一個簡單的基于五個關鍵點的仿射變換對齊人臉的圖示：
人臉特征提取： 在人臉表征階段，人臉圖像的像素值會被轉換成緊湊且可判別的特征向量，理想情況下，同一個主體的所有人臉都應該映射到距離相近的特征向量[4]。
人臉匹配： 對特征提取模塊提取的特征向量進行匹配，兩個特征向量進行相似度計算，從而得到一個相似度分數，該分數給出了兩者屬于同一個主體的可能性，常見的相似度計算包括歐式距離，余弦相似度。下圖顯示了三個人進行相似度的比較，可以直觀的觀測到屬于同一個的兩張圖片之間的距離較小[4,5]。
活體檢測：在一些身份驗證場景確定對象真實生理特征的方法，在人臉識別應用中，活體檢測能通過、張嘴、搖頭、點頭等組合動作，使用人臉關鍵點定位和人臉追蹤等技術，驗證用戶是否為真實活體本人操作[6]。另外一種是非配合式靜默活體檢測，不需要用戶動作配合，主要基于人臉紋理信息、不同模態的相機信息采集、不同頻率運動分布進行活體判定。下圖是一個同時實現人臉檢測+活體檢測的算法流程圖[13]：
4. 人臉識別原理
人臉識別本質是一個分類問題，但是與普通的分類不同的是，人臉識別的結果是一個開集，實際識別分類的結果大概率不存在于訓練的數據集中。主要是通過人臉檢測算法回歸圖像中人臉的位置信息及人臉的置信度，然后截取人臉圖片，通過人臉的關鍵點坐標信息矯正對齊人臉，使人臉的位置信息更加偏向正面，以減少不同角度的人臉導致的人臉特征提取的差異，最后將對齊后的人臉數據送入特征提取模型，提取人臉的整體特征，最后得到一個特征向量，該特征向量就表征著這張圖片的整張人臉特征信息，通過歐式距離或著余弦距離計算不同人臉圖片間的相似度，再使用通用閾值提供判定是否為同一個人的標準，最終基于不同人臉的特征向量間的距離與閾值進行比較來判定是否為同一人。 我們可以簡單的理解為所有的人臉的圖片特征都分布在一個n維超平面，所有的人臉特征都是平面上的一個點，我們通過點和點之間的距離來判斷是否屬于同一個人，距離越近，屬于同一個人的概率就越高。人臉識別中關于優化特征提取的一個思路就是增大非同一人之間的類間距離，減少同一個人之間的類內距離[8]。這就存在一個設想：是否可以通過影響人臉識別提取到的特征向量，進而影響人臉匹配的結果，導致錯誤識別的出現？[7]我們后續就基于這個設想進行實踐并發現了2D人臉識別系統的一個漏洞，完成了對人臉識別系統的欺騙。以下是基于一種人臉識別算法arcface的特征圖解：
5. 人臉識別方法分類
2D人臉識別：數據源主要是在特定視角下表示顏色或紋理的圖像，不包含空間信息[9,10]，例如RGB圖，灰度圖和紅外人臉圖像。主要是提取2D人臉圖像的特征進行人臉匹配分類。
3D人臉識別：3D人臉識別通常使用深度相機采集人臉的深度信息及rgb信息，深度相機通常包括雙目相機，基于3D結構光的相機, tof 相機[9,10]。3D人臉識別通常基于采集到的深度數據對人臉進行重建，然后基于3D人臉重建的結果，提取重建后的人臉特征，后續和2D人臉類似，基于提取的3D人臉特征進行匹配。
2D+人臉識別：由于3D人臉識別開發難度比較大，于是有2D+人臉識別，其處理方式比較簡單，只是將3D的人臉數據分為2D的RGB數據+深度數據，本質是一種多模態的人臉識別技術[9,10]。
6. 人臉識別在智能汽車領域的應用
隨著人臉識別技術的日益成熟，由于人臉識別技術安全性，無約束性，無感知，便利性等特點，在新一代智能汽車中人臉識別技術被廣泛應用于車機系統。各大廠商比如小鵬，蔚來，榮威，威馬，凱迪拉克，寶馬等公司相繼在車機系統中提供人臉識別相關的功能，用于保護用戶個人隱私，賬號授權，疲勞檢測，甚至車輛啟動控制，并以此作為一個宣傳賣點。基于人臉識別技術在車機系統的廣泛應用，人臉識別的安全性也在車聯網安全中占據重要的位置。
7. 數據安全與人臉
《信息安全技術 人臉識別數據安全要求》國家標準的征求意見稿的已經面向社會公開征求意見。此次擬出臺的國標主要是為解決人臉數據濫采，泄露或丟失，以及過度存儲、使用等問題，由于一系列政策問題（補充）人臉數據安全越來越收到重視，數據采樣的合法性，數據安全性，數據存儲安全性等等問題 [11]。 我們可以看到越來越多的廠商，開始嘗試使用生成的人臉來訓練人臉識別算法[12]，而以往我們會認為生成的人臉用于訓練往往無法取得理想的效果。這一些系列信息說明國家越來越重視人臉數據安全性問題。我們的人臉數據其實和個人各種隱私以及安全有著緊密的聯系，后續的實驗中將詳細描述人臉識別系統的漏洞，以及如何利用用戶泄露的人臉數據，完成對其手機的解鎖，車輛的啟動以及個人行程隱私信息的獲取。
References
[1]https://www.jiqizhixin.com/graph/technologies/3ff3ab31-7595-48d8-905a-baddfecc22be
[2] https://cmusatyalab.github.io/openface/
[3] Kaipeng Zhang, Zhanpeng Zhang, Zhifeng Li, Senior Member, IEEE, and Yu Qiao, Senior Member, IEEE：Joint Face Detection and Alignment using Multi task Cascaded Convolutional Networks
[4] Daniel Sáez Trigueros, Li Meng, Margaret Hartnett. Face Recognition: From Traditional to Deep Learning Methods
[5] Florian Schroff, Dmitry Kalenichenko, James Philbin. FaceNet: A Unified Embedding for Face Recognition and Clustering
[6] Jucheng，DAI Xiangzi，HAN Shujie，MAO Lei，WANG Yuan. On Liveness Detection through Face Recognition
[7] Naveed Akhtar,Ajmal Mian. Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey
[8] Jiankang Deng, Jia Guo, Niannan Xue, Stefanos Zafeiriou. ArcFace: Additive Angular Margin Loss for Deep Face Recognition
[9] https://zhuanlan.zhihu.com/p/44904820
[10] https://blog.csdn.net/molixuebeibi/article/details/91880162
[11] https://www.lddoc.cn/p-17334859.html
[12] Haibo Qiu, Baosheng Yu, Dihong Gong, Zhifeng Li, Wei Liu, Dacheng Tao. SynFace: Face Recognition with Synthetic Data
[13] https://blog.csdn.net/u013841196/article/details/81176498YANG
[14] https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/107902924
[15] https://zhuanlan.zhihu.com/p/43480539
[16] A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing
[17]Stepan Komkov, Aleksandr Petiushko. AdvHat: Real-world adversarial attack on ArcFace Face ID system
[18]https://baijiahao.baidu.com/s?id=1690021058663956115&wfr=spider&for=pc
本文由 Seebug Paper 發布，如需轉載請注明來源。本文地址：http://www.bjnorthway.com/1739/
暫無評論