2016年和2017年，國家先后出臺了《互聯(lián)網(wǎng)+人工智能三年實施行動方案》和《新一代人工智能發(fā)展規(guī)劃》，將人工智能提升到了國家戰(zhàn)略層面，同時要加快壯大人工智能在教育、醫(yī)療、智慧城市、智能家居等多方面的應(yīng)用，人臉識別也作為應(yīng)用方向之一，成為人工智能領(lǐng)域的重點研發(fā)項目。
安防已經(jīng)成為人工智能落地場景中的重要賽道，其涉及的智能視頻分析、人臉識別等關(guān)鍵技術(shù)也在研究領(lǐng)域受到了極大的關(guān)注。那么安防領(lǐng)域中涉及的人臉識別有何痛點?人工智能+安防的未來又有哪些新的趨勢?
10月29日，清華大學(xué)媒體大數(shù)據(jù)認知計算研究中心主任王生進教授在2017年第十六屆中國國際公共安全博覽會(CPSE安博會)政府管理論壇上發(fā)表了題為《人像態(tài)勢識別及其在智能視頻監(jiān)控中的應(yīng)用》的演講，他指出，目前我國視頻監(jiān)控建設(shè)卓有成效，攝像頭的數(shù)量驚人，達到了2000多萬個。如此大量級的數(shù)據(jù)只依靠人工監(jiān)控已經(jīng)無法實現(xiàn)大規(guī)模視頻監(jiān)控，急需人工智能以及智能分析技術(shù)有效的技術(shù)支撐。
王生進教授從三個方面闡述了人臉識別在安防中的應(yīng)用：1、新一代人工智能發(fā)展與智能安防;2、人臉識別技術(shù)與應(yīng)用系統(tǒng);3、以人為中心的安防理念與人像態(tài)視識別。
一、新一代人工智能發(fā)展與智能安防
當前，世界范圍內(nèi)公共安全面臨嚴峻情勢，是國際上關(guān)注的重大課題，信息內(nèi)容與情報成為掌控局勢的關(guān)鍵要素。面向大數(shù)據(jù)背景下國家公共安全保障是重大的國家的需求。聚焦公共安全、平安城市、視頻監(jiān)控、網(wǎng)絡(luò)安全的需求，以安防視頻大數(shù)據(jù)，及網(wǎng)絡(luò)空間各種視頻、圖像、語音、網(wǎng)絡(luò)信息為大數(shù)據(jù)基礎(chǔ)，創(chuàng)新人工智能和機器學(xué)習理論，構(gòu)建公共安全大數(shù)據(jù)應(yīng)用技術(shù)創(chuàng)新平臺是我們工作的重點。
我們現(xiàn)在面向的空間主要有兩個。
第一面向物理空間安全：全國平安城市建設(shè)視頻監(jiān)控前端數(shù)量已超過2000萬。目標感知能力不足，大數(shù)據(jù)給公共安全事件即時感知、精確分析、快速搜索帶來巨大困難，急需人工智能技術(shù)支撐。
第二面向網(wǎng)絡(luò)空間安全：網(wǎng)絡(luò)空間富媒體通信的引入，帶來新型媒體信息管控難題，國家急需大數(shù)據(jù)環(huán)境下富媒體內(nèi)容感知、網(wǎng)絡(luò)信息安全、網(wǎng)絡(luò)多媒體內(nèi)容監(jiān)測的支撐技術(shù)。
十二五期間，全國600大中城市視頻采集系統(tǒng)建設(shè)已初具規(guī)模，監(jiān)控系統(tǒng)26.8萬余個(2009)，安裝攝像頭2000萬余個(2013)。按每個攝像頭每天約7.2GB (0.3G(CIF)*24)的數(shù)據(jù)量，北京市攝像頭40余萬個(2011)，每天產(chǎn)生的數(shù)據(jù)量為 2800TB，數(shù)據(jù)量巨大。
在這樣大量的數(shù)據(jù)下，依賴人工監(jiān)控，智能化程度低，無法實現(xiàn)大規(guī)模視頻監(jiān)控環(huán)境下的事前感知、事中聯(lián)動、事后有效處理及智能檢索。急需人工智能以及智能分析的技術(shù)，在視頻監(jiān)控里能夠提供有效的技術(shù)的支撐。
2017年7月8日，國務(wù)院發(fā)布新一代人工智能發(fā)展規(guī)劃(國發(fā)〔2017〕35號)。人工智能成為國際競爭的新焦點，是引領(lǐng)未來的戰(zhàn)略性技術(shù);人工智能成為經(jīng)濟發(fā)展的新引擎，作為新一輪產(chǎn)業(yè)變革的核心驅(qū)動力;人工智能帶來社會建設(shè)的新機遇，將深刻改變?nèi)祟惿鐣�、改變世界。搶抓人工智能發(fā)展的重大戰(zhàn)略機遇，構(gòu)筑我國人工智能發(fā)展的先發(fā)優(yōu)勢，加快建設(shè)創(chuàng)新型國家和世界科技強國。
根據(jù)這個核心，《規(guī)劃》里提出利用人工智能提升公共安全保障能力的規(guī)劃和要求。
第一、促進人工智能在公共安全領(lǐng)域的深度應(yīng)用，推動構(gòu)建公共安全智能化監(jiān)測預(yù)警與控制體系。
第二、圍繞社會綜合治理、新型犯罪偵查、反恐等迫切需求，研發(fā)集成多種探測傳感技術(shù)、視頻圖像信息分析識別技術(shù)、生物特征識別技術(shù)的智能安防與警用產(chǎn)品，建立智能化監(jiān)測平臺。
第三、加強對重點公共區(qū)域安防設(shè)備的智能化改造升級，支持有條件的社區(qū)或城市開展基于人工智能的公共安防區(qū)域示范。
在智能視頻分析關(guān)鍵技術(shù)方面，我簡單列了相關(guān)的關(guān)鍵技術(shù)：
1、侵入/越界檢測;2、遺留物體事件檢測;3、拿走物體事件檢測;4、徘徊檢測;5、行人/車輛檢測、跟蹤;6、人臉(人像)/行人/車牌識別;7、人群密度監(jiān)測;8、異常行為(奔跑打架斗毆)檢測;9、視頻質(zhì)量診斷;10、視頻濃縮與摘要;11、視頻內(nèi)容快速檢索;12、圖像增強與復(fù)原技術(shù)。
人臉識別技術(shù)應(yīng)用方面，根據(jù)實際應(yīng)用場景，人臉識別可以分為如下3類：
第一、有配合人臉識別。分認證和查詢，通常應(yīng)用在證件照人臉，聲明我是A，然后將A的模板人臉圖像和現(xiàn)場采集的A的人臉圖像進行比對，給出Yes or No，或查詢大庫。通常要求配合。
第二、半配合人臉識別。也分認證和查詢。通常應(yīng)用在受限的通道、卡口，進行黑/白名單比對。該類應(yīng)用通常光照穩(wěn)定，不要求配合。
第三、非配合人臉識別。查詢?yōu)橹�，通常�?yīng)用在視頻監(jiān)控的動態(tài)布控場合，進行黑名單查詢。該類應(yīng)用光照復(fù)雜，姿態(tài)不確定，難度大。
清華人臉識別技術(shù)——人證合一驗證通關(guān)應(yīng)用：2005年，由公安部出入境管理局主持集成清華大學(xué)人臉技術(shù)，世界上首次在我國出入境旅客最多的深圳羅湖口岸開通“旅客自助查驗通道” ，日均出入境人數(shù)在數(shù)十萬以上。已推廣到深圳、珠海兩個地區(qū)的邊檢口岸共已開通了近400條自助通道，近300萬旅客，驗放旅客超過數(shù)億人次，通過率98%，成為世界人臉識別技術(shù)大規(guī)模成功應(yīng)用的范例。
二、人臉識別技術(shù)與應(yīng)用系統(tǒng)
人臉識別技術(shù)通過采用攝像機或攝像頭，采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部的一系列相關(guān)處理技術(shù)，通常包括：人臉檢測、人臉跟蹤、人臉五官定位、人臉歸一化、特征提取、分類器訓(xùn)練和比對匹配，以達到識別不同人身份的目的。被廣泛地應(yīng)用在安全、認證等身份鑒別領(lǐng)域，因而被譽為”21世紀十大影響人類生活“的革命性技術(shù)。
人臉識別從應(yīng)用上一般分為人臉檢測，人臉五官定位，1:1人臉識別，1：N人臉識別，M：N動態(tài)布控。人臉檢測與五官定位應(yīng)用方向：客流量統(tǒng)計，視頻檢索等。智能貼圖，智能美妝美顏，變臉特效等：
1:1人臉識別應(yīng)用方向是指身份證人臉認證系統(tǒng)，社保人臉識別。
1：N人臉識別應(yīng)用方向是指身份證照片查重，護照照片查重。比如你現(xiàn)在要做一個護照，你是張三，公安部門會到人口庫里面查一下，看你會不會是頂替，也就是一人多證。
M：N人臉識別應(yīng)用方向是指動態(tài)監(jiān)控，黑名單監(jiān)控，VIP客戶管理系統(tǒng)，校園人臉識別系統(tǒng)，智能樓宇。
人臉識別技術(shù)，近兩年發(fā)展非常迅速�；跈C器學(xué)習的人臉識別方法方面，人臉識別方法總體上可分為三大類：
一是基于統(tǒng)計的識別方法，主要包括特征臉(Eigenface)方法、隱馬爾科夫模型方法、子空間法等;二是基于網(wǎng)絡(luò)連接機制的識別方法，包括人工神經(jīng)網(wǎng)絡(luò)(ANN)方法和彈性圖匹配方法等;三是幾何特征方法和三維模型等一些其他的綜合方法。
1.人臉識別核心課題
人臉識別的過程：令x 為一個待識別的人臉輸入，F(xiàn)(x)為一個分類器函數(shù)，y 是關(guān)于x 的類別標簽輸出。人臉識別的關(guān)鍵，是獲得高性能的F函數(shù)。傳統(tǒng)的人臉識別的方法(Deep Learning以前)： F分類器函數(shù)的構(gòu)建，主要是分步處理、人工設(shè)計的。
基于統(tǒng)計學(xué)習的人臉識別方法得到了廣泛的應(yīng)用。人臉識別當前遇到的主要困難包括：
人臉面部結(jié)構(gòu)的相似性;人臉的姿態(tài)變化;人臉的表情變化;復(fù)雜環(huán)境的光照變化;人臉的飾物遮擋;人臉的年齡變化
以上問題給人臉識別帶來了相當大的挑戰(zhàn)。隨著深度學(xué)習的發(fā)展，我們遇到的困難得到了解決。
2.人工智能新浪潮的關(guān)鍵技術(shù)——深度學(xué)習
人工神經(jīng)網(wǎng)絡(luò)是一種端到端的機器學(xué)習方法(全步驟一次性學(xué)習)。端到端的學(xué)習方法一出現(xiàn)給人工智能帶來了巨大的推動，應(yīng)用在AlphaGo，圖像識別，語音識別，無人駕駛，VR/AR，智能交通，智能視頻，智慧醫(yī)療，智能制造。
3.人臉識別關(guān)鍵技術(shù)
1)人臉檢測：判斷輸入圖像中是否存在人臉;如果存在人臉，返回人臉所在的位置。
2)關(guān)鍵點定位：確定人臉中眼角、鼻尖和嘴角等關(guān)鍵點所在的位置，為人臉的對齊和歸一化做準備。
3)人臉歸一化：根據(jù)關(guān)鍵點的位置，采用相似變換，將人臉對齊到標準臉關(guān)鍵點，并裁剪成統(tǒng)一大小。
4)特征提取：利用海量數(shù)據(jù)，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò);將人臉圖像表示成具有高層語義信息的特征向量。
5)特征比對：主要是利用Metric Learning等技術(shù)，進一步提升識別準確率。
4.人臉檢測技術(shù)
(1)基于A CNN Cascade for FaceDetection框架。一共6個CNN，3個detection-net用于判斷輸入的區(qū)域是否是人;3個calibration-net對輸入的人臉框進行校正，得到更加準確的人臉框。檢測過程中采用NMS消除高度重疊的窗口。
(2)人臉識別網(wǎng)絡(luò)。針對不同人臉識別場景，設(shè)計了多種網(wǎng)絡(luò)架構(gòu)，以適應(yīng)不同場景(速度、精度)的要求。圖是我設(shè)計的一個網(wǎng)絡(luò)，左邊的網(wǎng)絡(luò)具有速度快的特點，僅需要5毫秒的CPU時間，在LFW上的識別準確率為97.28%，主要用于對實時性要求高的場景。右邊的網(wǎng)絡(luò)，RES-FaceNet，一共包含26個卷積層，5個max-pooling和1個全連接，單個model在LFW上的識別準確率可達99.22%。
三、以人為中心的安防理念與人像態(tài)視識別
基于以人為中心的安防理念，提出人像態(tài)視識別新概念。安防的重點是人，特別需要關(guān)注和獲取重點人群的全面信息。例如以下的相關(guān)信息：關(guān)注人物出現(xiàn)在公共場所和交通卡口;他的行為和舉止是否異常;攜帶包裹進入公共場所，走出后箱包是否消失;其面部表情和神態(tài)如何;近期是否有過敏感接觸、過激言語等。
人像態(tài)視識別
人像態(tài)視識別，是我們構(gòu)建的深度人像識別的一個新概念，即對于人的像態(tài)、形態(tài)、神態(tài)、意態(tài)。
—像態(tài)包括人臉和行人表觀圖像;像態(tài)，感知兩個維度: 1、對感知對象的物理特征進行精準認知，以表達如顏色、尺寸等;2、對這些特征組合的表象進行屬性描述，以表達是什么，如車牌、人臉、行人。像態(tài)包含表觀：人臉、指紋、掌紋、虹膜、指靜脈、人群聚集事件等。
形態(tài)包括靜止和序慣圖像。形態(tài)，感知兩個維度:
1、對感知對象的靜止肢體特征進行認知，以表達如動作、姿態(tài)等;
2、對感知對象的肢體變化特征進行描述，以表達做什么，如步態(tài)、奔跑、逆行。形態(tài)包含多種人體肢體特征：姿態(tài)、行為、動作、步態(tài)、軌跡等。視頻監(jiān)控行人識別系統(tǒng)，是在跨視域視頻監(jiān)控網(wǎng)絡(luò)中，依據(jù)行人外觀和步態(tài)特征，識別查找追蹤在不同攝像頭下的特定行人。
神態(tài)包括主動和被動下的人臉圖像。神態(tài)，感知主動和被動兩個維度:
1、對感知對象的面部表情特征進行認知，以表達如喜怒哀樂等;
2、對感知對象的面部神色特征進行描述，以表達其內(nèi)心的波動、思想的意識、精神的狀態(tài)，通常不為人的意志所控制。神態(tài)主要用于表達人的內(nèi)心狀態(tài)：神態(tài)自若、神色慌張、精神恍惚等。
意態(tài)包括顯性信息和隱性信息。按照這個范疇定義，構(gòu)成人像態(tài)勢識別新概念，智能安防，人是其中核心關(guān)鍵的要素。意態(tài)與隱形信息相關(guān)聯(lián)，主要體現(xiàn)在信息的邏輯關(guān)系的關(guān)聯(lián)上，具有顯性和隱性兩個維度:
1、對感知對象行為的企圖、目標、后果的顯性特征進行認知;
2、對感知對象行為的企圖、目標、后果的隱性特征進行認知，以表達其行為與其他事件的關(guān)聯(lián)、影響、及潛在的可能后果。意態(tài)的顯性特征認知較為容易實現(xiàn)，意態(tài)的隱性特征認知難度較大，但實際的事件預(yù)測十分需要。例如，同樣是購買一把菜刀，如果是一個主婦，可能是用于家庭的廚房餐飲;但若是有前科的人，則需要預(yù)警;—又如，一個人長時間在某個地方徘徊，像態(tài)是徘徊，但意態(tài)可能預(yù)示可能的事件。
大數(shù)據(jù)時代，如何處理從各個數(shù)據(jù)源收集來的信息，如何對不同地點、不同媒體、不同時間、以及不同清晰度、不同粒度的信息進行綜合利用，包括對信息的真?zhèn)芜M行鑒定;都是從未完成過的挑戰(zhàn)。顯性信息關(guān)聯(lián)，主要體現(xiàn)在目標表觀信息的關(guān)聯(lián)上，如目標類型，目標屬性，目標狀態(tài)，目標時空點;隱性信息關(guān)聯(lián)。主要體現(xiàn)在邏輯關(guān)系信息的關(guān)聯(lián)上—“蝴蝶效應(yīng)”，亞洲蝴蝶拍拍翅膀，將使美洲幾個月后出現(xiàn)比狂風還厲害的龍卷風!
人像態(tài)視識別，全面構(gòu)建對人的像態(tài)、形態(tài)、神態(tài)、意態(tài)的深度識別。通過人像態(tài)視識別，實現(xiàn)對目標人的整體信息分析、完善的狀態(tài)描述。1、2態(tài)，側(cè)重“格物”，本意即為考察人這個事物; 3、4態(tài)，偏向“致知”，進而達到完善的識別和理解; 人像態(tài)視識別的目標就是“格物致知”。綜上，通過人像態(tài)視識別，實現(xiàn)對目標人的整體信息分析、完善的狀態(tài)描述。人臉識別系統(tǒng)包含人臉識別、年齡估計、性別識別等，新一代的具有智能的安全監(jiān)控技術(shù)，可實現(xiàn)對人臉的檢測、識別和分類;人像態(tài)視識別，全面構(gòu)建對人的像態(tài)、形態(tài)、神態(tài)、意態(tài)的深度識別。通過人像態(tài)視識別，實現(xiàn)對目標人的整體信息分析、完善的狀態(tài)描述。
將人像態(tài)視識別與智能視頻分析有機結(jié)合，運用于安防領(lǐng)域，無疑將提高公安安防工作的效率，為平安城市建設(shè)和公共安全保障提供精準和有效的信息技術(shù)手段，大數(shù)據(jù)背景下國家社會安全保障重大需求。
