近年來,人臉辨識相關應用已蓬勃發展。除了每天都會用到的手機解鎖外,辦公室或工廠廠區門禁、大樓公寓的電子鎖,甚至是零售、金融客戶體驗優化等,也都是人臉辨識的常見應用。本篇文章我們將為您深度探討人臉辨識的原理、如何在各式應用場景與邊緣裝置中進行優化、相關的技術細節說明,以及各式深具潛力的人臉辨識應用。
臉部辨識又稱人臉辨識 (Facial Recognition),是生物辨識技術的一種,其運作原理係以向量方式擷取臉部特徵值,進而與事先登錄的人臉影像進行分析比對,進而完成準確的身分驗證。近年來,隨著AI人工智慧技術的發展,人臉辨識採用的是深度神經網路(DNN, Deep Neural Network) 與類神經網路技術,除了可大幅提升辨識率外,也可辨別各種角度的人臉,對於人臉辨識的普及有極大的幫助,包含訊連科技的 FaceMe® AI 臉部辨識系統也採用這種技術達到極高精準度。
人臉辨識技術除了常見的臉部偵測及身分比對外,亦包含了特徵偵測(如:性別、年齡、情緒)、口罩偵測等多種功能。而透過人臉辨識技術,也可減少人為判別所造成的偏差。
以下為您整理 5 大人臉辨識的優點:
而透過深度神經網路,就能以 AI 演算法及數學算式量測人臉的各項變數、化為特徵值,再比對資料庫以找出該人臉之正確身分。以下我們將以FaceMe®為例說明人臉辨識的主要流程。
臉部偵測為人臉辨識的第一步驟,透過臉部偵測技術,即使僅局部的臉部出現於畫面之中,仍可於影像或影片中精準掃描、偵測及框列人臉之所在位置。於臉部偵測時,快速、即時的偵測臉部為判別效能之最主要指標,亦是人臉辨識之基礎。以FaceMe®為例,可於同一畫面中偵測出多張人臉,並逐一精準追蹤框列。
臉部特徵值擷取是臉部偵測的下一個步驟,臉部辨識引擎可將框列出的臉部區分成 n 個維度,比方說,高精準度的臉部辨識引擎之 n 值為 1024 時,可將臉部切分成 1024 維度的矩陣,將例如:鼻子的長度與寬度、額頭寬度、眼睛形狀等各項變數擷取出以向量為基礎的臉部特徵值。而此擷取出的特徵值,可進一步用來比對資料庫中最近似的資料,得出正確身分。
臉部辨識引擎擷取出的臉部特徵值,可與資料庫中預先登錄的人臉進行特徵值比對,識別出正確身分。以 1:N 比對為例,是以在畫面中出現的人臉之特徵值,與資料庫中 N 個預先登錄的臉部進行比對,識別出身分。以 FaceMe® 為例,擷取出的特徵值經過加密、也無法透過特徵值逆推回人臉,此外,在識別過程中也不會儲存任何臉部影像,可有效確保個資的安全。
除了上述的基本人臉辨識流程外,更多與人臉辨識相關的功能如下:
臉部特徵偵測可用於分析包括性別、年齡、情緒及頭部動作(如:點頭、搖頭等)。主要可應用於智慧零售場景,如電子看板上,用以投放分眾式廣告,或分析來店訪客之統計資料。
後疫時代,對於室內或醫療場所仍須配戴口罩的場景來說,戴口罩之人臉辨識能快速完成身分驗證,且同步提升門禁安全管理的效率。 FaceMe® SDK支援在口罩配戴下,仍能精準辨識出人員身分,正確辨識率高達 98.21%。
日本豐田汽車 (Toyota) 為了加強車輛檢驗的品質,於其車輛檢驗系統導入人臉辨識技術,操作人員在配戴眼鏡、帽子ˋ等護具的情況下,仍能透過刷臉快速完成身分驗證,進而提供車輛品管服務給客戶。
常見的人臉辨識破解方式包含使用臉部的照片或影片進行破解及身分冒用,也因此,活體辨識於人臉辨識應用至關重要。
什麼是活體辨識? 活體辨識指的是透過類神經網路深度學習方式,得以分辨被辨識者是否為真人,進而達到預防用戶身分被盜用的情形發生。
常見的活體辨識方式可透過3D或2D相機進行:
使用2D相機的人臉辨識
2D相機 (如:webcam或一般手機前鏡頭)可透過互動或非互動方式進行活體辨識,互動方式係透過頭部指令(如:點頭、搖頭)或臉部表情(如:眨眼、張嘴)進行活體判別。而非互動方式係透過各開發商的獨家演算法,進行真偽判別及辨識。
使用3D相機的人臉辨識
當使用3D景深相機時,主要係透過景深資訊,進行快速的活體判別。於透過3D景深資訊判別時,可不需額外之互動方式。3D景深相機通常可提供較2D活體辨識較即時且較直覺的活體辨識,然而因為需要特殊硬體,建置成本也較高。相較之下,2D活體辨識可相容於現行裝置之攝影鏡頭,並提供一定準確度的活體辨識。以FaceMe®來說,其人臉辨識技術可支援2D相機或3D景深相機之活體辨識。FaceMe®可支援的3D景深相機包括:Intel® RealSense™、iPad及iPhone上的3D結構光相機、奧比中光(Orbbec)、奇景光電(Himax)、華晶科技(Altek)及鈺立微電子(eYs3D)等。
FaceMe® SDK也成功於全球最具指標意義的的IEEE ICCV 2021活體辨識挑戰競賽中,以96.8%的防偽率(平均錯誤率為3.215)獲得全球活體辨識技術第三名的佳績,更是排除中、俄團隊外的全球第一名,且與排名第一之演算法僅有0.16%的些微差距。此外,FaceMe® SDK亦通過符合ISO/IEC 30107-3標準進行的PAD 測試(Presentation Attack Detection,活體冒用攻擊),獲得 iBeta PAD Level 2 認證。
人臉辨識的準確度指標可由低的不匹配率(FNMR, false non-match rate)及極低的錯誤匹配率(FMR, false match rate)來判別。錯誤匹配率(FMR)表示將人物誤認為他人,而不匹配率(FNMR)代表無法匹配出兩張屬於同一個人拍攝的臉孔。
5大影響人臉辨識精準度的因素包含:
以美國國家標準暨技術研究院(NIST, National Institution of Standards and Technology)舉辦的人臉辨識技術基準測試(FRVT, Facial Recognition Vendor Test)為例,該機構係透過一套標準化指標,評比各種人臉辨識演算法準確度之測試。NIST FRVT透過數種不同類型的人臉資料集進行評比,例如清晰、正臉的證件照,或無場景限制、可能有局部遮擋、躁點或低畫質的實境照等。
FaceMe® SDK 於全球知名NIST FRVT 1:1 和 1:N 測試中均名列前茅, 在 1:1照片測試中,於百萬分之一誤認率下達到99.83%之正確辨識率。以一般智慧型手機上使用的Face ID 為例,Face ID提供約96% 辨識率(萬分之一誤認率),可知FaceMe®提供相對精準、可靠的人臉辨識系統。
除了演算法外,另一個影響人臉辨識精準度的因素在於攝影機的畫面品質,如:解析度、角度、光線、鏡頭清晰度及攝影機類型。臉部辨識引擎一般來說可使用720p攝影機拍攝的畫面,並建議採用1080p的解析度以達到更高的辨識度。
臉部辨識技術的建置類型主要包括「雲端人臉辨識服務」(如:Microsoft、AWS等)及「邊緣裝置人臉辨識」兩大類。兩種類型都各有其優勢,而一般來說,邊緣裝置人臉辨識主要透過SDK或軟體形式建置於邊緣裝置上,可提供更快的辨識速度、安全性、彈性化以及經濟實惠的建置成本。
近年來,各式各樣的邊緣裝置導入人臉辨識系統的應用越來越多,如:智慧門鎖、行動裝置、銷售時點系統(POS, Point-of-sales)、互動式資訊站(KIOSK)及電子看板等。當人臉辨識運行於邊緣裝置時,因為無需等待臉部影像上傳至雲端的時間,可以提供即時的臉部偵測及辨識,於辨識率上也有極佳表現。事實上,大多邊緣裝置的人臉辨識應用,臉部偵測以及特徵值擷取的過程都是發生在邊緣端。在進行資料庫比對時,無論臉部資料是儲存於邊緣裝置上、或是在雲端資料庫上,因為比對的是擷取出的特徵值(以FaceMe®為例,特徵值檔案尺寸僅3KB至5KB),在資料上傳、比對、回傳的時間遠少於雲端人臉辨識系統,通常在幾微秒間即可完成。
近年來,AI邊緣裝置的運算能力大幅提升,讓臉部辨識的應用可以實現在各式應用場景中。以金融機構為例,許多金融場所為了安全因素且並無網際網路連線,此時若需導入人臉辨識系統,就須大幅仰賴邊緣運算裝置。
人臉辨識於邊緣運算裝置具有低建置成本及高度擴展性,已成為各式人臉辨識應用的首選。
訊連科技的FaceMe®AI臉部辨識引擎即是一款專為邊緣裝置開發的人臉辨識SDK (Software Development Kit),可彈性整合在各式邊緣運算裝置上,並可廣泛支援各式晶片及作業系統,在全球知名的NIST FRVT人臉辨識技術基準測試中表現亮眼。FaceMe®可彈性建置於各式物聯網應用場景中,如:智慧安防及門禁、公眾安全及健康管理、智慧零售、智慧考勤打卡、智慧城市及智慧家居,提供安全、可靠、高辨識率的人臉辨識方案。
接下來,讓我們以 (1)建置成本、(2)反應時間,及(3)服務可用性這三個面向來進一步說明,為何企業應該選擇將人臉辨識部署在邊緣裝置上。
AI人工智慧相當講求運算能力。雲端臉部辨識通常是以處理的臉部數目進行計價。當需要處理的臉部資訊較少時,可考慮使用雲端人臉辨識。但若需處理的臉部數目較大,例如每小時需辨別數百、數千張人臉的安防建置或辦公室門禁系統,則邊緣運算是較佳選擇。值得注意的是,越來越多晶片支援AI運算,硬體成本也大幅降低,以長遠來看,在邊緣裝置上佈署AI人臉辨識系統是更好的選擇。
在邊緣裝置上的人臉辨識運算,頂尖的演算法可在數毫秒內完成。相較之下,雲端人臉辨識需等待即時影像串流至雲端及處理,動輒需要數秒的處理時間。以實際應用來說,例如門禁安控、刷臉支付、身份辨識等應用場景,對人臉辨識的反應時間都有極高需求,此時反應時間短的邊緣裝置人臉辨識具備了絕對優勢。
將臉部辨識服務部署於雲端,勢必得考慮網路穩定性的問題。試想今天您的智慧門鎖需仰賴網路連線進行臉部解鎖,但不巧網路斷線時該怎麼辦?
相較之下,於邊緣運算裝置建置人臉辨識是更好的選擇,即使在沒有網路的狀態下、或是在無法架設網路的環境下,也可以正常運作。接下來,我們將深入探討要如何在邊緣裝置上建置人臉辨識。
建置人臉辨識邊緣設備時,因應不同的應用場景與情境來選擇適合的晶片是相當重要的一環,選擇結果也會影響到成本與效能。舉例來說,高階的NVIDIA GPU晶片價格相對昂貴,但其運算能力可在安控場景同時處理上百路攝影機之視訊,可減少於大型場域安控應用中所需要架設的工作站數量,大幅降低成本。另一方面,聯發科、高通或是恩智浦的低成本SoC晶片雖然運算效能相對較低,大約每秒5幀,僅能滿足正面的人臉辨識,但具備低功耗、低發熱等特性,可滿足絕大部分輕量化的AIoT設備需求。
AI晶片或是單晶片系統 (system-on-chip, SoC)是影響人臉辨識優化的重要因素之一。Intel®、NVIDIA、聯發科(MediaTek)、恩智浦(NXP)、高通(Qualcomm)等晶片製造商提供了完整的方案選擇,針對不同使用環境提供對應的優勢。每種晶片皆內建AI推理引擎,並依照不同的運算能力、設備尺寸及外觀,以及功耗設計而成。這些晶片大廠掌握了邊緣AI與物聯網技術的先機,將新的APU (AI Processing Unit),VPU (Vision Processing Unit, 視覺處理器)以及NPU (Neural Processing Unit類神經網路處理器) 快速導入市場,加快圖像處理與AI推理的速度,並同時優化效能與降低功耗。以下我們列舉幾項適用於人臉辨識的GPU與SoC產品供讀者比較。
這類晶片是專為人臉辨識而設計,擁有優秀的硬體與出色的效能表現。一般來說,其具備堅實的GPU記憶體、高頻寬,與高速的浮點運算效能,適合處理複雜而耗費運算資源的AI演算法,例如臉部辨識。GPU的運算能力讓您能輕鬆在保全安控系統中導入人臉辨識,同時於多路視訊串流中辨識人臉。建置此類系統時,需額外搭配中央處理器(CPU)。
2022年,我們推薦以下兩款NVIDIA推出的GPU,兩者皆具備卓越的效能並擁有合理的價格。
GPU適合用在工作站或本地伺服器。您可進一步了解如何建構適合人臉辨識的工作站。
這類晶片提供您完善且經濟實惠的解決方案,讓您在輕量化的物聯網裝置輕鬆導入臉部辨識。由於整合CPU,是相較划算的選擇。SoC或許不像是GPU擁有更低的功耗、更小的尺寸,但FaceMe®人臉辨識模型(詳見段落 3.4),也適用於這類AIoT設備,且仍可表現出高精準的臉部辨識結果。
若您是ARM架構設備之開發人員,可進一步了解如何於ARM架構的AIoT設備導入人臉辨識。
各種晶片均有其可以支援的作業系統 (OS)。一個好的臉部辨識引擎應需支援多種晶片與作業系統的組合。以FaceMe®為例,可相容於市面上絕大多數晶片與作業系統的組合,並可支援10種以上的作業系統與晶片的組合:
訊連科技FaceMe®可應用於多項領域中,針對不同的硬體配置 (如搭載的晶片以及作業系統),提供彈性且客製化的方案,滿足各種場域的應用需求。FaceMe®支援各種作業系統,適合多種跨平台的解決方案,開發人員可選擇在NVIDIA® CUDA™及Intel® Movidius™等硬體上啟用GPU/VPU加速,或針對採用NVIDIA Jetson™及ARM的IoT/AIoT設備上開啟效能優化。此外,FaceMe®亦支援OpenVINO™、TensorRT、 Qualcomm SNPE及MediaTek NeuroPilot等多種AI邏輯推理引擎。因此,無論是採用何種硬體配置或架構,FaceMe®皆可快速導入,加速深度學習演算法的運算速度。
在內建GPU (或是VPU)的高效能工作站或是PC上,執行人臉辨識技術絕非易事。於系統匯流排中,CPU、GPU以及記憶體之間有數十個影像串流不斷進行。若無法於系統架構層進行優化,即使是頂尖的人臉辨識演算法,也無法達到快速且精準的辨識率。因此,系統架構設計上,應要降低CPU、GPU以及記憶體之間的數據傳輸數量。
透過系統架構不斷地優化,FaceMe®可提供絕佳的辨識效能。舉例來說,在單一工作站上,FaceMe®搭配NVIDIA RTX A5000的晶片,可達到每秒處理489 - 727幀的效能 (實際數據會因不同的FaceMe®人臉辨識模型而有所差異),相當於每個GPU同時處理48 – 72路視訊串流 (假設每路視訊之辨識頻率為每秒10幀),為市場帶來絕佳的性價比人臉辨識解決方案。
人臉辨識的應用場景相當廣泛,像是某些僅需要正臉的應用場景,如智慧門鎖,僅需使用較輕量型的人臉辨識模型,即可在較低成本的設備上導入人臉辨識。FaceMe®提供以下三種模型滿足各種應用需求:
進一步了解FaceMe® SDK於各式模型提供之準確度。
FaceMe®為全球頂尖的AI臉部辨識引擎,可適用於各式硬體設備,實現彈性化的建置。FaceMe®可輕鬆部署在各類工作站,電腦,行動裝置與IoT設備中。相關案例如下:
以安控應用來說,於單一工作站上,可透過安裝單張或多張GPU卡,同時處理數十或數百路IP攝影機視訊串流。當應用於百貨公司,機場,工廠或是醫院等大型場域中,動輒需要處理數十、甚至數百個攝影機之視訊串流,來進行人員門禁監控、訪客行為分析、人群管理以及VIP客戶識別等需求。藉由一個或數個的工作站,連接所有場域內的攝影機來進行人臉辨識技術,可提供最簡易、可靠與經濟實惠的解決方案。
如需要了解更多關於FaceMe®於工作站的應用與優勢,請參考訊連科技與其策略夥伴VIVOTEK合作的人臉辨識安控解決方案。
對於系統整合商來說,除了整合人臉辨識SDK外,也可考慮像FaceMe® Security這樣的軟體解決方案,透過安裝套裝軟體及附加套件,即可於現行安控設備中,快速整合人臉辨識、出勤打卡、門禁等多種應用。
於小規模的應用場域,如商店或是餐廳,使用個人電腦就能進行人臉辨識以進行VIP識別、員工出勤管理以及黑名單人員示警等。在疫情時代下,不論是員工或是客戶,確保所有進出建築物內的人員是否皆有配戴口罩,並且體溫是否在正常範圍內,已成為日常必備。為此,商店或餐廳的管理人員可於前、後門安裝IP相機或是USB相機,並連接到已安裝人臉辨識軟體的PC上,進行人員健康安控管理。訊連科技經濟實惠的FaceMe®Security 即用型解決方案可滿足疫情時代需求。
人臉辨識技術在行動裝置上早已不侷限於手機解鎖。在智慧金融科技的領域中,於手機上進行電子化了解您的客戶(eKYC)人臉辨識技術,可強化網路銀行、貸款申請、保險申辦等身分驗證準確度。
邊緣運算的創新不僅提高設備效能,同時降低建置成本,開啟了人臉辨識在智慧物聯網 (AIoT) 設備上的廣泛應用,智慧自助服務機(Smart Kiosks)則是指標性案例。對於經常旅行的人來說,對採用人臉辨識技術的全球通關(Global Entry)以及機場快速安檢(Clear)的設備肯定不陌生。目前,具備人臉辨識技術的智慧自助服務機也已廣泛應用在速食餐廳、醫療院所以及飯店旅館中。此外,自助入住報到設備也已導入大型連鎖旅館中,以節省排隊等候的時間。採用人臉辨識技術(如FaceMe®) 可為消費者帶來絕佳的使用者體驗,在整趟旅程中,僅需使用人臉即可取代以往的身分辨識方式。
如前所述,以網路串連至雲端伺服器進行人臉辨識運算,可能造成攻擊與資料洩漏風險。相較於雲端架構,邊緣架構的人臉辨識安全性更高的多。架設於邊緣架構時,各種數據僅會以加密的臉部特徵值形式被儲存,且整個過程無須串連雲端,此舉可大幅減少風險。
所有FaceMe®的資料在使用AES-256位加儲密存到任何資料庫之前都是安全的。AES是最好的對稱加密算法之一,而256位是最高級別的安全性認證。由於臉部特徵值資料透過密鑰進行加密,並且分別儲存在原始資料與平台伺服器以外,受到完整保護,即使硬體裝置被破壞或盜取也無法讀取資料。
請務必注意,每個人必須選取任何一種指定的人臉辨識程序來綁定的臉部照片。在邊緣架構的解決方案中,被擷取的資訊包含臉部特徵值數據(透過高維度擷取),以供未來進行比對和識別使用。此特徵值不包含實際的人臉圖片、無法重構人臉,並且與所有可進行身份識別的個人訊息分開儲存。
擷取到用於人臉辨識的加密資料只能用於與儲存在安全資料庫中的已註冊特徵值建立匹配。許多數據隱私法律和法規(例如GDPR,CCPA,BIPA和LGPD)都將生物識別數據視為個人訊息,因此,任何需要導入人臉辨識的企業,都必須徵得用戶的同意方能進行臉部綁定。
在評估人臉辨識廠商時,須特別注意他們的總部和關鍵設備的所在地。美國政府曾對總部設於中國和俄羅斯企業的監視技術表達過相當大的擔憂,因為它們可能沒有足夠的供應商可供選擇或甚至沒有保護個人數據的需求。大多數人臉辨識解決方案都是安全的、並有著相當嚴謹的數據和隱私保護標準。 但是作為終端用戶,您的服務供應商應該要讓您完全信任,尤其是在安全性,隱私權和人權保護方面。
時至今日,人臉辨識因為其安全性、易用性及客戶體驗優化,已於許多產業及場景落地。接下來的章節我們將介紹更多應用案例,並重點說明每個案例的關鍵事項。
主要的成功案例可分為五大類別:
FaceMe®Security 在監控安全系統方面就提供全方位的人臉辨識應用。
AI生物辨識技術,更驅動了製造業、公共運輸、零售物流等各類產業的相關應用。想了解更多產業應用案例,歡迎閱讀人臉辨識應用最新趨勢,6 大產業領域一次了解!【2023 最新版】。
人臉辨識極具市場潛力,軟硬體技術的成熟也加速人臉辨識崛起。企業能因此大幅提高效率、改善用戶體驗,然而伴之而來的,是商業及公領域更全面、嚴謹的監管規範及使用者教育,以撇除大眾疑慮,讓消費者接納使用這種新興的人工智慧生物辨識技術做為新的安全標準。