基于人臉識(shí)別的課堂視頻考勤系統(tǒng)設(shè)計(jì)
0 引 言
高校的教學(xué)管理中, 出勤率的考核是一項(xiàng)重要的內(nèi)容。傳統(tǒng)的紙質(zhì)點(diǎn)名方式或查學(xué)生證的方式不僅耗時(shí)、耗力,在考勤過程中還可能擾亂正常的教學(xué)秩序。近幾年出現(xiàn)了一些現(xiàn)代化的考勤方式,比如刷卡 [1-2] 方式,學(xué)生攜帶一張 RFID 卡,需要將其放在讀卡器上記錄出勤情況,使用RS 232 將系統(tǒng)連接到計(jì)算機(jī),并從數(shù)據(jù)庫中保存記錄的出勤信息。該系統(tǒng)可能會(huì)導(dǎo)致欺詐性訪問問題,未經(jīng)授權(quán)的人可以使用授權(quán)的身份證進(jìn)入系統(tǒng)。指紋考勤系統(tǒng) [3-4],在講課期間學(xué)生可將手指放在傳感器上,而無需指導(dǎo)老師干預(yù),是一個(gè)簡單可行的考勤方法。但是在講課期間,設(shè)備的傳遞可能會(huì)分散學(xué)生的注意力,另外指模也可以代替同學(xué)簽到。虹膜識(shí)別考勤系統(tǒng) [5-6] 和 RFID 卡類似,需要每個(gè)同學(xué)排隊(duì)檢測虹膜,浪費(fèi)課堂時(shí)間,擾亂課堂秩序。對(duì)分易考勤系統(tǒng), 雖然可以調(diào)整考勤時(shí)間,但是每個(gè)學(xué)生都需要在手機(jī)上網(wǎng)簽到,對(duì)于沒帶手機(jī)、或者沒記住考勤號(hào)的同學(xué)可能會(huì)遺漏。當(dāng)然對(duì)于考勤時(shí)間限制較長的,簽到號(hào)完全可以發(fā)送到不到課堂的學(xué)生手機(jī)上,可以遠(yuǎn)程簽到,不利于簽到的準(zhǔn)確性。隨著人臉識(shí)別技術(shù)的發(fā)展,人臉考勤系統(tǒng) [7-9] 也進(jìn)入人員管理系統(tǒng)中。但是,常用的人臉考勤系統(tǒng)都需要專門的人臉識(shí)別設(shè)備,需要在上課前或下課后排隊(duì)識(shí)別考勤,浪費(fèi)時(shí)間, 也存在考勤后溜走不上課的情況。
為此本文設(shè)計(jì)一種新的人臉識(shí)別考勤方法,在無需老師和學(xué)生干預(yù)的情況下,實(shí)現(xiàn)學(xué)生在課堂環(huán)境中的自動(dòng)識(shí)別和出勤記錄。目前一般高校的各個(gè)教室都有高清監(jiān)控?cái)z像頭, 這些攝像頭會(huì)不斷地捕捉學(xué)生的視頻圖像并保存到監(jiān)控中心,用來記錄學(xué)生的上課情況。本文利用監(jiān)控視頻拍攝下來的視頻圖像,在課堂上檢測圖像中的學(xué)生人臉,將檢測到的人臉特征與數(shù)據(jù)庫中的特征進(jìn)行比較識(shí)別,并登記出勤情況。
1 系統(tǒng)總體設(shè)計(jì)
該系統(tǒng)由教室里安裝的攝像頭捕捉學(xué)生圖像,并將其發(fā)送到監(jiān)控中心后臺(tái)進(jìn)行處理和考勤。在后臺(tái)的人臉識(shí)別系統(tǒng)中,根據(jù)上課時(shí)間按照一定的時(shí)間間隔從教室監(jiān)控視頻中捕獲學(xué)生圖像,并對(duì)圖像進(jìn)行增強(qiáng)和去噪處理 ;然后在圖像中檢測人臉,并將檢測到的人臉進(jìn)行對(duì)齊處理 ;最后進(jìn)行人臉對(duì)比識(shí)別,并在數(shù)據(jù)庫中標(biāo)記出勤情況。本系統(tǒng)由圖 1 所示的 4 個(gè)模塊組成 :學(xué)生入學(xué)人臉圖像采集模塊、學(xué)生上課考勤人臉圖像采集模塊、人臉對(duì)比識(shí)別模塊和考勤管理模塊。
圖 1 系統(tǒng)功能模塊圖
在學(xué)生入學(xué)時(shí),都會(huì)采集他們的面部圖像,存儲(chǔ)在數(shù)據(jù)庫中,并按班級(jí)分類,將這些圖像經(jīng)過預(yù)處理后按班級(jí)保存在學(xué)生人臉特征數(shù)據(jù)庫中。在上課考勤時(shí),對(duì)在教室采集到的圖像進(jìn)行人臉檢測和對(duì)齊,并和數(shù)據(jù)庫中圖像逐一進(jìn)行比較,如果能識(shí)別出來,則在考勤數(shù)據(jù)庫中標(biāo)記出勤信息。開始上課后,系統(tǒng)將自動(dòng)啟動(dòng)考勤流程,在一節(jié)課堂中多次采集學(xué)生圖像并進(jìn)行人臉識(shí)別,自動(dòng)獲得出勤率,節(jié)省了大量時(shí)間,而且不會(huì)有任何弄虛作假情況。具體流程如圖 2 所示。
圖 2 視頻考勤系統(tǒng)流程
2 系統(tǒng)模塊設(shè)計(jì)
2.1 學(xué)生入學(xué)人臉圖像采集模塊
隨著信息技術(shù)的發(fā)展,在學(xué)生入學(xué)時(shí)需要辦理校園卡、銀行卡,以及貸款等業(yè)務(wù),這些業(yè)務(wù)系統(tǒng)都需要對(duì)學(xué)生進(jìn)行人臉圖像采集,并將圖像和學(xué)生的基本信息進(jìn)行綁定。本系統(tǒng)將這些采集好的人臉圖像數(shù)據(jù)庫作為人臉圖像的查詢庫, 按學(xué)生的學(xué)號(hào)將圖像與基本信息按班級(jí)分類,做成班級(jí)考勤的人臉識(shí)別庫。具體流程如圖 3 所示。
圖 3 人臉數(shù)據(jù)庫采集流程
目前, 提取人臉特征的方法較多, 如基于主成分分析 (Principal Component Analysis,PCA) 技 術(shù) [10-11] 的Eigenfaces[12], 該方法是 PCA 最具代表性的方法, 是應(yīng)用于人臉識(shí)別問題的最流行的算法之一 ;基于線性判別分析(Linear Discriminant Analysis,LDA)的方法 Fisherfaces[13], 以及 Fisherfaces 的改進(jìn)方法 KFDA[14]。PCA 和 LDA 有相似之處,都是對(duì)原有數(shù)據(jù)進(jìn)行整體降維映射到低維空間的方法。LDA 同時(shí)考慮了類間離散度和類內(nèi)離散度,使這兩者的比率達(dá)到最大。經(jīng)實(shí)驗(yàn)證明,F(xiàn)isherfaces 的性能優(yōu)于 Eigenfaces。本系統(tǒng)采用 OpenCV+Fisherfaces 的方法提取人臉特征并進(jìn)行人臉識(shí)別。采集到的人臉圖像由較多的像素組成,如果一個(gè)像素為 1 維特征,那么得到的人臉圖像將是一個(gè)維數(shù)很高的特征向量,計(jì)算量非常大,且人臉中的這些像素都具有一定相關(guān)性。PCA 和 LDA 技術(shù)能在降低圖像維數(shù)時(shí)降低原始各維特征之間的相關(guān)性。根據(jù) LDA 技術(shù)對(duì)采集的學(xué)生人臉圖像提取特征,并將特征保存到人臉特征數(shù)據(jù)庫中,以供在課堂考勤中進(jìn)行人臉對(duì)比識(shí)別。
2.2 學(xué)生上課考勤人臉圖像采集模塊
在學(xué)生上課時(shí),該教室的攝像頭會(huì)隨著老師講臺(tái)的打開自動(dòng)打開,學(xué)生進(jìn)入教室時(shí),攝像頭一直工作,在上課期間采集上課的每位學(xué)生圖像。因?yàn)榻淌业臄z像頭不是專門采集人臉的,上課時(shí)拍攝到的圖像中存在學(xué)生的臉部姿勢不正, 大小各異(教室前面的臉部大,后面的學(xué)生臉部小),所以需要進(jìn)行人臉檢測和人臉對(duì)齊。在人臉檢測前,先對(duì)視頻圖像進(jìn)行預(yù)處理,此預(yù)處理步驟涉及提取人臉圖像的直方圖均衡和去噪處理 ;然后在圖像中檢測人臉,定位人臉部分后使用人臉對(duì)齊方法 [15-17] 進(jìn)行臉部剪切、仿射變形 ;最終生成人臉正面圖像,并將其大小調(diào)整為 100×100 像素。直方圖均衡是最常用的直方圖歸一化技術(shù),通過擴(kuò)展圖像的強(qiáng)度范圍提高了圖像的對(duì)比度,使圖像更清晰。歸一化后將人臉圖像調(diào)整為統(tǒng)一大小,再按照 LDA 的方式提取人臉特征。
2.3 人臉對(duì)比識(shí)別模塊
從檢測到的人臉圖像中提取到特征后,需要將其和存儲(chǔ)的人臉特征數(shù)據(jù)庫進(jìn)行查詢對(duì)比,識(shí)別人臉圖像。因此,在人臉檢測步驟之后,下一步是人臉識(shí)別。在第 2.2 節(jié)已經(jīng)檢測到圖像中的所有人臉,并使用對(duì)齊方法剪切下來規(guī)整成統(tǒng)一大小的臉部正面圖像,接下來提取這些人臉圖像的特征并逐一與該班級(jí)的學(xué)生人臉特征數(shù)據(jù)庫進(jìn)行比較,這樣通過人臉數(shù)據(jù)庫對(duì)學(xué)生的人臉進(jìn)行逐一驗(yàn)證,就可以識(shí)別出學(xué)生的身份,同時(shí)在考勤管理數(shù)據(jù)庫中標(biāo)注學(xué)生的出勤情況。具體做法為 :將學(xué)生入學(xué)人臉采集圖像作為樣本圖像,學(xué)生上課考勤的人臉作為測試圖像,然后使用 LDA 方法提取圖像特征,最后通過構(gòu)造特征空間進(jìn)行投影計(jì)算,使用分類器進(jìn)行人臉識(shí)別,具體流程如圖 4 所示。在人臉對(duì)比模塊中,采用的分類器是模式識(shí)別中常用的最近鄰方法,此方法直接簡單, 容易實(shí)現(xiàn),可用于任何分布的數(shù)據(jù)。在訓(xùn)練樣本足夠時(shí),最近鄰分類法的效果比較理想。
2.4 考勤管理模塊
考勤管理包括學(xué)期管理、課程管理、班級(jí)管理、學(xué)生管理、考勤登記管理和考勤記錄導(dǎo)出功能。在使用人臉識(shí)別進(jìn)行考勤時(shí),系統(tǒng)根據(jù)課程安排將檢測到的各班學(xué)生人臉圖像特征與對(duì)應(yīng)班級(jí)的人臉數(shù)據(jù)庫特征逐個(gè)進(jìn)行比較驗(yàn)證,并在服務(wù)器上的考勤登記管理中登記學(xué)生出勤情況。識(shí)別出的人臉將登記為出勤,沒有識(shí)別到的人臉將登記為缺勤,并提供導(dǎo)出到 Excel 的功能,打印出各個(gè)班級(jí)學(xué)生的考勤情況,也可以通過別的系統(tǒng)將各班考勤情況及時(shí)公布。
結(jié) 語
本文基于人臉識(shí)別技術(shù)設(shè)計(jì)出一種自動(dòng)考勤系統(tǒng),充分利用原有的監(jiān)控設(shè)備,在上課期間自動(dòng)進(jìn)行考勤,無需排隊(duì)采集信息,無需人工干預(yù)。該系統(tǒng)比傳統(tǒng)的考勤系統(tǒng)省時(shí)省力,同時(shí)又不干擾正常的教學(xué)過程,并能準(zhǔn)確檢測學(xué)生在課堂上的出勤情況,為學(xué)生考勤管理提供了方便快捷的方法。
該系統(tǒng)在理想條件下能取得較好的效果,但是,實(shí)際情況中,由于教室中光線、角度、表情等多種因素會(huì)影響系統(tǒng)識(shí)別準(zhǔn)確度。在今后的工作中,將考慮使用 GPU 高性能圖像處理服務(wù)器,采用深度學(xué)習(xí)的方法提高系統(tǒng)對(duì)現(xiàn)場復(fù)雜環(huán)境的適應(yīng)能力,使人臉識(shí)別能達(dá)到人類識(shí)別的精確度,提高考勤的準(zhǔn)確性。