信息來源:中國(guó)科學(xué)院自動(dòng)化研究所
行人再識(shí)別問題是一個(gè)重要且具有挑戰(zhàn)性的經(jīng)典計(jì)算機(jī)視覺任務(wù)。由于存在光照變化、視角變化、遮擋、背景雜亂、行人姿態(tài)多樣等復(fù)雜因素,目前的研究的測(cè)試性能往往不能盡如人意。
為了解決上述問題,自動(dòng)化所智能感知與計(jì)算研究中心引入了以下方法來達(dá)到去除背景、提高模型泛化性能、提高圖像利用率的目的。
首先,引進(jìn)了二值化的行人分割輪廓圖作為額外輸入,并與彩色圖像合成為四通道的新輸入,然后設(shè)計(jì)了一種基于分割輪廓圖的對(duì)比注意模型來學(xué)習(xí)背景無關(guān)的行人特征。在此基礎(chǔ)上,提出一種區(qū)域級(jí)別的三元組損失函數(shù),分別來約束來自全圖區(qū)域、行人身體區(qū)域、背景區(qū)域的特征,提出的損失函數(shù)可以讓來自全圖區(qū)域和行人身體區(qū)域的特征在特征空間靠近,并遠(yuǎn)離背景區(qū)域,最終達(dá)到去除背景的作用。所提出的方法在三個(gè)行人再識(shí)別數(shù)據(jù)集上驗(yàn)證了有效性,取得了當(dāng)前最好的性能。
其次,提出了一種特殊的樣本來擴(kuò)充數(shù)據(jù)集:對(duì)抗式遮擋樣本。整個(gè)方法流程如下:(1)按照常用的方法訓(xùn)練一個(gè)ReID模型;(2)通過網(wǎng)絡(luò)可視化的方法找出模型在識(shí)別訓(xùn)練樣本時(shí)所關(guān)注的區(qū)域,對(duì)這些區(qū)域進(jìn)行(部分)遮擋就可以產(chǎn)生新的樣本,同時(shí)保持這些樣本原有的類別標(biāo)簽;(3)把新的樣本加入到原始數(shù)據(jù)集中,按照之前的方法訓(xùn)練一個(gè)新的模型。這種樣本不僅模擬了現(xiàn)實(shí)中的遮擋情況,而且對(duì)于模型來說是困難樣本,可以給模型的訓(xùn)練提供動(dòng)量,從而跳出局部極小點(diǎn),減少模型的過擬合。實(shí)驗(yàn)發(fā)現(xiàn)原始的ReID模型識(shí)別訓(xùn)練樣本時(shí)只關(guān)注一些局部的身體區(qū)域,加入新樣本訓(xùn)練后的模型則可以同時(shí)關(guān)注到一些之前沒關(guān)注的身體區(qū)域,從而提高了模型在測(cè)試階段的魯棒性。
最后,為了解決只有部分行人圖像可供識(shí)別的問題,提出利用全卷積網(wǎng)絡(luò)抽取與輸入圖像尺寸相對(duì)應(yīng)的空域特征圖,并提出一種不需要行人對(duì)齊的方法(深度空域特征重建)來匹配不同尺寸大小的行人圖像。特別地,借鑒字典學(xué)習(xí)中重建誤差來計(jì)算不同的空域特征圖的相似度。按照這種匹配方式,利用端到端學(xué)習(xí)方法增大來自于同一個(gè)人的圖像對(duì)的相似度,反之亦然。 該方法不需要對(duì)齊,對(duì)輸入圖像尺寸沒有限制,在Partial REID,Partial iLIDS和Market1501上取得較好效果。
上述研究將發(fā)表在國(guó)際計(jì)算機(jī)視覺與模式識(shí)別大會(huì)CVPR2018上。