陰影雙線性成像模型和光照補(bǔ)償模型
用于陰影去除的三分支殘差網(wǎng)絡(luò)模型
近日,中國科學(xué)院沈陽自動化研究所機(jī)器人視覺研究組在圖像光照建模與恢復(fù)領(lǐng)域研究取得新進(jìn)展,相關(guān)研究成果近期在線發(fā)表于IEEE Transactions on Neural Networks and Learning Systems(中國科學(xué)院一區(qū)Top期刊,IF: 14.255)和IEEE Transactions on Multimedia(中國科學(xué)院一區(qū)Top期刊,IF: 8.182)。
復(fù)雜的光照變化給計(jì)算機(jī)視覺研究帶來了很大的挑戰(zhàn),嚴(yán)重影響了目標(biāo)檢測、識別、跟蹤、圖像分割和場景理解等視覺任務(wù)。
為應(yīng)對上述挑戰(zhàn),沈陽自動化所研究團(tuán)隊(duì)根據(jù)相機(jī)成像模型,推導(dǎo)出了陰影成像雙線性模型,該模型揭示了無陰影、陰影蒙版和陰影圖像之間的內(nèi)在關(guān)系。團(tuán)隊(duì)在此基礎(chǔ)上推導(dǎo)出用于陰影去除的光照補(bǔ)償模型,該模型可以處理微小的陰影和半影。
團(tuán)隊(duì)基于上述光照補(bǔ)償模型,構(gòu)建了用于陰影去除的三分支殘差網(wǎng)絡(luò)模型。該模型由陰影圖像重建、陰影蒙版估計(jì)和陰影去除三個(gè)任務(wù)分支組成。三個(gè)任務(wù)在聯(lián)合損失函數(shù)的監(jiān)督下生成豐富且互補(bǔ)的特征,進(jìn)而使陰影區(qū)域獲取更好的視覺恢復(fù)效果并且在非陰影區(qū)域保留更多細(xì)節(jié)。
研究成果得到了國家自然科學(xué)基金委員會、中國科學(xué)院青年創(chuàng)新促進(jìn)會和機(jī)器人學(xué)國家重點(diǎn)實(shí)驗(yàn)室的大力支持。(機(jī)器人學(xué)研究室)
來源:中國科學(xué)院沈陽自動化研究所