域泛化(Domain generalization)是從一個(gè)或多個(gè)源域中學(xué)習(xí)?,其目標(biāo)是提取一個(gè)可以在未知目標(biāo)域中使用的域不變模型。在網(wǎng)絡(luò)訓(xùn)練過(guò)程中,模型可能會(huì)過(guò)度依賴于訓(xùn)練數(shù)據(jù)集的分布,最終導(dǎo)致無(wú)法準(zhǔn)確捕獲未見(jiàn)數(shù)據(jù)中存在的適當(dāng)模式。
該研究提出的域泛化框架
針對(duì)這一問(wèn)題,中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所機(jī)器人學(xué)研究室機(jī)器智能課題組提出了一種加權(quán)標(biāo)簽平滑正則化(weighted label smoothing regularization)方法。相關(guān)研究以Label smoothing regularization-based no hyperparameter domain generalization為題在Knowledge-Based Systems發(fā)表。
該方法通過(guò)加權(quán)標(biāo)簽平滑正則化引入類間監(jiān)督,使得模型更加關(guān)注類別之間的相對(duì)關(guān)系而不是絕對(duì)差異,從而幫助模型學(xué)習(xí)到更通用的特征,緩解網(wǎng)絡(luò)的過(guò)擬合特性,提高模型對(duì)未知新數(shù)據(jù)的泛化能力。此外,權(quán)重自適應(yīng)技術(shù)尋求遷移性和判別性之間的平衡,使網(wǎng)絡(luò)更新更加穩(wěn)定。該研究成果為解決現(xiàn)實(shí)世界不同光線、不同天氣場(chǎng)景下的視覺(jué)感知問(wèn)題提供了新思路。
本研究得到了國(guó)家自然科學(xué)基金項(xiàng)目、中國(guó)科學(xué)院青促會(huì)項(xiàng)目、遼寧省“揭榜掛帥”科技計(jì)劃項(xiàng)目以及沈陽(yáng)自動(dòng)化所基礎(chǔ)研究項(xiàng)目支持。(機(jī)器人學(xué)研究室)
論文鏈接:https://www.sciencedirect.com/science/article/pii/S0950705124015119
Doi: 10.1016/j.knosys.2024.112877
來(lái)源:中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所