面向非平穩時間序列預測任務的持續學習框架
持續學習任務示意圖
工業時間序列是反映生產過程的結構化數據,其分析和預測對于優化工業流程、提升效率具有重要意義。然而,工業生產過程中的動態變化會導致時間序列數據分布漂移,使得傳統靜態預測模型無法長期保持高效性。傳統的模型更新方法,如重新訓練的計算和存儲成本高昂;而增量微調的方式容易導致已學模式的災難性遺忘,這些問題限制了現有模型在非平穩工業環境中的應用效果。
為應對上述挑戰,中國科學院沈陽自動化研究所數字工廠研究室科研團隊提出了一種面向非平穩工業時間序列預測的自適應持續學習(Adaptive Continual Learning,ACL)方法,顯著提升了預測模型的適應性和泛化能力。該研究成果以An Adaptive Continual Learning Method for Nonstationary Industrial Time Series Prediction為題,發表在中國科學院1區TOP期刊IEEE Transactions on Industrial Informatics。
該研究從網絡訓練和網絡結構兩個方面改進了持續學習方法。團隊通過基于提示的網絡參數學習保留了先前任務的“暗知識”,有效緩解災難性遺忘,同時,引入軟記憶緩沖區使模型能夠更好地學習當前任務,從而在穩定性與可塑性之間實現平衡。此外,團隊在網絡結構層面提出了一種時間敏感的激活函數TimeRelu,使網絡激活閾值隨時間變化,從而提高了模型的泛化能力。該方法在開源的太陽能發電數據集和實際的磨礦分級過程數據集上驗證了其有效性。
研究成果有望應用于智能礦山、鋼鐵冶金等復雜工業場景中的預測性維護和生產過程優化等場景。下一步,將針對任務劃分的自動化和概念漂移檢測等問題開展深入研究,同時探索元學習等前沿技術在增強模型動態適應能力方面的潛力。
該研究得到了國家自然科學基金和遼寧省重點研發計劃的支持。(數字工廠研究室)
來源:中國科學院沈陽自動化研究所