凌云光技術股份有限公司深度學習算法部負責人 朱中洋博士
1 背景
2012年,神經網絡之父Geoffrey Hinton的學生Alex Krizhevsky,通過改進的LeNet在視覺領域競賽ILSVRC 2012中摘下桂冠。在百萬量級的ImageNet數據集合上,改進的LeNet效果大幅度超過傳統(tǒng)方法,從此引爆深度學習在各個場景中的應用。
此后,Google、Facebook和NVIDIA等強ToC背景企業(yè),逐步引領深度學習在ToC領域落地實施并率先取得成功。深度學習在購物推薦、廣告推薦、路徑規(guī)劃和喜好挖掘等領域得到廣泛應用,更通過植入到手機等終端設備的方式走到每個人身邊。
2 深度學習與工業(yè)場景之間的“語義鴻溝”
既然深度學習性能這么好,能不能把它應用在工業(yè)場景,重復、有效、可靠地解決問題?能否應用在瑕疵檢測、缺陷分級和根因分析上?如果簡單地把它移植過來,會出現哪些鴻溝和問題?
第一個鴻溝:深度學習平臺
大家熟知的AI頭部公司多有自己的深度學習平臺,包含整合的算力、存儲、數據、數據標注、模型訓練和模型部署等功能。這類平臺只適合于具有少高效應(項目數量少、樣本量大且算力需求大)的公司,如互聯(lián)網企業(yè)。而工業(yè)場景中的項目卻以長尾效應(項目數量多、樣本量小且算力需求小)為主,如工業(yè)質檢行業(yè)。云模式是否適用于工業(yè)質檢行業(yè)?將花費高代價整合出來的算力和存儲根據項目分割,是否是最優(yōu)選擇?
第二個鴻溝:預訓練
做工業(yè)質檢時,即使在算法層面上開發(fā)相應的框架形成自己的平臺,最常用的基本上還是一些非常頂尖的ToC企業(yè)發(fā)布的框架網絡,如ImageNet的預訓練權重。但在實踐過程中我們發(fā)現,雖然ImageNet的圖片和工業(yè)圖片之間的鴻溝非常大,但仍然可以提升模型的性能。這樣就引出了第二個鴻溝,是不是可以有屬于自己、圖片完全來源于工業(yè)領域的預訓練模型?
第三個鴻溝:小樣本
在工業(yè)人工智能領域,隨著產品良率和產能的提升,缺陷瑕疵的數量必然會越來越少,深度學習在工業(yè)中的使用場景會逐漸收斂為小樣本的場景,小樣本深度學習未來是工業(yè)人工智能核心。2018年之后,出現了很多小樣本相關的論文,但不難發(fā)現,這些頂尖的小樣本深度學習算法并不是為工業(yè)量身打造,將學術界提出的小樣本識別方法直接應用在工業(yè)中,往往是不能立刻見效的。
3 凌云光深度學習平臺
深度學習有三個很重要的因素,即平臺、數據和算法。凌云光大膽創(chuàng)新,提出了全新的深度學習平臺、數據預訓練及改進算法,從而使深度學習契合工業(yè)界的發(fā)展和需求。
(1)建立統(tǒng)一規(guī)格的多維度深度學習平臺
凌云光深度學習平臺包含三個維度,分別是超輕型的深度學習平臺、服務器的深度學習平臺、云端的深度學習平臺。超輕型的深度學習平臺針對的是邊端保密項目,這類項目往往數量少,邊端無法聯(lián)網,這種情況下,超輕型的便攜式深度學習算力平臺就十分有優(yōu)勢。對于各個邊端可以進行聯(lián)網互聯(lián),數據量在服務器算力承受范圍之內的產線級客戶來說,服務器的深度學習平臺才是最佳選擇。而針對數據量大,沒有保密需求的客戶,需要云級別的算力,則可以使用云端的算力平臺。凌云光以多維度算力平臺,滿足不同的客戶需求,提升客戶服務能力。
(2)數據層
充分利用扎根工業(yè)領域多年的優(yōu)勢,凌云光收集大量的缺陷樣本數據,并對樣本進行清洗和標注,形成數據資源。此外,還對過往樣本的缺陷和根因也進行標注,便于在未來進行數據挖掘和根因分析,從而從根本上提高工廠的檢測效率,進而提高工廠產品良率。
(3)算法層
凌云光深度剖析開源深度學習算法,構建屬于工業(yè)人工智能深度學習的頂尖算法研究方向,包括小樣本、超低耗時的模型研發(fā)等。比如在印刷質量檢測領域,幅寬一米的印刷品,速度要達到120米/分鐘,常規(guī)的深度學習模型是行不通的。此外,我們還深入研究了深度預適應算法、Open Set Learning、零樣本學習方法、細粒度圖像的分類方法、工業(yè)的知識圖譜等。
4 小結
小樣本深度學習未來將成為一個體系,會有多種多樣的方法。例如,可以使用模型微調的方法、數據增強的方法、遷移學習的方法等。凌云光正在研發(fā)的下一代真正適用于工業(yè)的小樣本深度學習就融合了這些方法。
回顧工業(yè)人工智能的發(fā)展過程不難發(fā)現,直接套用國外已有的開源模型,很難滿足實際需求,在前人的基礎上,必須有所創(chuàng)新,去適應工業(yè)中的小而多的應用場景。我們在工業(yè)人工智能領域,必須通過自主研發(fā),成為行業(yè)參與者、引領者,進而構建真正的智慧工廠。
摘自《自動化博覽》2021年12月刊