1、方案背景與目標(biāo)
中國(guó)瓷磚產(chǎn)業(yè)轉(zhuǎn)型升級(jí)和發(fā)展正在取得巨大成果,當(dāng)前已形成較大的瓷磚產(chǎn)業(yè)集群20余個(gè),瓷磚生產(chǎn)企業(yè)超1500余家,年產(chǎn)量125億平方米,但我國(guó)瓷磚依舊未擺脫品質(zhì)普遍偏低的困境,處于“大”而不“精”的現(xiàn)狀。瓷磚生產(chǎn)環(huán)節(jié)一般經(jīng)過原材料混合研磨、脫水、壓胚、噴墨印花、淋釉、燒制、拋光,最后進(jìn)行質(zhì)量檢測(cè)和包裝。得益于產(chǎn)業(yè)自動(dòng)化的發(fā)展,目前生產(chǎn)環(huán)節(jié)已基本實(shí)現(xiàn)無人化,而質(zhì)量檢測(cè)環(huán)節(jié)仍大量依賴人工完成。該方式面臨以下幾項(xiàng)挑戰(zhàn),一是人工檢測(cè)速度較慢,無法滿足高速生產(chǎn)節(jié)拍,影響生產(chǎn)速度;二是人工長(zhǎng)時(shí)間作業(yè)極度容易出現(xiàn)疲勞,檢測(cè)的準(zhǔn)確性得不到保證;三是不同質(zhì)檢員之間判斷標(biāo)注不一致,導(dǎo)致不穩(wěn)定的漏檢或誤檢;四是成本壓力,揀選過程每班次2-6名揀選工三班倒,企業(yè)需承擔(dān)較多人力成本,同時(shí)漏檢還會(huì)造成廢品流入市場(chǎng),為企業(yè)帶來大量售后成本,通常一塊瓷磚的售后成本是生產(chǎn)成本的十幾倍??梢姡纱u表面缺陷是瓷磚行業(yè)生產(chǎn)和質(zhì)量管理的重要環(huán)節(jié),也是困擾行業(yè)多年的技術(shù)瓶頸。為解決以上問題,本方案開發(fā)了一套瓷磚表面缺陷自動(dòng)化揀選系統(tǒng),有效幫助瓷磚生產(chǎn)企業(yè)提升產(chǎn)品的質(zhì)量及產(chǎn)量。
2、方案詳細(xì)介紹
2.1邊緣計(jì)算軟件平臺(tái)
沈自所自主研發(fā)的AI4Industry平臺(tái)是整個(gè)解決方案的核心架構(gòu),該平臺(tái)為云、邊、端一體化架構(gòu),是面向應(yīng)用場(chǎng)景的數(shù)據(jù)處理、算法開發(fā)及模型迭代部署的一站式服務(wù)平臺(tái)。在用戶應(yīng)用視覺技術(shù)解決具體需求時(shí),AI4Industry能夠無代碼的完成從數(shù)據(jù)管理到現(xiàn)場(chǎng)應(yīng)用的整個(gè)流程。平臺(tái)為深度學(xué)習(xí)提供個(gè)人數(shù)據(jù)集等資源的自由管理,支持?jǐn)?shù)據(jù)靈活的預(yù)處理、團(tuán)隊(duì)標(biāo)注及智能標(biāo)注,支持高度定制的模型訓(xùn)練,以及按需配置的模型部署能力,幫助用戶快速創(chuàng)建和部署模型,覆蓋AI視覺應(yīng)用的每個(gè)環(huán)節(jié),具體如下圖所示。
圖1 AI4Industry平臺(tái)架構(gòu)
· AI4Industry云側(cè)
云側(cè)作為整個(gè)架構(gòu)的指揮中心,主要分為用戶接口層、系統(tǒng)接口層、應(yīng)用服務(wù)層、領(lǐng)域服務(wù)層、基礎(chǔ)設(shè)施層,共5層。云側(cè)負(fù)責(zé)數(shù)據(jù)處理、算法開發(fā)、模型迭代、應(yīng)用托管和遠(yuǎn)程監(jiān)控等功能。
具體來說,AI4Industry云側(cè)的功能包括:
① 數(shù)據(jù)存儲(chǔ)與分析:將數(shù)據(jù)存儲(chǔ)在云端,利用團(tuán)隊(duì)標(biāo)注或智能標(biāo)注模式進(jìn)行數(shù)據(jù)標(biāo)注、以及分析和挖掘,為企業(yè)提供更全面的數(shù)據(jù)支持。
② 算法開發(fā)與迭代:為企業(yè)提供無代碼方式算法開發(fā)和模型訓(xùn)練,平臺(tái)提供一體化編程工具IDE,該工具針對(duì)自動(dòng)化硬件任務(wù),基于工業(yè)自動(dòng)化特征,使用復(fù)合微服務(wù)抽象任務(wù)級(jí)指令。可對(duì)機(jī)器人等工業(yè)自動(dòng)化設(shè)備功能組件進(jìn)行建模,實(shí)現(xiàn)控制代碼與物理工藝過程的映射,實(shí)現(xiàn)任務(wù)的多層抽象與工藝級(jí)編程。IDE的核心優(yōu)勢(shì)是針對(duì)工序工步建立標(biāo)準(zhǔn)工步/工序庫(kù),進(jìn)一步開發(fā)工藝模板,先預(yù)編譯,然后根據(jù)硬件平臺(tái)實(shí)現(xiàn)代碼生成,實(shí)現(xiàn)工藝級(jí)配置,代碼自動(dòng)生成。針對(duì)深度學(xué)習(xí)CV任務(wù),基于內(nèi)置的人工智能應(yīng)用接口,可實(shí)現(xiàn)各類算子拖拽式集成調(diào)用,以極簡(jiǎn)的方式實(shí)現(xiàn)復(fù)雜的算法開發(fā)任務(wù),從而極大程度降低開發(fā)者的重復(fù)工作。此外,一體化編程工具IDE是國(guó)內(nèi)首個(gè)支持工業(yè)業(yè)務(wù)語義服務(wù)與語義關(guān)聯(lián)的組態(tài)IDE,兼容輕量級(jí)微服務(wù)與標(biāo)準(zhǔn)工作流的工業(yè)領(lǐng)域組態(tài)IDE。
圖2 AI4Industry平臺(tái)人工智能應(yīng)用接口各層功能
① 應(yīng)用托管與部署:為企業(yè)提供應(yīng)用托管和部署服務(wù),降低企業(yè)IT成本,提高應(yīng)用部署和管理效率。
② 遠(yuǎn)程監(jiān)控和維護(hù):對(duì)整個(gè)系統(tǒng)進(jìn)行遠(yuǎn)程監(jiān)控和維護(hù),及時(shí)發(fā)現(xiàn)和解決問題,確保系統(tǒng)的穩(wěn)定性和安全性。
· AI4Industry邊側(cè)
邊側(cè)作為云端和端側(cè)之間的橋梁,主要負(fù)責(zé)數(shù)據(jù)緩存、就近計(jì)算和實(shí)時(shí)控制等功能。通過在靠近設(shè)備或現(xiàn)場(chǎng)的位置設(shè)置邊緣計(jì)算節(jié)點(diǎn),可以降低網(wǎng)絡(luò)延遲、提高數(shù)據(jù)處理速度和響應(yīng)速度。同時(shí),邊側(cè)還可以減輕云端的負(fù)載,提高整個(gè)系統(tǒng)的穩(wěn)定性和可靠性。
具體來說,AI4Industry邊側(cè)的功能包括:
① 數(shù)據(jù)緩存與預(yù)處理:在靠近設(shè)備或現(xiàn)場(chǎng)的位置設(shè)置數(shù)據(jù)緩存區(qū),如架構(gòu)圖中繪制的磁盤陣列,對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和篩選,降低網(wǎng)絡(luò)傳輸成本和延遲。
② 就近計(jì)算與快速響應(yīng):利用邊緣計(jì)算技術(shù)進(jìn)行數(shù)據(jù)處理和分析,如架構(gòu)圖中繪制的GPU后端計(jì)算集群,快速響應(yīng)設(shè)備或現(xiàn)場(chǎng)的需求,提高生產(chǎn)效率和響應(yīng)速度。
③ 實(shí)時(shí)控制與協(xié)同作業(yè):對(duì)設(shè)備或現(xiàn)場(chǎng)進(jìn)行實(shí)時(shí)控制和協(xié)同作業(yè),確保生產(chǎn)流程的順暢進(jìn)行和設(shè)備的安全穩(wěn)定運(yùn)行。
· AI4Industry端側(cè)
端側(cè)作為直接與設(shè)備或現(xiàn)場(chǎng)交互的層級(jí),主要負(fù)責(zé)數(shù)據(jù)采集、設(shè)備控制和人機(jī)交互等功能,AI4Industry已應(yīng)用已在多種工業(yè)場(chǎng)景中落地應(yīng)用,目前集成了數(shù)十種智能硬件的交互控制,包括不同品牌的機(jī)器人、工業(yè)相機(jī)、光源、PLC等,形成大規(guī)模的硬件生態(tài)系統(tǒng)。端側(cè)通過將設(shè)備或現(xiàn)場(chǎng)的數(shù)據(jù)采集到系統(tǒng)中,可以實(shí)現(xiàn)數(shù)據(jù)共享、分析和挖掘,為生產(chǎn)和管理提供更全面的數(shù)據(jù)支持,同時(shí)還可以對(duì)設(shè)備進(jìn)行遠(yuǎn)程控制和監(jiān)測(cè),提高設(shè)備的運(yùn)行效率和安全性,此外,端側(cè)還可以提供人機(jī)交互界面,方便用戶進(jìn)行操作和管理。
具體來說,AI4Industry端側(cè)的功能包括:
① 算法部署與應(yīng)用:將AI4Industry云側(cè)開發(fā)好的算法部署至端側(cè)智能設(shè)備中,實(shí)現(xiàn)核心算法功能。
② 數(shù)據(jù)采集與傳輸:基于沈自所自研ThingOriginGateway網(wǎng)關(guān)產(chǎn)品,將設(shè)備或現(xiàn)場(chǎng)的數(shù)據(jù)采集并傳輸?shù)较到y(tǒng)中,確保數(shù)據(jù)的準(zhǔn)確性和完整性。
圖3 ThingOriginGateway網(wǎng)關(guān)系統(tǒng)界面
③ 設(shè)備控制與監(jiān)測(cè):對(duì)設(shè)備進(jìn)行遠(yuǎn)程控制和監(jiān)測(cè),提高設(shè)備的運(yùn)行效率和安全性,同時(shí),還可以及時(shí)發(fā)現(xiàn)和解決設(shè)備故障或異常情況。
④ 人機(jī)交互與操作界面:提供簡(jiǎn)單、直觀的人機(jī)交互界面,方便用戶進(jìn)行操作和管理。用戶可以通過界面查看實(shí)時(shí)數(shù)據(jù)、控制設(shè)備或調(diào)整生產(chǎn)參數(shù)等。
2.2瓷磚表面缺陷揀選流程
在瓷磚表面缺陷檢測(cè)解決方案中,瓷磚表面缺陷揀選流程由三層循環(huán)結(jié)構(gòu)組成。
圖4 瓷磚表面缺陷檢測(cè)三層循環(huán)流程
· 外循環(huán)
外循環(huán)負(fù)責(zé)AI4Industry平臺(tái)云、邊、端三層任務(wù)交互,打通數(shù)據(jù)管理、算法管理、模型迭代、算法部署完整技術(shù)路線。首先通過ThingOriginGateway網(wǎng)關(guān)實(shí)現(xiàn)了對(duì)底層設(shè)備的數(shù)據(jù)采集,實(shí)現(xiàn)瓷磚圖像的獲取,然后通過網(wǎng)絡(luò)傳輸將數(shù)據(jù)上傳至AI4Industry平臺(tái),利用團(tuán)隊(duì)標(biāo)注或智能標(biāo)注的方式,對(duì)缺陷數(shù)據(jù)完成篩選和標(biāo)注,利用一體化編程工具IDE開發(fā)瓷磚缺陷檢測(cè)監(jiān)控系統(tǒng),并調(diào)用人工智能應(yīng)用接口進(jìn)行瓷磚檢測(cè)算法開發(fā)及檢測(cè)模型的訓(xùn)練,將在AI4Industry平臺(tái)上開發(fā)好的瓷磚缺陷檢測(cè)監(jiān)控系統(tǒng)上位機(jī)軟件、深度學(xué)習(xí)檢測(cè)模型及檢測(cè)算法部署至端側(cè)服務(wù)器中。
· 中循環(huán)
中循環(huán)負(fù)責(zé)每張瓷磚的表面缺陷檢測(cè)完整過程,可分為瓷磚傳送、圖像采集、算法推理、結(jié)果反饋、機(jī)器人分揀動(dòng)作,共5個(gè)步驟。
· 內(nèi)循環(huán)
內(nèi)循環(huán)負(fù)責(zé)核心算法的執(zhí)行,可分為后端推理算法和業(yè)務(wù)邏輯算法兩部分。后端推理算法利用基于深度學(xué)習(xí)開發(fā)的CIS+CCD雙相機(jī)檢測(cè)模型實(shí)現(xiàn)瓷磚表面缺陷檢測(cè),從而獲得原始檢測(cè)結(jié)果。業(yè)務(wù)邏輯算法包括結(jié)果后處理、尺寸及平整度計(jì)算、色號(hào)劃分、版面分類等算法,將最終表面缺陷檢測(cè)出結(jié)果發(fā)送給PLC,反饋中循環(huán)實(shí)現(xiàn)機(jī)器人分揀動(dòng)作。
2.3專機(jī)硬件系統(tǒng)
皮帶傳送系統(tǒng):用于穩(wěn)定傳送瓷磚通過設(shè)備,保證拍攝效果統(tǒng)一;
觸發(fā)傳感系統(tǒng):用于發(fā)送信號(hào)實(shí)現(xiàn)各項(xiàng)揀選數(shù)據(jù)采集;
邊緣計(jì)算硬件系統(tǒng):用于向邊緣計(jì)算提供算力和數(shù)據(jù)存儲(chǔ)服務(wù);
圖像采集系統(tǒng):利用CIS和CCD線掃相機(jī)實(shí)現(xiàn)瓷磚高清圖像采集;
照明系統(tǒng):用于提供穩(wěn)定光源,輔助圖像采集系統(tǒng)獲取清晰瓷磚圖像及缺陷特征;
瓷磚分揀系統(tǒng):基于檢測(cè)結(jié)果利用機(jī)械臂完成瓷磚分流分揀動(dòng)作;
其他控制單元系統(tǒng):用于串聯(lián)皮帶傳送、圖像采集、數(shù)據(jù)交互、結(jié)果報(bào)警等流程。
2.4數(shù)據(jù)通訊
數(shù)據(jù)傳輸和通訊協(xié)議:使用標(biāo)準(zhǔn)通信協(xié)議,確保各個(gè)硬件和軟件組件之間的數(shù)據(jù)傳輸順暢。
2.5安全措施
系統(tǒng)訪問控制:確保只有授權(quán)用戶可以訪問系統(tǒng),同時(shí)授權(quán)不同級(jí)別的權(quán)限。
數(shù)據(jù)安全性:確保從攝像頭到存儲(chǔ)的數(shù)據(jù)都受到適當(dāng)?shù)募用芎捅Wo(hù)。
審計(jì)與日志記錄:記錄系統(tǒng)的活動(dòng)和軟件算法執(zhí)行過程,以便在發(fā)生安全事件時(shí)進(jìn)行調(diào)查。
3、代表性及推廣價(jià)值
· 代表性成果
瓷磚表面缺陷形狀差異較大且尺寸不固定,小尺寸缺陷檢測(cè)尤為困難,本方案基于深度學(xué)習(xí)的高精度CIS+CCD雙相機(jī)檢測(cè)模型,并利用傳統(tǒng)視覺算法對(duì)檢測(cè)結(jié)果進(jìn)行嚴(yán)格后處理篩選和分級(jí),在大缺陷檢測(cè)不被影響的條件下有效提高細(xì)小缺陷檢測(cè)能力,當(dāng)前缺陷檢測(cè)誤、漏檢率均低于0.5%。為適應(yīng)高速生產(chǎn)節(jié)拍,本方案基于TensorRT封裝一套業(yè)界領(lǐng)先的高速模型推理引擎TensorRT_Pro,同時(shí)加持業(yè)務(wù)引擎和模型推理并行計(jì)算框架,從數(shù)據(jù)采集、數(shù)據(jù)傳輸、模型推理,再到結(jié)果處理,一片瓷磚完整檢測(cè)時(shí)間僅需0.6s,可滿足瓷磚(400mm*800mm尺寸)80片/分鐘甚至更快的生產(chǎn)速度。本方案已轉(zhuǎn)化成產(chǎn)品并應(yīng)用到多家瓷磚生產(chǎn)頭部企業(yè),量產(chǎn)并應(yīng)用已有兩年時(shí)間,具備較高的可靠性和穩(wěn)定性,目前已成功部署應(yīng)用十余臺(tái)套設(shè)備,為相關(guān)客戶至少節(jié)省50%以上人力成本,并減少客訴率近80%。
此外,該項(xiàng)目目前已產(chǎn)出專利10余篇、軟著1篇、高品質(zhì)論文2篇、培養(yǎng)研究生5人。
· 商業(yè)價(jià)值與社會(huì)價(jià)值
本方案可無縫遷移至多種表面缺陷檢測(cè)生產(chǎn)場(chǎng)景,具有較強(qiáng)的商業(yè)價(jià)值,該解決方案的成功實(shí)施,為相關(guān)領(lǐng)域如木板、鋼板等表面缺陷檢測(cè)場(chǎng)景,通過邊緣計(jì)算技術(shù)處理實(shí)際生產(chǎn)問題提供了先行示范作用。同時(shí),利用AI4Industry平臺(tái)采集到的瓷磚圖像及持續(xù)收集到的推理結(jié)果大數(shù)據(jù),通過數(shù)據(jù)挖掘及知識(shí)圖譜等技術(shù),分析預(yù)判生產(chǎn)過程中每個(gè)環(huán)節(jié)的當(dāng)前狀態(tài)及可能出現(xiàn)的問題,對(duì)問題預(yù)防、結(jié)果追溯、設(shè)備改進(jìn)等,都有極大的幫助,可不斷提高瓷磚制造效率和質(zhì)量,具有較高的社會(huì)價(jià)值。