1、方案背景與目標
中國瓷磚產業轉型升級和發展正在取得巨大成果,當前已形成較大的瓷磚產業集群20余個,瓷磚生產企業超1500余家,年產量125億平方米,但我國瓷磚依舊未擺脫品質普遍偏低的困境,處于“大”而不“精”的現狀。瓷磚生產環節一般經過原材料混合研磨、脫水、壓胚、噴墨印花、淋釉、燒制、拋光,最后進行質量檢測和包裝。得益于產業自動化的發展,目前生產環節已基本實現無人化,而質量檢測環節仍大量依賴人工完成。該方式面臨以下幾項挑戰,一是人工檢測速度較慢,無法滿足高速生產節拍,影響生產速度;二是人工長時間作業極度容易出現疲勞,檢測的準確性得不到保證;三是不同質檢員之間判斷標注不一致,導致不穩定的漏檢或誤檢;四是成本壓力,揀選過程每班次2-6名揀選工三班倒,企業需承擔較多人力成本,同時漏檢還會造成廢品流入市場,為企業帶來大量售后成本,通常一塊瓷磚的售后成本是生產成本的十幾倍。可見,瓷磚表面缺陷是瓷磚行業生產和質量管理的重要環節,也是困擾行業多年的技術瓶頸。為解決以上問題,本方案開發了一套瓷磚表面缺陷自動化揀選系統,有效幫助瓷磚生產企業提升產品的質量及產量。
2、方案詳細介紹
2.1邊緣計算軟件平臺
沈自所自主研發的AI4Industry平臺是整個解決方案的核心架構,該平臺為云、邊、端一體化架構,是面向應用場景的數據處理、算法開發及模型迭代部署的一站式服務平臺。在用戶應用視覺技術解決具體需求時,AI4Industry能夠無代碼的完成從數據管理到現場應用的整個流程。平臺為深度學習提供個人數據集等資源的自由管理,支持數據靈活的預處理、團隊標注及智能標注,支持高度定制的模型訓練,以及按需配置的模型部署能力,幫助用戶快速創建和部署模型,覆蓋AI視覺應用的每個環節,具體如下圖所示。
圖1 AI4Industry平臺架構
· AI4Industry云側
云側作為整個架構的指揮中心,主要分為用戶接口層、系統接口層、應用服務層、領域服務層、基礎設施層,共5層。云側負責數據處理、算法開發、模型迭代、應用托管和遠程監控等功能。
具體來說,AI4Industry云側的功能包括:
① 數據存儲與分析:將數據存儲在云端,利用團隊標注或智能標注模式進行數據標注、以及分析和挖掘,為企業提供更全面的數據支持。
② 算法開發與迭代:為企業提供無代碼方式算法開發和模型訓練,平臺提供一體化編程工具IDE,該工具針對自動化硬件任務,基于工業自動化特征,使用復合微服務抽象任務級指令。可對機器人等工業自動化設備功能組件進行建模,實現控制代碼與物理工藝過程的映射,實現任務的多層抽象與工藝級編程。IDE的核心優勢是針對工序工步建立標準工步/工序庫,進一步開發工藝模板,先預編譯,然后根據硬件平臺實現代碼生成,實現工藝級配置,代碼自動生成。針對深度學習CV任務,基于內置的人工智能應用接口,可實現各類算子拖拽式集成調用,以極簡的方式實現復雜的算法開發任務,從而極大程度降低開發者的重復工作。此外,一體化編程工具IDE是國內首個支持工業業務語義服務與語義關聯的組態IDE,兼容輕量級微服務與標準工作流的工業領域組態IDE。
圖2 AI4Industry平臺人工智能應用接口各層功能
① 應用托管與部署:為企業提供應用托管和部署服務,降低企業IT成本,提高應用部署和管理效率。
② 遠程監控和維護:對整個系統進行遠程監控和維護,及時發現和解決問題,確保系統的穩定性和安全性。
· AI4Industry邊側
邊側作為云端和端側之間的橋梁,主要負責數據緩存、就近計算和實時控制等功能。通過在靠近設備或現場的位置設置邊緣計算節點,可以降低網絡延遲、提高數據處理速度和響應速度。同時,邊側還可以減輕云端的負載,提高整個系統的穩定性和可靠性。
具體來說,AI4Industry邊側的功能包括:
① 數據緩存與預處理:在靠近設備或現場的位置設置數據緩存區,如架構圖中繪制的磁盤陣列,對數據進行預處理和篩選,降低網絡傳輸成本和延遲。
② 就近計算與快速響應:利用邊緣計算技術進行數據處理和分析,如架構圖中繪制的GPU后端計算集群,快速響應設備或現場的需求,提高生產效率和響應速度。
③ 實時控制與協同作業:對設備或現場進行實時控制和協同作業,確保生產流程的順暢進行和設備的安全穩定運行。
· AI4Industry端側
端側作為直接與設備或現場交互的層級,主要負責數據采集、設備控制和人機交互等功能,AI4Industry已應用已在多種工業場景中落地應用,目前集成了數十種智能硬件的交互控制,包括不同品牌的機器人、工業相機、光源、PLC等,形成大規模的硬件生態系統。端側通過將設備或現場的數據采集到系統中,可以實現數據共享、分析和挖掘,為生產和管理提供更全面的數據支持,同時還可以對設備進行遠程控制和監測,提高設備的運行效率和安全性,此外,端側還可以提供人機交互界面,方便用戶進行操作和管理。
具體來說,AI4Industry端側的功能包括:
① 算法部署與應用:將AI4Industry云側開發好的算法部署至端側智能設備中,實現核心算法功能。
② 數據采集與傳輸:基于沈自所自研ThingOriginGateway網關產品,將設備或現場的數據采集并傳輸到系統中,確保數據的準確性和完整性。
圖3 ThingOriginGateway網關系統界面
③ 設備控制與監測:對設備進行遠程控制和監測,提高設備的運行效率和安全性,同時,還可以及時發現和解決設備故障或異常情況。
④ 人機交互與操作界面:提供簡單、直觀的人機交互界面,方便用戶進行操作和管理。用戶可以通過界面查看實時數據、控制設備或調整生產參數等。
2.2瓷磚表面缺陷揀選流程
在瓷磚表面缺陷檢測解決方案中,瓷磚表面缺陷揀選流程由三層循環結構組成。
圖4 瓷磚表面缺陷檢測三層循環流程
· 外循環
外循環負責AI4Industry平臺云、邊、端三層任務交互,打通數據管理、算法管理、模型迭代、算法部署完整技術路線。首先通過ThingOriginGateway網關實現了對底層設備的數據采集,實現瓷磚圖像的獲取,然后通過網絡傳輸將數據上傳至AI4Industry平臺,利用團隊標注或智能標注的方式,對缺陷數據完成篩選和標注,利用一體化編程工具IDE開發瓷磚缺陷檢測監控系統,并調用人工智能應用接口進行瓷磚檢測算法開發及檢測模型的訓練,將在AI4Industry平臺上開發好的瓷磚缺陷檢測監控系統上位機軟件、深度學習檢測模型及檢測算法部署至端側服務器中。
· 中循環
中循環負責每張瓷磚的表面缺陷檢測完整過程,可分為瓷磚傳送、圖像采集、算法推理、結果反饋、機器人分揀動作,共5個步驟。
· 內循環
內循環負責核心算法的執行,可分為后端推理算法和業務邏輯算法兩部分。后端推理算法利用基于深度學習開發的CIS+CCD雙相機檢測模型實現瓷磚表面缺陷檢測,從而獲得原始檢測結果。業務邏輯算法包括結果后處理、尺寸及平整度計算、色號劃分、版面分類等算法,將最終表面缺陷檢測出結果發送給PLC,反饋中循環實現機器人分揀動作。
2.3專機硬件系統
皮帶傳送系統:用于穩定傳送瓷磚通過設備,保證拍攝效果統一;
觸發傳感系統:用于發送信號實現各項揀選數據采集;
邊緣計算硬件系統:用于向邊緣計算提供算力和數據存儲服務;
圖像采集系統:利用CIS和CCD線掃相機實現瓷磚高清圖像采集;
照明系統:用于提供穩定光源,輔助圖像采集系統獲取清晰瓷磚圖像及缺陷特征;
瓷磚分揀系統:基于檢測結果利用機械臂完成瓷磚分流分揀動作;
其他控制單元系統:用于串聯皮帶傳送、圖像采集、數據交互、結果報警等流程。
2.4數據通訊
數據傳輸和通訊協議:使用標準通信協議,確保各個硬件和軟件組件之間的數據傳輸順暢。
2.5安全措施
系統訪問控制:確保只有授權用戶可以訪問系統,同時授權不同級別的權限。
數據安全性:確保從攝像頭到存儲的數據都受到適當的加密和保護。
審計與日志記錄:記錄系統的活動和軟件算法執行過程,以便在發生安全事件時進行調查。
3、代表性及推廣價值
· 代表性成果
瓷磚表面缺陷形狀差異較大且尺寸不固定,小尺寸缺陷檢測尤為困難,本方案基于深度學習的高精度CIS+CCD雙相機檢測模型,并利用傳統視覺算法對檢測結果進行嚴格后處理篩選和分級,在大缺陷檢測不被影響的條件下有效提高細小缺陷檢測能力,當前缺陷檢測誤、漏檢率均低于0.5%。為適應高速生產節拍,本方案基于TensorRT封裝一套業界領先的高速模型推理引擎TensorRT_Pro,同時加持業務引擎和模型推理并行計算框架,從數據采集、數據傳輸、模型推理,再到結果處理,一片瓷磚完整檢測時間僅需0.6s,可滿足瓷磚(400mm*800mm尺寸)80片/分鐘甚至更快的生產速度。本方案已轉化成產品并應用到多家瓷磚生產頭部企業,量產并應用已有兩年時間,具備較高的可靠性和穩定性,目前已成功部署應用十余臺套設備,為相關客戶至少節省50%以上人力成本,并減少客訴率近80%。
此外,該項目目前已產出專利10余篇、軟著1篇、高品質論文2篇、培養研究生5人。
· 商業價值與社會價值
本方案可無縫遷移至多種表面缺陷檢測生產場景,具有較強的商業價值,該解決方案的成功實施,為相關領域如木板、鋼板等表面缺陷檢測場景,通過邊緣計算技術處理實際生產問題提供了先行示范作用。同時,利用AI4Industry平臺采集到的瓷磚圖像及持續收集到的推理結果大數據,通過數據挖掘及知識圖譜等技術,分析預判生產過程中每個環節的當前狀態及可能出現的問題,對問題預防、結果追溯、設備改進等,都有極大的幫助,可不斷提高瓷磚制造效率和質量,具有較高的社會價值。