国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

1　目標和概述

隨著工業制造水平的不斷提高，用戶和生產企業對產品質量的要求越來越高，除要求滿足使用性能外，還要有良好的外觀，即良好的表面質量。但是，在制造產品的過程中，表面缺陷的產生往往是不可避免的。表面缺陷是產品表面局部物理或化學性質不均勻的區域，如表面的劃痕、斑點、孔洞、褶皺等。表面缺陷不僅影響產品的美觀和舒適度，而且一般也會對其使用性能帶來不良影響，所以生產企業對產品的表面缺陷檢測非常重視，以便及時發現，從而有效控制產品質量，還可以根據檢測結果分析生產工藝中存在的某些問題，從而杜絕或減少缺陷品的產生，同時防止潛在的貿易糾紛，維護企業榮譽。

傳統檢測產品表面缺陷的主要方法是人工檢測，該方法抽檢率低、準確性不高、實時性差、效率低、勞動強度大、受人工經驗和主觀因素的影響大，而基于機器視覺的檢測方法可以很大程度上克服上述弊端。

利用機器視覺代替人工完成產品的表面缺陷檢測。機器視覺是一種無接觸、無損傷的自動檢測技術，能在無需對產線設備和生產工藝進行改造的前提下，完成產品表面缺陷的自動化檢測，是一種低投入、高回報的自動化技術。本解決方案是一套基于機器視覺的表面無人質檢系統，包括：數據采集、數據標注、模型訓練及優化等功能。該系統通過機器學習、深度學習、邊緣計算等前沿技術不斷提高對產品表面質量缺陷識別與定位的精度和速度，加速設備自動化、智能化改造，代替人工在惡劣環境下進行不間斷工作，提高生產效率，最終實現無人值守生產的目標。

AI表面無人質檢系統是一套基于邊緣計算的機器視覺識別系統，它通過深度學習和圖像處理算法，自動識別視頻流中產品的瑕疵，以達到大幅節省人力，提高產品生產效率及產品質量的效果。AI表面無人質檢系統部署將AI應用下沉到生產車間，在靠近設備的地方進行AI視覺分析，減輕視頻傳輸對帶寬壓力，縮短了應用響應時間，提高了業務實時性，解決生成成本；同時，檢測結果無需上傳云平臺，僅需要把少量無法識別圖片上傳訓練庫進行模型訓練，降低了數據泄露風險，保障了數據的安全。

2　解決方案介紹

2.1　業務流程

AI表面無人質檢系統業務流程如圖1所示。

圖1 AI表面無人質檢系統業務流程圖

AI攝像機實時采集待檢產品視頻數據，智能網關設備拉取視頻流，抽取其中圖像清晰的關鍵幀圖片進行產品表面缺陷識別，如果存在缺陷，那么進行缺陷的位置定位，并通知質檢員進行缺陷處理。當存在缺陷不能被識別的時候，質檢員通過數據標注工具對缺陷進行標注后將圖片上傳到訓練庫中，通過訓練引擎進行模型訓練，最后將模型訓練生成的模型更新到智能網關中，持續提升缺陷識別的準確性。

2.2　系統架構

AI表面無人質檢系統的系統架構圖如圖2所示。

圖2 AI表面無人質檢系統的系統架構圖

AI表面缺陷無人質檢系統包括平臺層、存儲層、邊緣層和設備層。平臺層主要提供模型訓練功能和應用管理功能，包括：數據標注模塊、訓練引擎模塊和模型下沉模塊。存儲層主要提供視頻圖片數據的存儲功能，包括：生產庫和訓練庫。邊緣層主要提供表面缺陷識別與定位功能，包括缺陷識別引擎、視頻流拉取模塊、關鍵圖像抽取模塊、結果展示&通知模塊。設備層主要用于采集待檢產品的視頻流，攝像機可以包括：IP攝像機、工業攝像機。

2.3　機器視覺表面缺陷檢測實現

機器視覺是一種無接觸、無損傷的自動檢測技術，具有安全可靠、光譜響應范圍寬、可在惡劣環境下長時間工作和生產效率高等突出優點。機器視覺檢測系統通過適當的光源和圖像傳感器（CCD攝像機）獲取產品的表面圖像，利用相應的圖像處理算法提取圖像的特征信息，然后根據特征信息進行表面缺陷的定位、識別、分級等判別和統計、存儲、查詢等操作。

2.3.1　照明系統

照明系統由工業攝像機、光學鏡頭、光源及其夾持裝置等組成。在光源的照明下，通過光學鏡頭將產品表面成像于相機傳感器上，光信號先轉換成電信號，進而轉換成計算機能處理的數字信號，完成產品表面圖像的采集。

工業攝像機采用CCD線陣工業攝像機。光源采用LED光源，其體積小、功耗低、響應速度快、發光單色性好、可靠性高、光均勻穩定。現場采用暗場照明，將相機與光源部署在同側，使間接接收光源在目標上的散射光，獲得高對比度的圖像。

2.3.2　基于算法倉的缺陷識別系統

為了提高表面缺陷的識別成功率，實現了一種基于算法倉的缺陷識別系統。該系統根據算法融合策略預測出最終結果，其特征在于多算法融合策略包括：投票融合算法、線性加權融合算法、瀑布融合算法、預測融合算法。

（1）投票融合算法是將多個算法的模型預測結果中多數相同的結果作為最終結果。

（2）線性加權融合算法是為每個算法的預測模型設置一個權重，將算法SDK的模型預測結果進行加權平均。

（3）瀑布融合算法是將前一個算法的模型預測結果作為下一個算法SDK模型預測結果的候選集合輸入，層層遞進，最后篩選出最優的結果。

（4）預測融合算法是對所有的算法的模型預測結果進行二次模型訓練，然后使用訓練后得到的模型進行模型預測，并生成最終模型預測結果。

（5）數字圖像處理算法

數字圖像處理算法處理流程包括圖片預處理，特征提取，分類器缺陷分類。

由于工業現場采集的圖像通常包含噪聲，圖像預處理主要目的是減少噪聲，改善圖像的質量，使之更適合人眼的觀察或機器的處理。圖像的預處理通常包括空域方法和頻域方法，其算法有灰度變換、直方圖均衡、基于空域和頻域的各種濾波算法等。

圖像的特征提取是從高維圖像空間到低維特征空間的映射，其基本思想是使目標在得到的子空間中具有較小的類內聚散度和較大的類間聚散度。主要采用紋理特征、顏色特征、形狀特征等。

最后通過分類器進行缺陷類型分類，分類器算法包括：SVM（支持向量機），MLP（多層感知器）。

（6）神經網絡算法

• 卷積神經網絡

該方法首先進行圖像的分割，把圖像陣列分解成若干個互不交迭的區域，每一個區域內部的某種特性或特征相同或接近，而不同區域間的圖像特征則有明顯差別，主要采用基于閾值的分割方法、基于區域的分割方法、基于邊緣的分割方法以及基于特定理論的分割方法；然后進行卷積神經網絡算法識別缺陷，主要使用的卷積神經網絡算法包括：Vggnet算法、ResNet算法等。

• 目標檢測

該方法是找出圖像中所有感興趣的目標（物體），確定它們的位置和大小，主要使用的算法有ssd_mobilenet算法，faster_rcnn算法。

（7）無監督學習

工業現場在某些場景下難以獲得足夠數量的缺陷樣本進行學習，而無論是數字圖像處理方法還是神經網絡方法都嚴重依賴于足夠的樣本數。無監督缺陷檢測的方法具有不需要標簽數據也可預測缺陷能力。首先，結合GAN和Autoencoder算法進行圖像樣本修復（重建），然后，利用LBP算法比較恢復后的圖像和原始輸入圖像，從而更準確的找到缺陷的位置。

2.4　產品功能

（1）缺陷識別&定位

通過對視頻流進行分析，系統識別出視頻圖像中產品的缺陷類型的預測結果，并用矩形框標注出缺陷所在的位置。

（2）缺陷庫管理

支持通過向缺陷庫導入產品缺陷圖片完成對產品缺陷特征的提取，可持續進行模型訓練，提升預測模型。

（3）抓拍庫管理

系統支持自動識別視頻流中的產品及產品缺陷，并從視頻流中抽取包含這些產品和產品缺陷的圖片存放到抓拍庫中。

（4）結果通知

系統支持在識別產品缺陷或者出現未能識別的新缺陷的時候通知質檢員進行相關處理。結果通知可以包括聲光報警、系統消息推送、短信通知、郵件通知等。

（5）數據標注

質檢員可以通過數據標注小工具對抓拍庫中的產品進行復檢，并標記出未能識別的新缺陷或者遺漏識別的缺陷。

（6）生產經營報表

系統提供產品缺陷統計分析報表，包括：產品次品率報表，產品缺陷分析報表，缺陷類型分析報表等。

2.5　部署方案

AI表面質量檢查系統基于邊緣計算進行部署，將AI表面缺陷識別模型應用部署在車間現場的智能網關設備中，直接拉取通過車間現場的攝像機的視頻流進行圖像識別和智能分析，現場聲光報警告知。

將模型訓練部署于擁有強大計算資源的云計算中心，接收智能網關上傳的缺陷圖片進行模型訓練，最后將訓練后的預測模型自動部署到智能網關中。AI表面質量檢查系統架構圖如圖3所示。

3　代表性及推廣價值

當前制造業產品表面缺陷檢測主要有人工質檢和機器視覺質檢兩種方式，其中人工質檢占90%，機器視覺質檢只占10%。人工質檢成本高、誤操作多、生產數據無法有效留存。在線鋼生產過程中，質檢員基于傳統作業方式采用手電筒作為光源，對線鋼進行挨個抽樣檢查。這種方式對經驗依賴程度較高，人工質檢存在較大的主觀因素，長期作業導致的視覺疲勞也會影響質檢精度與效率，漏報、漏檢的情況屢見不鮮。且線鋼余溫燙傷質檢員的事故屢有發生。由于職業因素，質檢行業人員流動性較高，帶來較重的培訓和用工成本。AI表面無人質檢系統可以幫助成千上萬的一線質檢工人，減輕大量高重復性、高頻次的工作，提升效率，解放更多勞動力。與傳統人工質檢相比，AI表面無人質檢系統具有如下優勢：

（1）節省人力

傳統人工檢測方式，如果對產品依次進行檢查，工作強度大，需要大量的人力投入，通過機器視覺智能診斷，可以將人力從大量的重復質檢工作中解脫出來，大幅度節省人力成本。

（2）提高質量保障

傳統質檢全靠人工一個一個檢查產品瑕疵或者采用抽檢的方式進行，但是這會受到人工的經驗、個人情緒等主觀因素和抽檢概率的影響，導致質量控制無法保障。機器視覺通過大量數據訓練后算法識別精度可以非常穩定，持續為產品質量保駕護航。

（3）提高生產效率

傳統質檢方式識別缺陷效率低，往往成為生產瓶頸，影響生產線的自動化。機器視覺可以實現7×24小時持續檢測，減少生產線的人工干預，提高生產效率。

（4）識別精準&持續優化

AI表面無人質檢系統基于網宿多年在人工智能技術上的積累，賦能工業質檢領域。通過深度學習技術和圖像處理算法，預測準確率高達97%以上，且準確率隨著數據量提升可持續優化。

圖3 AI表面質量檢查系統架構圖

（5）實時響應

相對于傳統云計算技術，依賴于云計算中心資源，工業現場視頻數據需要全部上傳云計算中心進行計算，這不僅會帶來帶寬成本增加，而且網絡延遲也不能適應實時生產控制的需求。AI表面無人質檢系統采用先進的邊緣計算技術，將AI應用下沉到生產車間，在靠近設備的地方進行機器視覺分析，降低視頻傳輸對帶寬需求，縮短了應用響應時間，提高了業務實時性。

（6）信息安全

基于邊緣計算的AI表面無人質檢系統，在本地進行缺陷識別，檢測結果也無需上傳云計算中心，僅需要把少量無法識別缺陷圖片上傳位于云計算中心的訓練庫進行模型訓練，從而降低了企業生產數據泄露風險，保障了數據的安全。

未來，AI表面無人質檢系統可在鋼鐵、汽車、紡織、家居等各個領域進行推廣應用，可以有效地實現企業生產自動化、提升檢測和生產效率，增強市場競爭力，具有良好的行業復制性。

摘自《自動化博覽》2020年10月刊