国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

1　目標(biāo)和概述

隨著工業(yè)制造水平的不斷提高，用戶和生產(chǎn)企業(yè)對(duì)產(chǎn)品質(zhì)量的要求越來(lái)越高，除要求滿足使用性能外，還要有良好的外觀，即良好的表面質(zhì)量。但是，在制造產(chǎn)品的過(guò)程中，表面缺陷的產(chǎn)生往往是不可避免的。表面缺陷是產(chǎn)品表面局部物理或化學(xué)性質(zhì)不均勻的區(qū)域，如表面的劃痕、斑點(diǎn)、孔洞、褶皺等。表面缺陷不僅影響產(chǎn)品的美觀和舒適度，而且一般也會(huì)對(duì)其使用性能帶來(lái)不良影響，所以生產(chǎn)企業(yè)對(duì)產(chǎn)品的表面缺陷檢測(cè)非常重視，以便及時(shí)發(fā)現(xiàn)，從而有效控制產(chǎn)品質(zhì)量，還可以根據(jù)檢測(cè)結(jié)果分析生產(chǎn)工藝中存在的某些問(wèn)題，從而杜絕或減少缺陷品的產(chǎn)生，同時(shí)防止?jié)撛诘馁Q(mào)易糾紛，維護(hù)企業(yè)榮譽(yù)。

傳統(tǒng)檢測(cè)產(chǎn)品表面缺陷的主要方法是人工檢測(cè)，該方法抽檢率低、準(zhǔn)確性不高、實(shí)時(shí)性差、效率低、勞動(dòng)強(qiáng)度大、受人工經(jīng)驗(yàn)和主觀因素的影響大，而基于機(jī)器視覺(jué)的檢測(cè)方法可以很大程度上克服上述弊端。

利用機(jī)器視覺(jué)代替人工完成產(chǎn)品的表面缺陷檢測(cè)。機(jī)器視覺(jué)是一種無(wú)接觸、無(wú)損傷的自動(dòng)檢測(cè)技術(shù)，能在無(wú)需對(duì)產(chǎn)線設(shè)備和生產(chǎn)工藝進(jìn)行改造的前提下，完成產(chǎn)品表面缺陷的自動(dòng)化檢測(cè)，是一種低投入、高回報(bào)的自動(dòng)化技術(shù)。本解決方案是一套基于機(jī)器視覺(jué)的表面無(wú)人質(zhì)檢系統(tǒng)，包括：數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、模型訓(xùn)練及優(yōu)化等功能。該系統(tǒng)通過(guò)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、邊緣計(jì)算等前沿技術(shù)不斷提高對(duì)產(chǎn)品表面質(zhì)量缺陷識(shí)別與定位的精度和速度，加速設(shè)備自動(dòng)化、智能化改造，代替人工在惡劣環(huán)境下進(jìn)行不間斷工作，提高生產(chǎn)效率，最終實(shí)現(xiàn)無(wú)人值守生產(chǎn)的目標(biāo)。

AI表面無(wú)人質(zhì)檢系統(tǒng)是一套基于邊緣計(jì)算的機(jī)器視覺(jué)識(shí)別系統(tǒng)，它通過(guò)深度學(xué)習(xí)和圖像處理算法，自動(dòng)識(shí)別視頻流中產(chǎn)品的瑕疵，以達(dá)到大幅節(jié)省人力，提高產(chǎn)品生產(chǎn)效率及產(chǎn)品質(zhì)量的效果。AI表面無(wú)人質(zhì)檢系統(tǒng)部署將AI應(yīng)用下沉到生產(chǎn)車間，在靠近設(shè)備的地方進(jìn)行AI視覺(jué)分析，減輕視頻傳輸對(duì)帶寬壓力，縮短了應(yīng)用響應(yīng)時(shí)間，提高了業(yè)務(wù)實(shí)時(shí)性，解決生成成本；同時(shí)，檢測(cè)結(jié)果無(wú)需上傳云平臺(tái)，僅需要把少量無(wú)法識(shí)別圖片上傳訓(xùn)練庫(kù)進(jìn)行模型訓(xùn)練，降低了數(shù)據(jù)泄露風(fēng)險(xiǎn)，保障了數(shù)據(jù)的安全。

2　解決方案介紹

2.1　業(yè)務(wù)流程

AI表面無(wú)人質(zhì)檢系統(tǒng)業(yè)務(wù)流程如圖1所示。

圖1 AI表面無(wú)人質(zhì)檢系統(tǒng)業(yè)務(wù)流程圖

AI攝像機(jī)實(shí)時(shí)采集待檢產(chǎn)品視頻數(shù)據(jù)，智能網(wǎng)關(guān)設(shè)備拉取視頻流，抽取其中圖像清晰的關(guān)鍵幀圖片進(jìn)行產(chǎn)品表面缺陷識(shí)別，如果存在缺陷，那么進(jìn)行缺陷的位置定位，并通知質(zhì)檢員進(jìn)行缺陷處理。當(dāng)存在缺陷不能被識(shí)別的時(shí)候，質(zhì)檢員通過(guò)數(shù)據(jù)標(biāo)注工具對(duì)缺陷進(jìn)行標(biāo)注后將圖片上傳到訓(xùn)練庫(kù)中，通過(guò)訓(xùn)練引擎進(jìn)行模型訓(xùn)練，最后將模型訓(xùn)練生成的模型更新到智能網(wǎng)關(guān)中，持續(xù)提升缺陷識(shí)別的準(zhǔn)確性。

2.2　系統(tǒng)架構(gòu)

AI表面無(wú)人質(zhì)檢系統(tǒng)的系統(tǒng)架構(gòu)圖如圖2所示。

圖2 AI表面無(wú)人質(zhì)檢系統(tǒng)的系統(tǒng)架構(gòu)圖

AI表面缺陷無(wú)人質(zhì)檢系統(tǒng)包括平臺(tái)層、存儲(chǔ)層、邊緣層和設(shè)備層。平臺(tái)層主要提供模型訓(xùn)練功能和應(yīng)用管理功能，包括：數(shù)據(jù)標(biāo)注模塊、訓(xùn)練引擎模塊和模型下沉模塊。存儲(chǔ)層主要提供視頻圖片數(shù)據(jù)的存儲(chǔ)功能，包括：生產(chǎn)庫(kù)和訓(xùn)練庫(kù)。邊緣層主要提供表面缺陷識(shí)別與定位功能，包括缺陷識(shí)別引擎、視頻流拉取模塊、關(guān)鍵圖像抽取模塊、結(jié)果展示&通知模塊。設(shè)備層主要用于采集待檢產(chǎn)品的視頻流，攝像機(jī)可以包括：IP攝像機(jī)、工業(yè)攝像機(jī)。

2.3　機(jī)器視覺(jué)表面缺陷檢測(cè)實(shí)現(xiàn)

機(jī)器視覺(jué)是一種無(wú)接觸、無(wú)損傷的自動(dòng)檢測(cè)技術(shù)，具有安全可靠、光譜響應(yīng)范圍寬、可在惡劣環(huán)境下長(zhǎng)時(shí)間工作和生產(chǎn)效率高等突出優(yōu)點(diǎn)。機(jī)器視覺(jué)檢測(cè)系統(tǒng)通過(guò)適當(dāng)?shù)墓庠春蛨D像傳感器（CCD攝像機(jī)）獲取產(chǎn)品的表面圖像，利用相應(yīng)的圖像處理算法提取圖像的特征信息，然后根據(jù)特征信息進(jìn)行表面缺陷的定位、識(shí)別、分級(jí)等判別和統(tǒng)計(jì)、存儲(chǔ)、查詢等操作。

2.3.1　照明系統(tǒng)

照明系統(tǒng)由工業(yè)攝像機(jī)、光學(xué)鏡頭、光源及其夾持裝置等組成。在光源的照明下，通過(guò)光學(xué)鏡頭將產(chǎn)品表面成像于相機(jī)傳感器上，光信號(hào)先轉(zhuǎn)換成電信號(hào)，進(jìn)而轉(zhuǎn)換成計(jì)算機(jī)能處理的數(shù)字信號(hào)，完成產(chǎn)品表面圖像的采集。

工業(yè)攝像機(jī)采用CCD線陣工業(yè)攝像機(jī)。光源采用LED光源，其體積小、功耗低、響應(yīng)速度快、發(fā)光單色性好、可靠性高、光均勻穩(wěn)定?，F(xiàn)場(chǎng)采用暗場(chǎng)照明，將相機(jī)與光源部署在同側(cè)，使間接接收光源在目標(biāo)上的散射光，獲得高對(duì)比度的圖像。

2.3.2　基于算法倉(cāng)的缺陷識(shí)別系統(tǒng)

為了提高表面缺陷的識(shí)別成功率，實(shí)現(xiàn)了一種基于算法倉(cāng)的缺陷識(shí)別系統(tǒng)。該系統(tǒng)根據(jù)算法融合策略預(yù)測(cè)出最終結(jié)果，其特征在于多算法融合策略包括：投票融合算法、線性加權(quán)融合算法、瀑布融合算法、預(yù)測(cè)融合算法。

（1）投票融合算法是將多個(gè)算法的模型預(yù)測(cè)結(jié)果中多數(shù)相同的結(jié)果作為最終結(jié)果。

（2）線性加權(quán)融合算法是為每個(gè)算法的預(yù)測(cè)模型設(shè)置一個(gè)權(quán)重，將算法SDK的模型預(yù)測(cè)結(jié)果進(jìn)行加權(quán)平均。

（3）瀑布融合算法是將前一個(gè)算法的模型預(yù)測(cè)結(jié)果作為下一個(gè)算法SDK模型預(yù)測(cè)結(jié)果的候選集合輸入，層層遞進(jìn)，最后篩選出最優(yōu)的結(jié)果。

（4）預(yù)測(cè)融合算法是對(duì)所有的算法的模型預(yù)測(cè)結(jié)果進(jìn)行二次模型訓(xùn)練，然后使用訓(xùn)練后得到的模型進(jìn)行模型預(yù)測(cè)，并生成最終模型預(yù)測(cè)結(jié)果。

（5）數(shù)字圖像處理算法

數(shù)字圖像處理算法處理流程包括圖片預(yù)處理，特征提取，分類器缺陷分類。

由于工業(yè)現(xiàn)場(chǎng)采集的圖像通常包含噪聲，圖像預(yù)處理主要目的是減少噪聲，改善圖像的質(zhì)量，使之更適合人眼的觀察或機(jī)器的處理。圖像的預(yù)處理通常包括空域方法和頻域方法，其算法有灰度變換、直方圖均衡、基于空域和頻域的各種濾波算法等。

圖像的特征提取是從高維圖像空間到低維特征空間的映射，其基本思想是使目標(biāo)在得到的子空間中具有較小的類內(nèi)聚散度和較大的類間聚散度。主要采用紋理特征、顏色特征、形狀特征等。

最后通過(guò)分類器進(jìn)行缺陷類型分類，分類器算法包括：SVM（支持向量機(jī)），MLP（多層感知器）。

（6）神經(jīng)網(wǎng)絡(luò)算法

• 卷積神經(jīng)網(wǎng)絡(luò)

該方法首先進(jìn)行圖像的分割，把圖像陣列分解成若干個(gè)互不交迭的區(qū)域，每一個(gè)區(qū)域內(nèi)部的某種特性或特征相同或接近，而不同區(qū)域間的圖像特征則有明顯差別，主要采用基于閾值的分割方法、基于區(qū)域的分割方法、基于邊緣的分割方法以及基于特定理論的分割方法；然后進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)算法識(shí)別缺陷，主要使用的卷積神經(jīng)網(wǎng)絡(luò)算法包括：Vggnet算法、ResNet算法等。

• 目標(biāo)檢測(cè)

該方法是找出圖像中所有感興趣的目標(biāo)（物體），確定它們的位置和大小，主要使用的算法有ssd_mobilenet算法，faster_rcnn算法。

（7）無(wú)監(jiān)督學(xué)習(xí)

工業(yè)現(xiàn)場(chǎng)在某些場(chǎng)景下難以獲得足夠數(shù)量的缺陷樣本進(jìn)行學(xué)習(xí)，而無(wú)論是數(shù)字圖像處理方法還是神經(jīng)網(wǎng)絡(luò)方法都嚴(yán)重依賴于足夠的樣本數(shù)。無(wú)監(jiān)督缺陷檢測(cè)的方法具有不需要標(biāo)簽數(shù)據(jù)也可預(yù)測(cè)缺陷能力。首先，結(jié)合GAN和Autoencoder算法進(jìn)行圖像樣本修復(fù)（重建），然后，利用LBP算法比較恢復(fù)后的圖像和原始輸入圖像，從而更準(zhǔn)確的找到缺陷的位置。

2.4　產(chǎn)品功能

（1）缺陷識(shí)別&定位

通過(guò)對(duì)視頻流進(jìn)行分析，系統(tǒng)識(shí)別出視頻圖像中產(chǎn)品的缺陷類型的預(yù)測(cè)結(jié)果，并用矩形框標(biāo)注出缺陷所在的位置。

（2）缺陷庫(kù)管理

支持通過(guò)向缺陷庫(kù)導(dǎo)入產(chǎn)品缺陷圖片完成對(duì)產(chǎn)品缺陷特征的提取，可持續(xù)進(jìn)行模型訓(xùn)練，提升預(yù)測(cè)模型。

（3）抓拍庫(kù)管理

系統(tǒng)支持自動(dòng)識(shí)別視頻流中的產(chǎn)品及產(chǎn)品缺陷，并從視頻流中抽取包含這些產(chǎn)品和產(chǎn)品缺陷的圖片存放到抓拍庫(kù)中。

（4）結(jié)果通知

系統(tǒng)支持在識(shí)別產(chǎn)品缺陷或者出現(xiàn)未能識(shí)別的新缺陷的時(shí)候通知質(zhì)檢員進(jìn)行相關(guān)處理。結(jié)果通知可以包括聲光報(bào)警、系統(tǒng)消息推送、短信通知、郵件通知等。

（5）數(shù)據(jù)標(biāo)注

質(zhì)檢員可以通過(guò)數(shù)據(jù)標(biāo)注小工具對(duì)抓拍庫(kù)中的產(chǎn)品進(jìn)行復(fù)檢，并標(biāo)記出未能識(shí)別的新缺陷或者遺漏識(shí)別的缺陷。

（6）生產(chǎn)經(jīng)營(yíng)報(bào)表

系統(tǒng)提供產(chǎn)品缺陷統(tǒng)計(jì)分析報(bào)表，包括：產(chǎn)品次品率報(bào)表，產(chǎn)品缺陷分析報(bào)表，缺陷類型分析報(bào)表等。

2.5　部署方案

AI表面質(zhì)量檢查系統(tǒng)基于邊緣計(jì)算進(jìn)行部署，將AI表面缺陷識(shí)別模型應(yīng)用部署在車間現(xiàn)場(chǎng)的智能網(wǎng)關(guān)設(shè)備中，直接拉取通過(guò)車間現(xiàn)場(chǎng)的攝像機(jī)的視頻流進(jìn)行圖像識(shí)別和智能分析，現(xiàn)場(chǎng)聲光報(bào)警告知。

將模型訓(xùn)練部署于擁有強(qiáng)大計(jì)算資源的云計(jì)算中心，接收智能網(wǎng)關(guān)上傳的缺陷圖片進(jìn)行模型訓(xùn)練，最后將訓(xùn)練后的預(yù)測(cè)模型自動(dòng)部署到智能網(wǎng)關(guān)中。AI表面質(zhì)量檢查系統(tǒng)架構(gòu)圖如圖3所示。

3　代表性及推廣價(jià)值

當(dāng)前制造業(yè)產(chǎn)品表面缺陷檢測(cè)主要有人工質(zhì)檢和機(jī)器視覺(jué)質(zhì)檢兩種方式，其中人工質(zhì)檢占90%，機(jī)器視覺(jué)質(zhì)檢只占10%。人工質(zhì)檢成本高、誤操作多、生產(chǎn)數(shù)據(jù)無(wú)法有效留存。在線鋼生產(chǎn)過(guò)程中，質(zhì)檢員基于傳統(tǒng)作業(yè)方式采用手電筒作為光源，對(duì)線鋼進(jìn)行挨個(gè)抽樣檢查。這種方式對(duì)經(jīng)驗(yàn)依賴程度較高，人工質(zhì)檢存在較大的主觀因素，長(zhǎng)期作業(yè)導(dǎo)致的視覺(jué)疲勞也會(huì)影響質(zhì)檢精度與效率，漏報(bào)、漏檢的情況屢見(jiàn)不鮮。且線鋼余溫燙傷質(zhì)檢員的事故屢有發(fā)生。由于職業(yè)因素，質(zhì)檢行業(yè)人員流動(dòng)性較高，帶來(lái)較重的培訓(xùn)和用工成本。AI表面無(wú)人質(zhì)檢系統(tǒng)可以幫助成千上萬(wàn)的一線質(zhì)檢工人，減輕大量高重復(fù)性、高頻次的工作，提升效率，解放更多勞動(dòng)力。與傳統(tǒng)人工質(zhì)檢相比，AI表面無(wú)人質(zhì)檢系統(tǒng)具有如下優(yōu)勢(shì)：

（1）節(jié)省人力

傳統(tǒng)人工檢測(cè)方式，如果對(duì)產(chǎn)品依次進(jìn)行檢查，工作強(qiáng)度大，需要大量的人力投入，通過(guò)機(jī)器視覺(jué)智能診斷，可以將人力從大量的重復(fù)質(zhì)檢工作中解脫出來(lái)，大幅度節(jié)省人力成本。

（2）提高質(zhì)量保障

傳統(tǒng)質(zhì)檢全靠人工一個(gè)一個(gè)檢查產(chǎn)品瑕疵或者采用抽檢的方式進(jìn)行，但是這會(huì)受到人工的經(jīng)驗(yàn)、個(gè)人情緒等主觀因素和抽檢概率的影響，導(dǎo)致質(zhì)量控制無(wú)法保障。機(jī)器視覺(jué)通過(guò)大量數(shù)據(jù)訓(xùn)練后算法識(shí)別精度可以非常穩(wěn)定，持續(xù)為產(chǎn)品質(zhì)量保駕護(hù)航。

（3）提高生產(chǎn)效率

傳統(tǒng)質(zhì)檢方式識(shí)別缺陷效率低，往往成為生產(chǎn)瓶頸，影響生產(chǎn)線的自動(dòng)化。機(jī)器視覺(jué)可以實(shí)現(xiàn)7×24小時(shí)持續(xù)檢測(cè)，減少生產(chǎn)線的人工干預(yù)，提高生產(chǎn)效率。

（4）識(shí)別精準(zhǔn)&持續(xù)優(yōu)化

AI表面無(wú)人質(zhì)檢系統(tǒng)基于網(wǎng)宿多年在人工智能技術(shù)上的積累，賦能工業(yè)質(zhì)檢領(lǐng)域。通過(guò)深度學(xué)習(xí)技術(shù)和圖像處理算法，預(yù)測(cè)準(zhǔn)確率高達(dá)97%以上，且準(zhǔn)確率隨著數(shù)據(jù)量提升可持續(xù)優(yōu)化。

圖3 AI表面質(zhì)量檢查系統(tǒng)架構(gòu)圖

（5）實(shí)時(shí)響應(yīng)

相對(duì)于傳統(tǒng)云計(jì)算技術(shù)，依賴于云計(jì)算中心資源，工業(yè)現(xiàn)場(chǎng)視頻數(shù)據(jù)需要全部上傳云計(jì)算中心進(jìn)行計(jì)算，這不僅會(huì)帶來(lái)帶寬成本增加，而且網(wǎng)絡(luò)延遲也不能適應(yīng)實(shí)時(shí)生產(chǎn)控制的需求。AI表面無(wú)人質(zhì)檢系統(tǒng)采用先進(jìn)的邊緣計(jì)算技術(shù)，將AI應(yīng)用下沉到生產(chǎn)車間，在靠近設(shè)備的地方進(jìn)行機(jī)器視覺(jué)分析，降低視頻傳輸對(duì)帶寬需求，縮短了應(yīng)用響應(yīng)時(shí)間，提高了業(yè)務(wù)實(shí)時(shí)性。

（6）信息安全

基于邊緣計(jì)算的AI表面無(wú)人質(zhì)檢系統(tǒng)，在本地進(jìn)行缺陷識(shí)別，檢測(cè)結(jié)果也無(wú)需上傳云計(jì)算中心，僅需要把少量無(wú)法識(shí)別缺陷圖片上傳位于云計(jì)算中心的訓(xùn)練庫(kù)進(jìn)行模型訓(xùn)練，從而降低了企業(yè)生產(chǎn)數(shù)據(jù)泄露風(fēng)險(xiǎn)，保障了數(shù)據(jù)的安全。

未來(lái)，AI表面無(wú)人質(zhì)檢系統(tǒng)可在鋼鐵、汽車、紡織、家居等各個(gè)領(lǐng)域進(jìn)行推廣應(yīng)用，可以有效地實(shí)現(xiàn)企業(yè)生產(chǎn)自動(dòng)化、提升檢測(cè)和生產(chǎn)效率，增強(qiáng)市場(chǎng)競(jìng)爭(zhēng)力，具有良好的行業(yè)復(fù)制性。

摘自《自動(dòng)化博覽》2020年10月刊