今日頭條
官方微信
官方抖音
案例頻道1 背景
集成電路芯片已廣泛應用于多個領域，但是制造過程中產生的缺陷會直接影響集成電路芯片的壽命和可靠性。傳統的人工檢測方法，存在耗時長、勞動強度大、誤檢率高等缺點，已無法適應生產的需求。通過機器視覺檢測技術對產品進行分析處理，檢驗產品是否符合質量要求，對保障產品質量，提高產品合格率起到了關鍵作用。
芯片封裝技術的基本工藝流程，包括硅片切割、芯片貼裝、芯片互聯、封裝成型、切筋成型等工序。裝片工段目前未配備自動檢測設備，芯片質量依靠人工判斷，人工采用單批次產品首件檢查、定時抽檢、定時巡檢等手段效率較低、準確率低。打線工段目前設備配備有工業相機，設備可以存儲圖片，但由于每天生產芯片數量龐大，設備無法存儲如此龐大的數據，設備無圖片分析算法。因此，產品工藝與設備問題導致的質量問題無法準確預知。
本項目“基于5G和工業操作系統在芯片封裝領域的機器視覺檢測應用”，主要針對芯片封裝領域的芯片貼裝與焊線等工藝工序，旨在利用5G、機器視覺等融合技術，助力企業實現高分辨率、高速度的封裝檢測。
2 案例實施與應用情況
（1）項目實施方案
本次方案以5G邊緣控制器預裝Intewell操作系統為核心，基于軟件定義控制，扁平化傳統網絡架構，以統一開放靈活的平臺架構面向多種工業應用場景，實現5G通信技術、機器視覺檢測、運動控制與大數據分析的融合。在現場層，發揮5G網絡高帶寬、低延時、高可靠、方便部署等特點，實現5G邊緣控制器與粘片機、焊線機的穩定通信。邊緣計算層通過5G邊緣控制器，基于軟件定義控制的理念，實現一臺設備代替多個PLC/DCS，同時將PLC控制與和視覺采集功能融合于同一平臺。在應用層，視覺采集軟件采用高級語言開發環境結合工業相機廠商提供的SDK軟件驅動包實現視覺采集、視覺圖像處理和PLC控制系統之間通過MODBUS/TCP或者共享內存（Shared Memory）接口直接通信，與之前PLC和計算機網絡通信性能相比，基于軟件之間的通信可有效確保數據通信實時性和穩定性，滿足自動化控制與圖像處理的需求。系統架構如圖1所示。
圖1 系統架構圖
5G低延時高速率的特性適合此場景應用，一方面芯片行業生產速率極高，工業相機在芯片生產過程中需要在極短的時間內完成芯片圖片取圖，并在邊緣側完成分析與運動控制，對于網絡速率、實時控制方面要求極高。另一方面由于圖片數量多，3D相機拍攝的圖片數據大，在進行視覺處理時就需要大帶寬的網絡傳輸。
（2）項目實施效果
廣州某芯片封測廠基于5G和工業操作系統在芯片封裝領域的機器視覺檢測應用項目于2020年10月開始籌備立項、論證、進行項目可行性分析，同時進行了5G專網、基于機器視覺的芯片表面缺陷檢測子系統、國產化高實時虛擬化Intewell操作系統、MaVIEW軟件定義PLC子系統、數據采集等功能模塊建設，2021年9月項目完成建設任務并投入正常使用，項目實施周期為11個月。
截止2021年9月30日，項目所包含建設內容已經全部完成，項目建設了基于5G和工業操作系統在芯片封裝領域的機器視覺檢測應用系統，通過低時延、高可靠的5G網絡，融合基于Intewell操作系統打造的芯片缺陷檢測系統，實現比人眼視覺檢測更可靠、更高精度的產品檢測。結合控制，可實現產品的自動檢測、可追溯性和質量控制。
圖2 上片工序視覺檢測
圖3 焊線工藝視覺檢測
圖4 大數據分析看板
3 應用創新性、重點與難點問題
基于機器視覺的芯片封裝表面缺陷檢測的關鍵技術，涉及到了圖像處理算法的設計、選取和改進，以及分類算法的設計和選取。缺陷產生的原因及其特征描述如表1所示。
表1 缺陷產生原因及特征描述
產生上述缺陷容易導致焊接不牢等危害，為保證該芯片焊接后的穩定性與耐久性，需在焊接前對芯片進行缺陷檢測，剔除不合格產品。基于以上目標釆取圖5所列出的方案路線，最終實現用決策樹法和K近鄰法兩種算法對缺陷特征數據進行分類。方案路線如圖5所示。
圖5 方案路線圖
（1）芯片缺陷圖像預處理方法
通過照相設備得到的芯片圖像可能存在各種誤差，不能直接使用算法進行缺陷提取，必須對圖像進行預處理操作。如對比度増強、濾波等步驟，以突岀圖像灰度特征。如圖像存在光照不均勻和傾斜情況，還需選擇適當的算法對圖像進行光照校正和傾斜校正，以此來為后續操作提供高精度的輸入圖像。
（2）芯片缺陷圖像閾值分割方法
針對芯片圖像中缺陷部位提取這一情況，探索選取最適合步驟的閾值分割算法，比較選取了多種閾值分割算法。最終根據芯片圖像的特點，選取了最大類間方差法并進行改進來實現缺陷位置的提取，最終取得了良好的分割效果。
（3）芯片缺陷圖像輪廓提取方法
為實現對缺陷輪廓的完整提取，比較選取了五種邊緣提取算子，最終選取了效果最好的Canny算子對缺陷輪廓進行提取，以獲取缺陷位置的面積、周長等各項數據，為后續的分類操作奠定基礎。
（4）芯片缺陷分類識別算法
根據對芯片缺陷樣本數據值和設定的缺陷類型，采用決策樹分類法和K近鄰算法同時對測試數據集進行檢測分類，比較得出采用K近鄰分類算法更適用芯片表面的封裝檢測。
（5）基于國產高實時操作系統的邊緣計算的二值化圖像處理技術
圖像的二值化處理就是將圖像上的點的灰度值為0或255，也就是將整個圖像呈現出明顯的黑白效果。即將256個亮度等級的灰度圖像通過適當的閾值選取而獲得仍然可以反映圖像整體和局部特征的二值化圖像。在數字圖像處理中，二值圖像占有非常重要的地位，特別是在實用的圖像處理中，以二值圖像處理實現而構成的系統是很多的，要進行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像，這樣子有利于在對圖像做進一步處理時，圖像的集合性質只與像素值為0或255的點的位置有關，不再涉及像素的多級值，使處理變得簡單，而且數據的處理和壓縮量小。為了得到理想的二值圖像，一般采用封閉、連通的邊界定義不交疊的區域。所有灰度大于或等于閾值的像素被判定為屬于特定物體，其灰度值為255表示，否則這些像素點被排除在物體區域以外，灰度值為0，表示背景或者例外的物體區域。
（6）基于國產高實時操作系統的邊緣計算的幾何特征定位技術
真正的幾何特征定位技術（Geometrical Object Locator）不是灰度相關性技術（Normalized Grayscale Correlation）的變種，它基于對象的邊緣輪廓的提取和表述，能對自由形狀的物體進行識別和定位，且具有強大的去模糊算法，能對復雜背景下的物體實現準確的識別和精準的定位。好的幾何特征定位器能做到1/40亞象素的平移重復定位精度，0.02度旋轉重復定位精度，速度往往能達到毫秒級。幾何特征定位技術的特點:
基于對象輪廓或邊緣找尋和定位零件。
容許重疊、陰影，對比度低，邊緣不清，凌亂或背景噪音。
基于模板操作，能找到相同或不同模板的多個事件。
定位器返回每個找到事件的X.Y坐標，旋轉角度和大小比例。
兩個零件碰到一起了，定位器能找到，還能分出哪個是哪個。
圖6 軟件處理圖
大小比例不同的對象，基于相同的模板，能找出來，還能計算比例系數。看圖象對比度很差，但不影響定位。
圖7 軟件處理圖
背景很零亂，但不影響識別和定位；有對比度突變，和背景極其零亂。
圖8 軟件處理圖
黑乎乎的，圖象質量很差，定位器能力強大。
圖9 軟件處理圖
用傳統的圖象處理軟件，一般得不到上面的結果，由此就能看出幾何特征定位技術的強大功能。
4 效益分析
（1）項目實現月產能達到420萬只。按此產能測算，項目生產設備月創造產值134.40萬元，利潤達到4.66萬元，達到項目預期指標。
（2）項目在建設前，生產線故障品由人工去檢查，這種檢查方式產生質量誤判率很高，同時通過人工主動檢查判斷的方式，所有判斷標準均處于主觀人工判斷，人工判斷的情況就會導致較明顯的芯片錯誤才能發現（例如芯片缺失），而很多輕微的需要經過儀器精密檢測的缺陷不能及時發現，導致成品失敗率較高。項目建設后，生產線故障品由系統自動檢查，這種做法依據人工定制主觀標準閾值，同時通過機器拍照輔助判斷，人工不需要進行裝片和焊線缺陷的判斷，可以在此環節及時發現不良產品，避免缺陷品流入下一環節，同時能夠及時反饋上一個工序。
項目建設后，生產線故障品檢出自動化率，由實施項目前的0提升到90%以上；生產過程數據可視化率，由實施項目前的0提升到90%以上，達到項目指標。
項目在建設前，生產線的直接操作人員每人可以操控5臺焊線機；項目完成建設后，生產線運行過程中，直接操作人員能有效降低生產過程中的抽檢及確認產品品質的頻率，因此生產線的直接操作人員，由實施項目前的2.5人次減少為2人次，下降20%，達到項目指標。
（ 3 ） 裝片工段的不良率由實施項目前的1665PPM降低至800PPM；焊線工段的不良率由實施項目前的234PPM降低至160PPM；批量性的產品報廢批數由實施項目前的1批次以上降為0，有效避免了此類因人為誤操作產生的批量性產品報廢。達到項目指標。
5 案例意義
本項目完成建設，有利于推動我國半導體封裝測試業的自主創新發展，提升我國半導體封裝測試的競爭力，也同時有利于半導體封裝測試業上下游相關產業發展，推動國民經濟的健康持續發展。項目建成，有利于提升行業從業人員的技術水平和收入。
本項目為我國自主高端電子制造裝備和系統建設提供了難得的全流程示范，為我國高端電子制造領域的產業安全提供了技術保障，其推廣應用能夠大幅度地提高我國復雜電子控制類產品的設計研制效率和降低制造成本，有力地支撐了中國制造2025戰略目標在電子設備類離散型智能制造領域的達成。
摘自《自動化博覽》2022年4月刊
北京市公安局海淀分局備案號：11010802023656號