国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

1  引言

隨著國家經濟建設的快速發展，傳統的航空制造方式已經越來越難以滿足航空機載設備的專用精細化零件日益增大的需求量，此外，在其他工業領域，也存在著傳統工業制造技術對操作人員專業水平要求過高的現象，我國的勞動力資源豐富，而過高的專業技術要求不利于充分發揮我國的人口紅利優勢[1]。為此，中國航空制造技術研究院工業網絡與自動化實驗室開發出了一套智能人工作業系統。該系統是一個具有模塊化、網絡化、交互式特點的人工作業系統，符合人體工程學和精益生產原理。系統由投影指示/體感攝像、觸摸顯示、物料存取、工具作業等功能區組成，形成一套完整的智能化人工作業系統。有一個可自由配置的系統操作軟件，它將物理工作站與虛擬模塊連接起來，具備全面聯網、模塊擴展、簡易集成、靈活裝卸等優點。該作業系統可為員工提供多種產品裝配的技術指導。工作計劃直觀呈現在觸摸屏上，作業過程逐步說明顯示給員工，或通過投影儀和按燈取貨來引導作業步驟，最大限度降低了對操作人員專業技能的要求，同時多種輔助外設也可以有效保證產品的裝配質量[2~3]。

本系統集成了大量的輔助外設，因此如何實現對輔助外設的有效控制便成為了系統高效運行的重要指標，本系統采用以Cortex-A53為核心的實驗室自研邊緣控制器，將云計算能力下沉到邊緣側、設備側，外設響應延遲大幅度縮短，數據處理更加快速，實驗室云平臺僅負責數據存儲和管控，由此帶來的成本、能耗及帶寬也大幅度降低。云邊協同使整個智能人工作業系統具備更低的能耗和帶寬成本以及更高的系統集成化、實時性和簡易性。

2  邊緣控制器介紹

本系統采用了工業網絡與自動化實驗室自研的邊緣控制器，該設備具有四個基于ARM架構的Cortex-53內核，主頻最高可達1.3GHz。此外，邊緣控制器內核還集成了一個Cortex-M4內核，板載2GB RAM、8GB ROM。圖1是邊緣控制器的實物照片，圖2是邊緣控制器接口圖示。

圖1 邊緣控制器實物照片

圖2 邊緣控制器接口圖示

邊緣控制器Cortex-A53內核基于Linux5.4系統，Cortex-M4內核基于RT系統；具備兩個可以自行設置不同網段的10/100Mbps自適應以太網接口；擁有一個1080P HDMI接口；8路24V~0V I/O輸出接口，16路24V~0V I/O輸入接口；兩個USB3.0接口；RS232和RS485串口各一個；工作溫度：-40℃～+85℃；存儲溫度：-55℃～+85℃。除了較為寬松的溫濕度條件外，邊緣控制器還具備多項抗電磁干擾特性，如靜電放電干擾、輻射電磁場干擾、快速瞬變干擾、工頻磁場干擾、衰減振蕩波干擾、射頻傳導干擾等。

3  系統設計

3.1   系統組成

圖3是智能人工作業系統的整體實物照片，其中系統各部分組成設備名稱如下：1-腳踏開關；2-蜂鳴器；3-三色按鈕；4-夾具；5-夾具按鈕；6-掃碼槍；7-一體機；  8-電子秤；  9-LED燈帶；  10-零件料盒；  11-擰緊器；12-三色燈；13-深度攝像機；14-投影儀；15-RFID讀卡器；16-游標卡尺；17-邊緣控制器

圖3 智能人工作業系統組成

3.2   系統網絡連接

圖4是系統網絡連接圖，可以看出，深度相機由TX2作為GPU模塊進行直接控制，這是由于機器視覺相關函數庫的配置需要，其中一體機因用戶與系統進行信息交互，邊緣控制器、一體機和TX2通過網線連接至交換機，利用MQTT網絡協議進行信息交互。同時，為了滿足云邊結合的需求，邊緣控制器通過網線連接至實驗室云平臺，實現系統操作數據的上傳。

圖4 系統網絡連接圖示

3.3   系統工作流程

圖5是智能人工作業系統的工作流程圖，演示了對一個專用航空機載設備零件的加工過程，使用到了智能人工作業系統的全部輔助外設，從操作人員登錄開始至零件測距稱重結束。可以看出，每一步的操作信息都是預設好的，需要輔助外設及時準確地進行配合，因此，邊緣控制器對各外設的有效控制十分重要。

圖5 系統工作流程圖示

3.4   輔助外設的邊緣控制實現

為實現邊緣控制器對多種不同功能的輔助外設的有效控制，需要充分利用邊緣控制器的各項交互功能，就本系統來說，需要用到的有USB接口、USB轉串口、RS232串口、GPIO、網絡接口、HDMI接口、PWM輸出等。由于本系統邊緣控制器基于Linux5.4操作系統，為便于用戶與系統進行交互，本文給出的控制程序均通過QT5.13.2交叉編譯實現。表1是輔助外設的匯總表及每種輔助外設的邊緣控制實現方法。

表1 輔助外設統計

3.4.1   腳踏開關

腳踏開關用于發出加工步驟結束信息，通過USB與邊緣控制器連接。腳踏開關的工作方式與鍵盤相同，即踩下腳踏開關的動作相當于按下鍵盤的特定字符鍵。在本系統的設計中，沒有輸入光標，因此采用按鍵事件觸發函數來捕捉腳踏開關信號，即通過函數void MainWindow::keyPressEvent（QKeyEvent*ev）實現按鍵信號捕捉，同時，為了保證所有的輸入均表達為按鍵事件觸發，在構造函數中需執行語句this->grabKeyboard()。

3.4.2   蜂鳴器

蜂鳴器用于操作錯誤時的提示報警，通過邊緣控制器的GPIO實現控制，當邊緣控制器得到錯誤信息提示時，將蜂鳴器對應的輸出I/O置為高電平并持續一定的時間。

3.4.3   三色按鈕

三色按鈕的用途與腳踏開關一致，也是用于發出加工步驟結束信息，由于操作臺面積較大，操作人員在進行不同的操作步驟時，可能會處于不同的位置，為了方便人員操作，在與腳踏開關相對的位置加裝了三色按鈕，三色按鈕的控制方式與腳踏開關不同，其通過邊緣控制器輸入I/O控制，操作人員按下按鈕的時間并不固定，因此邊緣控制器需要時刻監控I/O口的電平變化，為此在程序中設置單獨的線程來實現，通過語句thread_1 = new thread_one(this)創建新的線程，  接著通過語句connect(thread_1, &thread_one::over,this, &MainWindow::dealover)將該線程的結束信號與主程序的槽函數連接，在槽函數中創建while(1)永續循環來持續監控輸入I/O的電平變化。

3.4.4   掃碼槍

掃碼槍用于掃描產品任務條形碼或二維碼來獲取產品加工任務信息，  通過USB與邊緣控制器連接，  掃碼槍的工作方式與腳踏開關相同，也是鍵盤輸入的方式，不同的是掃碼槍得到的信息是字符串而非單個字符，同時字符串以回車符為結尾，因此在按鍵事件觸發函數中需要針對性地加入判定機制。

3.4.5   電子秤

電子秤用于零件加工結束后的重量稱量，通過USB轉串口與邊緣控制器連接，在串口通信建立后，每次稱重數值穩定后，電子秤會將稱重數據經串口發送給邊緣控制器。創建串口的語句為serial = newQSerialPort；  接著是需要打開的串口名稱serial->setPortName("ttyUSB0")，隨后打開串口serial->open(QIODevice::ReadWrite)，并加以適當的延時Delay_MSec(500)以保證數據的完整接收，最后存儲通信數據buf = serial->readAll()。

3.4.6   LED燈帶

LED燈帶用于提示操作人員需要拿取的加工零件 所 放 置 的 位置，   本 系 統 所 使 用 的 LE D燈 帶型 號 為WS2812b[4] ，該型號燈帶通過特定的方波信號來驅動LED燈珠亮滅，在邊緣控制器上集成了特定的PWM信號輸出I/O口，專門用于驅動LED燈帶。

3.4.7   擰緊器

擰緊器用于加工零件的連接與緊固，本系統所使用的擰緊器為Desoutter馬頭高級擰緊系統，該擰緊器也通過串口與邊緣控制器進行通信，與電子秤不同的是，  擰緊器通過邊緣控制器的RS232芯片實現串口通信 [5] 。每次通信，擰緊器會將扭矩信息與角度信息通過串口發送，同時擰緊系統還預設了扭矩與角度信息，用于判斷擰緊結果是否正確并向邊緣控制器發送結果信息。

3.4.8   三色燈

三色燈的功能與蜂鳴器類似，也有提示操作錯誤信息的功能，不同的是，當操作步驟正確時，其同樣會進行綠燈提示，當系統出現其它故障問題時，三色燈會進行紅燈報警。三色燈通過輸出I/O進行控制，邊緣控制器會根據具體信息來置高對應顏色報警燈的I/O口。

3.4.9   投影儀

投影儀用于在工作臺上實時顯示當前步驟的加工信息指導、操作結果及員工信息，  通過HDMI與邊緣控制器連接，   由邊緣控制器通過MQTT網絡協議接收需要顯示的文字及圖片信息實現，這里的關鍵在于圖片的傳輸，邊緣控制器接收的圖片信息為from64類型數據，  需要通過QByteArray::fromBase64(message.payload())將數據類型轉換并存儲顯示。

3.4.10   RFID讀卡器

RFID讀卡器用于操作人員登錄智能人工作業系統，本系統使用的讀卡器型號為D-Think501。操作人員開機后刷卡，RFID讀卡器將讀取員工姓名及工號，并獲得登錄時間。RFID讀卡器通過USB轉串口與邊緣控制器連接。D-Think501使用專用的通信協議讀取卡片，本系統使用的協議為ISO14443A[6]。與按鈕單線程監控類似，RFID讀卡器同樣使用單獨的線程持續對讀卡行為進行監控。

3.4.11   游標卡尺

游標卡尺用于零件加工過程中及加工結束后的尺寸 測量，使用USB線與邊緣控制器連接，  每次測量完畢后按下數據發送鍵發送至邊緣控制器。游標卡尺也使用鍵盤輸入的工作方式，因此控制程序中也對其設置了按鍵事件觸發函數用于讀取游標卡尺的讀數。

3.4.12   深度攝像機

深度攝像機用于識別手部位置，除了LED燈帶的提示，深度攝像機也用于監控操作人員拿取零件是否正確，當拿取錯誤時，錯誤信息反饋至邊緣控制器，邊緣控制器驅動蜂鳴器和三色燈對操作人員進行報警提示。深度相機與GPU模塊共同完成手部識別，本系統的GPU模塊為Nvidia TX2，反饋結果信息則通過MQTT網絡協議傳輸至邊緣控制器[7]。

3.5   系統的云邊協同技術實現

3.5.1   云邊協同技術

智能人工作業系統作為航空制造等工業生產活動中的通用生產設備，可以用于大規模產品制造，但系統數量逐漸增加，所產生的系統和工作數據也將急劇增加。隨著互聯網技術的發展，云計算從最初的新興概念成為成熟的應用。在現代工業生產中，云計算的應用也非常廣泛。然而，生產規模的擴大導致云計算所要面對的數據規模成倍增加，如今的云計算面臨著新興計算場景、小數據實時處理等方面的挑戰，云計算的發展出現了一些瓶頸，需要新技術來突破。這便涉及到了一個新的概念——云邊協同，將云計算的能力下沉到邊緣側、設備側，并通過中心進行統一交付、運維、管控，將是重要的發展趨勢。在本文中，邊緣控制器承擔邊緣計算工作，與用戶交互并控制外設執行相關操作；整合系統數據向云平臺上傳，而實驗室云平臺僅承擔數據存儲、調用與管控工作。這樣一來，系統的數據計算與處理工作在邊緣節點進行，更加貼近用戶，減少了中間數據傳輸的過程，數據的處理延遲大幅度降低，保證了用戶指令的實時處理；此外，由于數據處理不需要上傳到實驗室云平臺，邊緣計算不需要使用太多的網絡帶寬，隨著網絡帶寬的負荷降低，智能設備的能源消耗在網絡的邊緣也將大幅度減少。

3.5.2   數據交互實現

無論是邊緣計算，還是云平臺數據存儲，云邊協同技術都離不開數據交互。在本文中，智能人工作業系統的數據交互過程是通過MQTT網絡協議來實現的。MQTT協議是一種基于發布/訂閱（Publish/Subscribe）模式的輕量級通訊協議，該協議構建于TCP/IP協議上，由IBM在1999年發布。MQTT最大的優點在于可以以極少的代碼和有限的帶寬，為遠程設備提供實時可靠的消息服務。作為一種低開銷、低帶寬占用的即時通訊協議，MQTT在物聯網、小型設備、移動應用等方面都有著廣泛的應用[8]。

本文中，云平臺所存儲的數據包括操作信息及加工信息兩部分，具體的信息內容及主題如表2所示。

表2 邊緣控制器上傳信息及主題

圖6和圖7分別為云平臺數據庫所存儲的部分系統操作信息與加工信息，可以看到，智能人工作業系統的全部系統數據被完整地記錄在云平臺，便于隨時隨地訪問獲取。

圖6 操作信息

圖7 加工信息

4  應用驗證

本節將智能人工作業系統加工某一專用航空機載設備零件的操作過程進行部分實物圖片展示，其中加工零件的操作流程依據3.3節的系統工作流程圖。

圖8是智能人工作業系統的登錄界面，這里演示的是刷卡登錄，系統同時支持賬號密碼登錄；圖9為某一專用零件加工過程中第1步拿取零件的指導界面，由于篇幅限制這里只展示一個操作步驟，可以看到，指導界面有產品步驟進度、具體操作信息以及步驟圖片指導等信息。

圖8 智能人工工作站登錄界面

圖9 智能人工作業系統零件加工指導界面

5  結論

本文利用以Cortex-A53為內核的自研邊緣控制器，結合多種輔助外設，在MQTT網絡協議下實現了具有云邊協同工作能力的智能人工作業系統，該系統具備多種航空機載設備零件的專用化、定制化加工功能。通過邊緣設備的有效控制，各輔助外設的信息反饋全面準確，指令響應及時，符合工業生產對生產效率的要求；此外，通過云邊協同，數據處理工作由邊緣控制器完成，實驗室云平臺僅承擔系統數據的存儲、調用與管控工作，由此將帶來更低的能耗與帶寬，工業生產的成本將會進一步下降。

作者簡介：

劉平凡  （1995-），男，河北唐山人，工程師，碩士，現就職于中國航空制造技術研究院，從事嵌入式、邊緣計算、工業網絡與自動化等研究工作。

鄒   方  （1965-），男，湖南婁底人，研究員，碩士，現就職于中國航空制造技術研究院，從事智能制造基礎技術、系統控制與集成技術、邊緣計算、工業網絡與自動化等研究工作。

何昭巖  （1991-），男，吉林人，工程師，碩士，現就職于中國航空制造技術研究院，從事嵌入式、邊緣計算、工業網絡與自動化等研究工作。

劉諾石  （1997-），男，湖北荊門人，工程師，碩士，現就職于中國航空制造技術研究院，從事嵌入式、邊緣計算、工業網絡與自動化等研究工作。

參考文獻：

[1] 互聯網快聞. "人口紅利" 下的隱憂: 中國制造業何去何從[EB/OL]. 

[2] 劉諾石, 鄒方, 何昭巖, 等. 一種智能防錯的輔助人工作業系統開發與應用[J]. 航空制造技術, 2021, 64 (5) : 89 - 97.

[3] 魏中雨, 黃海松, 姚立國. 基于機器視覺和深度神經網絡的零件裝配檢測[J]. 組合機床與自動化加工技術, 2020, (3) : 74 - 77, 82. [4] WS2812B規格書[Z]. 2016.

[5] 崔道闊. 自動擰緊技術在發動機裝配方面的應用[J]. 內燃機與配件, 2018, (17) : 59 - 61.

[6] Wowocpp. 智能卡ISO14443協議解讀[EB/OL]. 

[7] 穆欣偉, 孫晉豪, 鄒方. 人機協作視覺手部保護系統設計[J]. 工業控制計算機, 2020, 33 (2) : 83 - 86.

[8] 安現峰. MQTT協議詳解[EB/OL].

摘自《自動化博覽》2022年2月刊