国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

★中國航空制造技術研究院邰月檸，霍志宇，閆利強

關鍵詞：人工裝配；混合現實；空間定位；虛實融合

1　研究背景

飛機、發動機等航空產品的人工裝配環節，由于裝配零件數量多、種類復雜，且作業周期長、參與裝配人員眾多，極易發生錯裝、漏裝問題^[1]。同時，裝配場景的復雜性給裝配質量檢驗工作帶來了挑戰。通過數字化技術的應用，充分利用產品數字化定義和數據組織，可成為質量監管人員管控裝配質量的重要手段^[2]。然而，利用當前航空制造中運用的數字化設計制造工具進行裝配質量管理所面臨的挑戰日益凸顯：

（1）在航空產品裝配結果檢驗過程中，產品設計、制造信息通常通過包含文字描述和圖表的文檔在產品、工藝設計人員與裝配、質檢員之間進行傳遞，其形式是半面的、靜態的，嚴重依賴現場人員的技能經驗水平和對文檔的理解^[3]。

（2）航空產品的復雜性，造成裝配結果檢驗周期長、質檢員工作疲勞程度大，極易引起漏檢錯檢問題，且此類問題難以追溯，難以形成可靠的檢驗過程記錄。

（3）制造現場的質檢員所使用的傳統規格的平板電腦、智能手機等終端設備往往只作為平面圖紙和工藝檢驗規程文檔的簡單替換，難以體現航空產品設計制造數字化、信息化的優勢。

混合現實（Mixed Reality，MR）是虛擬現實技術的一個重要分支。與傳統虛擬現實（Virtual Reality，VR）所要達到的完全沉浸的效果不同，MR技術是要借助顯示技術、交互技術、多種傳感技術和計算機圖形與多媒體技術將虛擬環境與用戶周圍的現實環境混合為一體^[4]。將MR應用到飛機裝配結果檢驗任務，使質檢員在混合現實環境看到虛擬物體和真實環境的混合場景，可增強用戶對業務場景的感知能力^[5]，有助于使質檢員將實際裝配結果與產品數模進行直接比對，從而提升檢驗信息傳遞準確程度并減輕質檢員工作強度。此外，通過混合現實設備可錄制檢驗過程以便于追溯檢驗結果，確定故障原因。

MR設備平臺和算法軟件技術在國內外均處于快速發展和頻繁迭代的階段，并在航空制造等行業中得到廣泛應用^[6]。在混合現實產品的研發方面，國外的波音、空中客車、洛克希德·馬丁等航空企業與微軟、達索系統等企業緊密協作開發了包括BARK、MOON、DiotaAR等混合現實軟硬件產品和解決方案，在輔助裝配、遠程專家支持、虛擬訓練、虛擬方案驗證等任務中發揮了重要的作用^[3]。國內混合現實企業圍繞行業中的痛點問題，如安防、巡檢、遠程專家協助、虛擬培訓等任務研發了多款針對性的產品，并取得了良好的效果，促進了傳統工業行業向智能化轉型^[7]。

2　相機在空間中的定位技術

2.1　相機位姿估計

相機位姿估算就是建立圖像像素坐標系與三維空間坐標系之間的映射關系。根據已知其世界坐標系下點的像素位置，計算相機在三維空間坐標系下的位置和姿態。相機位姿估計可通過N點透視位姿求解（Perspective-npoints，PnP）算法實現^[8]。該方法如圖1所示，根據觀測到圖像上n個已知位置的特征點的像素位置，通過直接線性變換（Direct Linear Transformation，DLT）或非線性優化（Non-linear Optimization，NLO）的方法求解出估計相機位姿。其中，根據非線性優化的方法可減少三維空間坐標系不夠準確的特征點對結果的影響，使位姿估計結果準確、可靠。

圖1  相機位姿[R,t]估計示意圖

2.2　平面標志物識別與虛實注冊

平面標志物的檢測、識別與跟蹤是通過在平面區域上制作特殊圖案化標志，從應用場景中獲取的圖像中識別并定位跟蹤該標志進行虛實空間的注冊，從而實現虛實融合的效果。虛實注冊（Registration）或者是配準是將虛擬對象與真實對象之間坐標系對齊的過程^[9]。虛實注冊最主要的任務是通過觀察當前場景獲得相機相對于已知標識的位置和姿態，使得虛擬場景正確的與真實場景進行疊加。基于標識的跟蹤注冊過程為：系統通過真實場景的視頻進行分析，對該圖像進行提取、檢測與識別，以此來確定標識的ID；識別出標識以后，可以計算出相機相對于該標識的6自由度（6DoF）位置和姿態；然后根據外部參數矩陣設置虛擬相機位置渲染3D虛擬模型圖像實現虛實疊加顯示效果輸出到顯示設備中。基于標志物的跟蹤注冊方法計算復雜度較低，具有較好的實時性和準確性，技術也較為成熟^[10]。

2.3  基于視覺SLAM的相機位置跟蹤

相機位置跟蹤可以通過視覺SLAM（Simultaneous Localization and Mapping）實現。SLAM技術通過計算機視覺方法同時實現特征點云地圖構建和相機6DoF位姿計算^[11]。SLAM過程中，相機通過特征點檢測、跟蹤、三角定位的方法建立特征點云，并通過濾波或非線性優化的方法匹配特征點云并計算相機的位置，從而在三維空間內定位AR設備。

3  系統設計

3.1　整體設計

MR裝配結果檢驗輔助系統以智能平板電腦為平臺，通過疊加顯示各類虛擬信息引導質檢員完成對裝配結果的檢查。質檢員開始質檢后，AR設備將自動開啟全程錄像。通過AR眼鏡，質檢員可以在檢驗現場查看到流程中每一步驟的檢驗內容、操作指導等數字信息，還可通過語音進行程序控制、質檢項目選擇、檢測結果輸入等。在完成整個場景后，將檢驗信息上傳到質檢后臺，后臺支持相關數據的查詢、展示及報告的生成，從而使得裝配結果檢驗過程實現了工單無紙化、信息標準化、檢驗電子化、管理可追溯等目標，助力了航空產品生產單位在裝配結果檢驗環節效率提升。

3.2　功能模塊

MR裝配結果檢驗輔助系統具備MR空間注冊及自定位、虛實疊加顯示、檢測流程控制、檢驗提示信息加載及顯示、裝配問題標注、裝配結果檢驗報告自動生成6項主要功能。這6項功能通過系統的6個主要功能模塊實現，每個模塊的功能描述和實現途徑如圖2所示。

圖2  MR裝配結果檢驗輔助系統6項主要功能模塊示意圖

（1）MR空間注冊及自定位模塊。MR空間注冊通過二維碼平面標志物實現。二維碼平面標志物具有易識別、易跟蹤、定位精確的優點。通過在場景中的固定位置設置平板標志物，可準確獲得MR設備自定位過程中相對于檢驗場景的初始位置，從而實現MR設備自定位結果與裝配場景坐標系間的配準，從而實現空間注冊。空間注冊完成后，MR設備通過視覺SLAM算法實現檢驗場景坐標系下連續的自定位。

（2）MR虛實疊加顯示模塊。MR虛實疊加顯示模塊通過視頻流顯示和3D渲染虛擬相機共同實現。其中，在MR設備屏幕區域播放MR設備視頻相機所獲得的視頻流，同時設置與MR設備屏幕區域，即視頻流播放區域等大的3D渲染窗口，并以MR設備視頻相機內參為依據設置用于渲染3D場景的3D渲染虛擬相機的投影矩陣，投影矩陣用于計算三維空間中一點在相機圖像所渲染的位置^[12]。假設相機內參如圖3（a）所示，m、cx、cy分別為相機焦距和相機光心坐標，w、h分別為圖像橫向、縱向分辨率，則3D渲染虛擬相機的投影矩陣為A可由以下公式求得。其中，l、r、t、b、n、f為圖3（b）所示的投影矩陣參數，該參數定義了3D渲染區域的形狀和大小。當視頻流顯示窗口與3D渲染虛擬相機如圖3（c）所示重合并同步播放視頻流和渲染3D場景時即可實現MR虛實疊加顯示效果。

圖3  虛實疊加中相機參數模型與投影模型示意圖

（3）裝配結果檢驗流程控制模塊。裝配結果檢驗流程控制模塊讀取預先編制的檢驗流程描述文件獲得每個裝配零件的檢驗次序。檢驗順序依照人工裝配環節每個零部件的裝配順序，引導質檢員對每個零件的裝配結果依次完成檢驗。

（4）裝配結果檢驗提示信息加載和顯示模塊。裝配結果檢驗提示信息加載和顯示模塊用于在每個零部件裝配結果的檢驗中載入外部文件構建虛實融合的檢驗場景。每個零件檢驗所需的信息包括固定于裝配位置顯示的3D模型和固定于MR設備屏幕像素位置顯示的零件名稱、編號、圖樣，以及檢驗所需的注意事項信息。

（5）裝配問題標注模塊。裝配問題標注模塊采用射線碰撞檢驗技術實現三維空間中的標注功能。當質檢員發現當前待測零件存在安裝問題時，可將MR設備對準零件位置點擊標注，隨后在彈出的窗口中輸入裝配問題描述信息。同時，系統自動拍攝問題位置的圖片并進行標注。檢驗者最后可選擇保存信息從而將存在裝配問題零件、所在位置、場景圖像、質檢員、檢驗時間、問題描述等存儲為數據文件。這樣不僅可以保存問題信息，還可通過MR功能使其他質檢人員可以通過載入數據文件快速定位裝配問題所在位置并回溯所發生的裝配。

（6）裝配結果檢驗報告自動生成模塊。裝配結果檢驗報告自動生成模塊可加載裝配問題數據文件，并通過模板生成包含整個檢驗任務中所有零件檢驗結果的報告文本，并對于每個檢驗到的裝配問題進行描述。

3.3　系統界面設計

圖4為系統界面設計。系統通過各類顯示控件實現以三維模型、圖片、文本為載體的檢驗信息提示，并通過按鍵、文本輸入框等交互控件實現質檢員對檢驗環節、檢驗內容的控制。

圖4  MR裝配結果檢驗輔助系統界面設計示意圖

4  案例驗證

如圖5（a）所示構建MR裝配結果檢驗輔助系統的簡易驗證場景。該場景包括1塊底板和10個零件，每個零件均指定固定的裝配位置。檢驗系統依次提示檢測人員每個零件的裝配位置從而引導質檢員完成檢驗任務。圖5（b）顯示了系統運行時虛實疊加顯示檢驗提示信息的效果。

（a）MR裝配結果檢驗輔助系統的簡易驗證場景：零件實景（左）、零件場景三維數模（右）

（b）MR裝配結果檢驗輔助系統運行效果示意圖

圖5  案例驗證場景及MR裝配結果檢驗輔助系統運行效果

5  結論

隨著新時期航空制造業發展的需要，大批軍民用飛行器不斷研制、生產。由于航空產品具有科技含量高、結構復雜、性能先進的特點，因此對各類型號研制、裝備生產和使用中的質量檢驗工作，特別是裝配環節的質量檢驗提出了更高的要求。目前我國航空產品生產中的質量檢驗環節主要采用人工檢驗的模式進行，對質檢員經驗和責任心要求高。同時，檢驗專家缺乏導致任務負擔重，檢驗的效率和可信度都受到影響。在裝配結果檢查中運用MR技術，可有效提升質量檢驗環節的數字化、信息化水平，進而提升檢驗效率和檢驗結果的置信度，從而有效降低質量檢驗的成本，實現航空產品生產提質增效。

作者簡介：

邰月檸（1996-），女，貴州貴陽人，助理工程師，碩士，現就職于中國制造技術研究院，主要從事數字化制造技術方面的研究。

霍志宇（1988-），男，河北磁縣人，高級工程師，博士，現就職于中國制造技術研究院，主要從事數字化制造技術方面的研究。

閆利強（1994-），男，山西呂梁人，工程師，碩士，現就職于中國制造技術研究院，主要從事數字化制造技術方面的研究。

參考文獻：

[1] 邵緒威. 數字化制造技術在航空航天領域應用及發展趨勢研究[J]. 中文科技期刊數據庫 (全文版) 工程技術, 2024 (1) : 43 - 46.

[2] 胡桂新, 彭鵬. 我國民用航空工業數字化發展的思考與建議[J]. 機電產品開發與創新, 2024, 37 (1) : 171 - 173.

[3] Maryam Safi, Joon Chung, Pratik Pradhan. Review of augmented reality in aerospace industry. Aircraft Engineering and Aerospace Technology, 2019, 10 (7) : 1187 - 1194.

[4] 楊慧麗, 官炳政, 李金成, 等. 基于混合現實技術的智能裝備向導應用[J]. 橡塑技術與裝備, 2024, 50 (3) : 67 - 69.

[5] 中國增強現實行業分析[J]. 中國科技信息, 2023 (5) : 2 - 7.

[6] 汪嘉杰, 王磊, 范秀敏, 等. 基于視覺的航天電連接器的智能識別與裝配引導[J]. 計算機集成制造系統, 2017, 23 (11) : 2423 - 2430.

[7] 霍志宇. 高精度增強現實輔助裝配空間定位技術研究與應用[J]. 航空制造技術, 2022, 65 (18) : 105 - 110.

[8] Lepetit V, Moreno-Noguer F, Fua P. Epnp: An accurate o (n) solution to the pnp problem[J]. International journal of computer vision, 2009, 81 (2) : 155 - 166.

[9] Garrido-Jurado S, Mu?oz-Salinas R, Madrid-Cuevas F J, et al. Automatic generation and detection of highly reliable fiducial markers under occlusion[J]. Pattern Recognition, 2014, 47 (6) : 2280 - 2292.

[10] 面向移動增強現實的場景識別與跟蹤注冊技術研究[D]. 北京: 北京理工大學, 2014.  

[11] Aulinas J, Petillot Y, Salvi J, et al. The SLAM problem: a survey[C] // Proceedings of the 2008 Research and Development: Proceedings of the 11th International Conference of the Catalan Association for Artificial Intelligence. conference on Artificial Intelligence 2008: 363-371.

[12] 劉浩君. 旋轉物體三維影像投射的研究[J]. 電子技術與軟件工程, 2015 (11) : 105 - 106.

摘自《自動化博覽》2024年9月刊