本文摘要：摘要：為了提高虛擬維修訓練時零件的定位精度，豐富人機交互功能，反映貼近實際的操作過程，提高操作者的訓練質量，基于虛擬現實輔助技術，研究了裝配約束感知與建立算法，可實現根據當前的裝配狀態實時建立正確的裝配約束。基于直觀性交互建立了導師助教多
摘要：為了提高虛擬維修訓練時零件的定位精度，豐富人機交互功能，反映貼近實際的操作過程，提高操作者的訓練質量，基于虛擬現實輔助技術，研究了裝配約束感知與建立算法，可實現根據當前的裝配狀態實時建立正確的裝配約束。基于直觀性交互建立了“導師&助教”多模式指導方法。在Unity3D環境中開發了虛擬手、虛擬工具的無標記交互操作方式，并通過HMD(head-mounteddisplay，頭盔顯示器)實現虛擬環境的立體可視化。開發了虛擬維修訓練系統，并以某型號洗衣機為對象進行了測試。結果表明，該系統不僅可使零件的裝配關系定位更加精確，模擬出更真實的拆裝過程，還可以通過直觀性交互幫助操作者更好地完成任務，消除了實裝訓練的不足，大大提升了維修訓練的效費比。
關鍵詞：虛擬現實輔助;虛擬訓練;狀態感知;人機交互
裝備維修訓練是裝備全壽命管理的重要環節[1]。機械裝備一般結構復雜，裝配流程長，維修方式多，而實體樣機通常體積和質量較大，故實裝維修訓練操作困難、成本高，對裝備的損傷大，存在較大的安全隱患[2]。虛擬現實具有沉浸感強、直觀性好、交互便利的特點[3]。利用虛擬現實技術輔助維修訓練，可在虛擬環境中復現維修訓練情況，具有高沉浸感，不受時間和空間的限制，可大大提高維修訓練的效費比和承訓量。維修是使裝備保持或恢復到規定狀態的一系列活動。典型的維修活動包括7個步驟：準備、診斷(故障檢測及隔離)、更換(拆卸及安裝)、調整及校準、保養、檢驗和原件復原[4]。
虛擬現實技術論文投稿刊物：基于虛擬現實技術的模具教學系統研究與開發
由于拆卸及重新安裝的時間在整個維修事件所需時間中所占的比重最大，而其他維修活動難以在虛擬環境中實現，所以目前的虛擬維修主要研究零件的拆卸及安裝過程[5]。現有的虛擬維修訓練系統主要通過動畫的形式進行拆裝過程演示，未考慮到零件之間的連接和定位關系，無法確定零件裝配的正確位置。如：楊俊超等[6]設計的航空裝備虛擬維修訓練系統雖然具備航空裝備維修流程和零件拆卸與裝配、故障分析與排除等功能，但零件的拆裝是通過動畫的自動播放來演示的;楊兆坤等[7]基于“美騰通用平臺”，提出了一種沉浸式虛擬維修訓練 系統的開發方法，雖然在Unity3D軟件中建立了基本維修科目，形成了訓練流程，但零件裝配過程是通過操作者點擊按鈕播放動畫來展現的。
這些系統都未建立限制零件運動的零件之間的約束關系，無法展現實際的拆裝過程。在裝備維修訓練中，零件數量繁多、型號規格類似、空間布局緊湊且其特征復雜[8]。在實際的維修訓練中，教員會對學員的維修操作進行指導，學員也可以通過維修手冊學習維修知識。所以，在虛擬維修訓練中，須開發指導機制，引導操作者進行裝備的維修訓練[9]。目前，虛擬維修訓練系統的指導方式較少，主要通過圖文說明的方式對操作者進行指導性說明。
張玉軍等[10]在Unity3D環境中設計開發了沉浸式虛擬維修訓練系統，該系統具有基礎理論、特情處理等模塊，可指導操作者進行維修訓練，但圖文指導只能通過按鈕點擊獲取，并不能以手勢、視線等直觀性的交互方式來引導操作者自主獲取知識，不能使其在思考中完成任務。基于穿戴式數據服設計的虛擬維修訓練系統[11]，是通過有標記式的交互方式獲取拆裝指導信息，增加了人機交互的額外媒介，可減弱虛擬維修訓練的沉浸感。對操作逼真自然的模擬可以有效提高虛擬維修訓練質量[12]。
在實際的維修訓練中，操作者多用手拾取零件，或用手抓握工具進行零件的拆裝。故在虛擬維修訓練系統中，模擬操作者使用單雙手與零件或工具的自然交互操作十分重要[13]。但目前的操作仿真還不能體現人機的自然交互，如僅使用手柄的人機交互，不能通過虛擬手直接拾取零件，降低了操作真實感。
孔祥杰等[14]通過試驗得出，動作捕捉手套在螺釘安裝等定位敏感型操作中效率較低，必須雙手協同操作才能提高處理復雜任務的效率。郭慶等[15]通過動作捕捉設備采集真實人體的運動數據，將虛擬人作為操作者嵌入虛擬環境中，但是沒有對虛擬手操作進行針對性的開發，故不能完成單雙手拆裝的復雜動作。張玉軍等[10]雖然將虛擬手引入虛擬維修訓練系統，但僅實現了以簡單手勢與機器系統交互，并未進行手勢識別、虛擬手拾取功能等的研究，故系統的沉浸感和交互性不強。2014年以來，虛擬現實(virtualreality，VR)輔助技術已成為繼計算機輔助技術(computeraidedtech‐nology，CAD)后新一代仿真輔助技術[16]。
傳統的CAD[17]只是通過設置指令使零件達到最終的安裝完成狀態，或移除須刪除約束的元件的約束，不能體現零件拆裝過程;其可視化和交互方法是基于缺乏直觀性的二維顯示和鼠標/鍵盤系統，無法獲得導致裝配錯誤的裝配狀態，例如穿透和不合理的裝配關系，這些都限制了操作者在維修訓練過程中的主動思考。而虛擬現實輔助技術是使用者通過手勢、語音等方式與虛擬環境進行交互[18]，人機交互更加自然和諧。空間定位技術則實現了RoomScale(空間范圍)級別的VR定位，具有定位精度高、反應速度快和分布式處理等優勢[19]。
VR定位系統集成了激光傳感器、光敏傳感器，具有高精度系統時間分辨率[20]，基于PnP解算原理進行運動物體的姿態估計，可實現運動物體位置的精確求解;具有高刷新率的虛擬顯示可實現虛擬物體的立體可視化輸出，且圖像自然清晰、穩定性好，可表現出零件幾何外形特征等關鍵信息。通過虛擬現實軟硬件開發的交互方式可提升交互功能，幫助操作者將所學知識應用于拆裝嘗試中，啟發其更好地完成訓練任務。
1裝配約束實時感知與建立技術
為了降低定位不精準給零件虛擬維修帶來的影響，研究以裝配約束關系限制零件自由度的方法。在建立零件多數據信息模型的基礎上，借助虛擬現實設備及時更新零件位姿數據，建立零件狀態實時感知的裝配約束算法，實時感知虛擬環境中的零件狀態，分析求解零件之間的位置關系，建立其正確的裝配約束，以提升虛擬維修訓練的效果。在虛擬維修訓練的拆裝過程中，為使零件安裝在正確的位置，逼真地體現出裝配過程，須研究零件的整個裝配過程。其中裝配關系是裝配過程中連接各零件之間的紐帶，裝配時要進行與裝配關系對應的裝配操作[21]。
2多模式交互指導方法
操作者佩戴虛擬現實頭盔顯示器(head-mount‐eddisplay，HMD)進行虛擬維修訓練，其視覺觀察范圍僅為HMD所顯示的三維虛擬場景，無法使用現實環境中的維修手冊等進行參考，也無法觀察到實際指導人員的指導動作。操作者剛進入虛擬環境時，可能因不熟悉場景中的設備、零件而出現操作失誤。故須借助虛擬現實軟件設計虛擬環境中的指導架構，開發基于“導師&助教”機制的多模式指導方法，使操作者在接受指導時無需借助額外的媒介，而可以通過手勢、視線自主與“導師”“助教”交互。這種方式增強了虛擬環境中指導的直觀性，幫助操作者在多種引導下快速熟悉虛擬維修訓練場景，掌握裝備維修技能。
2.1基于手勢識別的多模塊電子手冊的“導師”指導
為了使操作者在HMD顯示的三維虛擬環境中直接進行由導師指導的訓練，基于層級劃分與管理技術，在虛擬環境中對電子手冊進行多模塊開發，將其作為虛擬維修訓練的指導。這種導師指導式訓練，基于認知心理學，以影像資料、演示動畫和圖文說明等在虛擬電子屏上向使用者展示相關信息，可幫助操作者逐步掌握設備的組織結構、拆裝步驟、工具儀表使用方法、日常維護保養、典型故障排除和特殊情況處置等，以提高操作者的記憶與認知能力，使操作者在虛擬環境中的維修訓練更高效。
為了使操作者可以通過直觀性交互控制電子手冊，基于虛擬手手勢識別開發了交互式操作面板。當手掌面朝向操作者時，可以在虛擬環境中調出該面板，用虛擬手對面板上的按鈕進行操作來控制電子手冊屏幕。當操作者需要受電子手冊指導時，翻轉左手至手掌面向自己，便可調出電子手冊控制按鈕。按鈕主要分為四大部分：左右兩個按鈕分別為前進和后退按鈕;上方按鈕為場景重置按鈕，當裝配過程中出現問題時，可按下此按鈕返回最初的裝配狀態;下方按鈕的功能，可自行開發。
3虛擬維修訓練系統的設計與測試
3.1虛擬維修訓練的操作仿真
操作者在真實環境中進行裝備維修訓練，是通過單雙手或使用工具操作零件。為了將真實的維修訓練過程在虛擬環境中得到高沉浸感仿真，以虛擬現實多傳感器采集的人手位姿數據為基礎，將真實的人體運動與虛擬環境中的運動一一映射，開發虛擬手和虛擬工具，實現多種直觀性、無標記的交互操作，使操作者能以與真實環境中相同的操作方式處理裝備維修訓練中的問題。
1)虛擬手無標記交互操作。分析裝備維修中人手拾取零件的功能需求，建立適應虛擬維修訓練的手勢分類，以多LeapMotion(體感控制器)采集并提取的手掌和手指數據為基礎，經多LeapMotion數據融合算法處理后，建立手型模型，采用計算2個凸體之間最短距離的相交測試方法，以及虛擬手與工具或零件的多點碰撞檢測方法[26]，在Unity3D環境中建立虛擬手模型。在整個裝配過程中，人的手部運動可以被系統識別，使其可以逼真地拾取零件，完成復雜的拆裝動作。基于接觸碰撞的虛擬手交互操作原理如圖10所示。2)虛擬工具無標記交互操作。在實際裝備維修中，操作者常使用工具輔助維修，如螺栓、螺釘等的拆裝須使用扳手。所以，在虛擬環境中，基于手持控制器開發了多種虛擬工具的無標記輔助維修方式。
Vive操控手柄具有多種輸入方式，如多功能觸摸面板、抓握鍵、雙階段扳機、系統鍵和菜單鍵等，在Unity3D平臺中對其控制按鈕進行開發，基于按鈕等定義的動作來完成多種手勢難以完成的交互操作，如按住抓握鍵可以拾取虛擬手難以拾取的精細零件。在Unity3D環境中建立多種工具模型，如不同規格的扳手，將虛擬環境中的手持控制器替代成不同的工具，操作者可以根據零件的特征，選取相應的工具拾取零件。
4結語
虛擬維修訓練系統須滿足零件拆裝的定位精度需求、維修訓練過程中的指導功能需求以及人機交互的直觀性需求，反映貼近實際的操作過程，增強虛擬維修訓練的沉浸感。本文借助虛擬現實輔助技術的自然直觀人機交互、RoomScale(空間范圍)級別高精度定位、高穩定性虛擬環境圖像立體顯示等優勢，以零件多數據信息為基礎，結合零件之間的裝配關系及其對應的裝配操作，研究了裝配約束識別與建立算法。
通過該算法可以使系統實時感知當前的裝配狀態，自動在裝配位置提供正確的裝配約束，提高零件的定位精度，模擬出更真實的拆裝過程。建立了基于直觀性交互的“導師&助教”指導架構，開發了多模塊電子手冊和基于視線碰撞信息顯示的多模式指導方法，以Unity3D為開發平臺，實現了多手勢虛擬手、虛擬工具的無標記交互操作方式，并通過HMD將虛擬環境立體可視化，實現了虛擬維修訓練系統的設計和實現。
以某型號洗衣機模型為對象，進行了虛擬維修訓練系統的測試。測試結果表明，虛擬維修訓練系統可以滿足虛擬拆裝中對零件安裝定位精度和人機交互操作的需求，模擬出更逼真的拆裝過程，更加貼近于實際維修訓練。多種直觀性指導方式可以指導操作者更好地完成維修訓練任務，使其能在操作嘗試中不斷豐富維修知識，鍛煉維修技能。
參考文獻：
[1]徐文勝，武博，蔣堅鴻.武器裝備虛擬維修訓練系統行為樹設計與實[J].系統仿真學報，2018，30(7)：2722-2728.doi：10.16182/j.issn1004731x.joss.201807036XUWen-sheng，WUBo，JIANGJian-hong.Designandrealizationofbehaviortreeinweaponequipmentvirtualmaintenancetrainingsystem[J].JournalofSystemSimu‐lation，2018，30(7)：2722-2728.
[2]劉相，劉玉慶，朱秀慶，等.基于虛擬現實的航天員艙內導航訓練方法[J].計算機輔助設計與圖形學學報，2017，9(1)：101-107.doi：10.3969/j.issn.1003-9775.2017.01.012
作者：姚壽文1，胡子然1，柳博文2，丁佳1，常富祥1，栗麗輝1
轉載請注明來自發表學術論文網：http://www.zpfmc.com/dzlw/26099.html
