智慧工廠沉浸式互動遠距 協同工程環境開發

文◆工業技術研究院智慧機械科技中心資深業務經理梁碩芃

工業技術研究院智慧機械科技中心工程師林怡瑾

疫情衝擊與地緣政治格局改變促使製造業開始重新佈局生產基地與供應鏈體系，在供應鏈重組的過程中，如何快速排除異地產線製程、設備、產線的各種異常是一大挑戰。工業4.0的趨勢遇上5G、6G通訊、AI、碳排限制等議題後更加受到製造業重視，其中利用沉浸式互動進行異地產線技術投射成了全新的市場機會。本文將簡述工研院近年來把沉浸式互動技術帶入智慧工廠進行遠距協同工程應用情境的研發現況，並對於未來可能的營運模式提出建議。

沉浸式互動產業概況

疫情過後遠端會議接受度大增，供應鏈重組、製造基地遷移的需求使得製造業、設備業希望強化遠距協同工程技術，以節省技術服務體系的工時成本與差旅成本。新南向政策鼓勵台商在東南亞建立新廠或升級產線，為因應高階技術人力短缺、減少遠端技術投射的成本，進一步提升遠距協同工程技術需求。

虛擬實境、擴增實境、混合實境等技術很早就被嘗試應用在遠距協同工程，但是由於半導體、光學、通訊元件技術限制，相關軟硬體很昂貴且使用者體驗普遍不佳，近年來各方面軟硬體技術相對成熟，成本降低，加上雲端運算與AI，沉浸式互動在商用娛樂、電競產業已有相當的市場規模，但是要用在工業場景，仍有許多技術待開發，主要瓶頸在於如何將工業物聯網的數據與工程運算結果轉換成互動場景中的3D元件，以及如何與人產生互動。而所謂工程運算結果，在過去多年來的智慧製造、智慧機械研發過程中已有很多運算模組，但是並沒有投射到3D場景的應用技術。

智慧製造趨勢

自工業4.0的概念被提出 [1][2]，全球各國紛紛開始重視製造業的重要性，並積極推進智慧製造的發展。這個概念帶來了一場製造業的革命，將傳統的中央集中式生產模式轉向更加靈活、智慧、網絡化的製造方式。這一變革不僅影響了製造業本身，還深刻地改變了全球經濟格局。

其中一個關鍵的驅動力是人工智慧（AI）技術的快速發展。隨著AI技術的不斷進步，智慧製造的應用範圍也在不斷擴大。同時，雲端運算的商業模式成熟，使得智慧製造服務可以更容易地轉向雲端化[3][4]。這意味著製造企業可以更好地運用遠端資源和數據，實現更高效的生產和管理。

另一個關鍵技術是5G通信技術。5G的高速和低延遲性質使其成為工業物聯網的理想選擇，提升了數據儲存、分析和應用的效能。這也促進了數位雙生的概念，即實際設備和使用者與其在虛擬世界中的數字模型之間的深度連結。這種深度連結有助於更好地監測、優化和預測製造過程。

同時，淨零碳排的趨勢也正在推動智慧製造的發展。製造業不僅需要關注產品的效能和品質，還需要考慮能源效率和碳排放。這為智慧製造帶來了新的創新機會，要求生產管理同時考慮效能和能耗的優化。

節能減碳已成為企業的重要目標，特別是低碳化智慧製造。這要求製造業使用更清潔的能源，並優化生產過程以減少碳排放。同時，企業需要考慮產品的整個生命周期，包括製造、運輸、使用和處理的碳足跡。

另一個挑戰是人口老化。在許多地區，勞動人口占總人口比例自2015年起逐年下降，導致勞動力短缺。這就需要更多的自動化和智慧化應用來提高每個工人的生產力。此外，高階技術人力也變得更加稀缺，企業需要思考如何以最高效率地利用這些有限的資源。遠距協同工程技術成為未來企業的重要工具，可以讓企業在全球範圍內合作並共享核心技術能力。

最後，我們可以預見，自動化、遠距協同、虛擬實境、設備診斷、製程模擬等技術將繼續透過雲端服務平台廣泛部署和運營。根據預測[5]，到2026年，智慧製造市場將達到6,200億美元的規模。

總之，智慧製造代表著未來製造業的發展方向。這一趨勢不僅改變了生產方式和技術應用，還影響了環境、勞動力市場和全球經濟。因此，企業和政府應積極投資和合作，以實現智慧製造的潛力，並確保在這個快速變化的世界中保持競爭力。

從工程計算到互動環境

在當今世界，智慧製造已經成為製造業的一個關鍵趨勢。然而，將現有的工程分析軟體和數據分析圖表直接投射到沉浸式虛擬環境中卻面臨著一系列技術挑戰。本文將探討這些挑戰，並提出了一個解決方案，以實現即時互動的智慧製造環境。我們將以工具機和機械製造產業為例，探討目前的技術限制，並介紹一種適合的幾何資料格式，即通用場景描述格式（Universal Scene Description, USD），以實現動態、即時、多人編輯的虛擬場景。

 

隨著智慧製造的興起，製造業迫切需要將工程分析軟體和數據分析圖表投射到沉浸式虛擬環境中，以實現更高效的生產和協作。然而，目前存在一些問題：

• 技術投射問題：現有的工程分析軟體通常設計用於工程師坐在辦公室或實驗室中使用，無法直接在虛擬場景中進行互動。
• 檔案格式轉換困難：工程分析軟體輸出的檔案格式不常見於多媒體和電競開發工具，需要經過繁瑣的轉換過程。
• 靜態幾何資料：目前的幾何資料是靜態的，無法在虛擬環境中實現互動。
• 多人協同編輯需求：實現人與人、人與軟體以及人與 AI 在虛擬世界中的互動需要一種動態、即時、多人編輯的幾何資料格式。

為了解決這些問題，我們提出了使用通用場景描述格式（USD）的方法。USD是由皮克斯（Pixar）[6]制定的一種幾何資料格式，最初用於動畫製作，後來被nVidia採用為元宇宙開發平台 Omniverse[7] 的標準語言。USD允許在3D場景中動態描述、合成、模擬和協作，非常適合在工程分析和虛擬製造環境中使用。

USD的優勢在於：

• 多軟體支援：USD已經被多家軟體公司採用，包括 nVidia、Apple[8]、Adobe[9] 等，並且提供了各種3D建模軟體的轉換介面。
• 動態、即時、多人編輯：USD 支援多人協同編輯，使得虛擬場景可以在運行期間動態變更，包括數據圖表的開啟、幾何形狀的標註、網格的疊加，以及遠端設備的操作。
• 資料完整性：使用USD可以避免幾何資訊轉換過程中的資料完整性問題，如法向量錯誤、破碎面、折疊和幾何不連續。
• 節省開發成本：由於多家3D或工程繪圖軟體已經採用USD，這將大大節省遠距協同工程服務或者數位內容的開發成本。

以工具機和機械製造產業為例，可以看到USD 的應用潛力。目前，這些行業常使用結構有限元素分析、振動模態分析等工程分析軟體，這些軟體輸出的檔案格式不適合直接在虛擬環境中使用。然而，使用USD，可以輕鬆地將這些分析結果投射到虛擬環境中，實現即時互動和多人協同編輯。

此外，工程軟體通常輸出的是靜態幾何資料，這限制了虛擬場景的互動性。使用USD，可以實現動態虛擬場景，讓每個參與者都可以變更場景內容，從而實現更高效的協作和決策。

法人開發現況與未來規劃

多人多維度的互動相較於一對一互動具有跨領域知識整合的優勢，可以從更多的面向來分析當前產線所面臨的製程、設備異常問題，但是相對來說，更多維度的互動會增加遠端會議的複雜度，如果沒有建立適當的會議流程、場景定義與訊息交換機制，很容易讓會議發散而無法解決產線問題。

然而許多製程問題往往又是很多物理現象、生產流程、設備異常耦合在一起的，例如精密加工零件上面如果出現異常紋路，造成的原因可能是刀具磨耗、夾具異常、主軸熱伸長、切削液劣化、加工參數不良導致顫振、控制參數設定錯誤、維修保養後未確實校驗機台等等因素，因此很難由一位專家在一對一的遠端會議中找出原因並排除，如果能夠同時把製程工程師、設備工程師、電控專家、生管人員帶入同一個沉浸式遠距協同會議中，並且輔以各種設備物聯網、生產履歷、模擬數據等，便可同時檢視不同面向的數據資料來分析問題，並且由多位專家找出解決方案。

加工零件上面如果出現異常紋路，造成的原因可能是刀具磨耗、夾具異常、主軸熱伸長、切削液劣化、加工參數不良導致顫振、控制參數設定錯誤、維修保養後未確實校驗機台等等因素，因此很難由一位專家在一對一的遠端會議中找出原因並排除，如果能夠同時把製程工程師、設備工程師、電控專家、生管人員帶入同一個沉浸式遠距協同會議中，並且輔以各種設備物聯網、生產履歷、模擬數據等，便可同時檢視不同面向的數據資料來分析問題，並且由多位專家找出解決方案。

找出問題原因並制定解決方案，最終仍要由現場人員來執行排除任務，為了確保現場人員正確執行任務，此任務也必須明確定義其資料模型並且以沉浸式互動方式呈現，而遠端專家們可以透過數據同步機制觀測並審查操作正確性，進而留下操作履歷紀錄。異常排除任務可以分為兩大類：(1) 對應特定的故障代碼，可以在單一手冊中找到排除程序，此類任務可稱為標準作業程序(Standard Operating Procedure，SOP)(2)沒有特定故障代碼或無法從單一手冊中找到排除程序，需要整合不同文件中的資訊制定排除步驟，可稱為特定任務TASK。

工研院針對上述兩種任務型態開發任務編輯器，可由專家編寫任務中的每個步驟，而每個步驟包含說明文字以及對應的多媒體輔助資訊以及外部模擬分析數據看板，將任務定義檔匯入沉浸式互動環境後，現場作業人員與遠端專家都可以同步看到每個步驟的指示與完成情形，現場與遠端的畫面中所看到的物聯網數據也是同步的。任務定義檔與沉浸式互動場景技術架構如下圖：

以機器人換電池後調適應用情境為例，將任務流程撰寫成任務定義檔後匯入沉浸式互動場景，現場人員即可參照畫面中的說明步驟與圖片進行操作。場景中的3D模型中也可同步呈現指標，讓現場人員了解此操作步驟在機台中對應的位置，與此同時，遠端專家也可同步觀測現場操作步驟並參照相關數據圖表確認動作是否正確完成。

沉浸式互動遠距協同工程應用服務的發展將是智慧製造的一個關鍵推動力。透過克服傳統遠端會議系統的局限性，探索多人互動等更高維度的協作模式，我們能夠實現更高效的遠距協同工作，縮短海外產線的異常排除時間。這將推動製造業的數位轉型，帶來更多創新和效率。

遠距協同工程技術是未來製造業在面對跨域產線營運與節能減碳全球大趨勢下不可或缺的關鍵技術，工研院以發展相關技術並且在工具機、製造業、半導體設備等產業進行示範驗證，未來仍將持續在此技術主軸上開發適用於各種製造情境的沉浸式互動應用服務並在工研院智慧製造技術驗證場域驗證展示，期能對國內設備業、製造業面對淨零碳排及勞動力短缺時代的全球競爭有所幫助。