數位雙生沉浸式互動 應用於異地產線製程診斷

文◆工研院智慧機械科技中心 智慧製造技術組 工程師 林怡瑾、資深業務經理 梁碩芃、副工程師 蔡旻翰、副工程師 張有彤

前言

受美中貿易戰、匯率波動等多重外部因素影響，臺灣工具機產業正面臨前所未有的結構性壓力。過去依賴成本優勢與代工模式的經營策略，已難以支撐長期競爭力。產業亟需轉向以「提升產品附加價值」與「強化整合服務能力」為核心的轉型路徑，從單純設備供應角色，進化為「智慧製造整合解決方案」的提供者。工業4.0與淨零碳排已成為全球產業發展的主軸，製造業正全面加速邁向數位化與智慧化轉型。其中「遠距服務」將成為提升效能與價值鏈的關鍵途徑。若要有效解決遠端製程診斷的挑戰，將現有的遠端會議與沉浸式互動技術，結合物聯網與設備感測數據，並透過數位雙生模擬進行整合應用。本文概述沉浸式互動遠距協同產業現況、國內研發成果並提出未來策略。

沉浸式互動系統在製造業應用現況

沉浸式互動技術應用於技術服務與教育訓練，已成為全球製造產業的重要發展方向。國際大型展會中，多家廠商陸續展示虛擬實境（VR）、混合實境（MR）與數位雙生（Digital Twin）整合應用，顯示沉浸式互動已由概念驗證階段邁向實務導入。例如：西門子建構的虛擬教育訓練室；DMG MORI利用虛擬實境將數位雙生的模擬結果視覺化呈現，可降低整體生產成本，特別適用於教育訓練、製程規劃與模擬等應用情境；GROB-WERKE為工具機設備與系統服務方案為著名，將彈性製造系統3D模型建構於混合實境中，用於教導遠端的客戶及工程師設備故障排除；控制器大廠Fanuc也是全球工業機器人主要廠商之一，將其自動化產線布局軟體ROBOGUIDE加上虛擬實境後的FanucROBOGUIDE VR[1]，透過虛擬實境頭戴式裝置檢視虛擬產線中的設備布局、機械手臂運動軌跡與動作順序，預期未來將可與實際控制器或PLC連結，實現自動化產線的虛實整合模擬驗證(圖1)。KUKA推出的KUKA. Mixed Reality[2]，結合機器人模擬與擴增實境，用於機器人工作單元的佈局設計與動作規劃。使用者可先於虛擬環境中建置與優化機器人單元配置，並將規劃結果輸出擴增實境場景（圖2）。SuPAR透過平板即時檢視產品組裝的正確性，系統運用影像辨識與比對技術，自動標示異常或錯誤部位，協助操作人員及時採取修正措施（圖3）。GROB-WERKE虛擬實境技術為馬達換裝操作指引的數位內容。使用者可透過頭戴式裝置進入虛擬設備與產線環境，並以動畫形式觀看馬達換裝的完整操作流程。（圖4）

工研院智慧製造研發現況

國內研發單位持續推動虛實整合智慧製造產線數位內容生成技術的發展。建立多人沉浸式互動任務生成技術，支援跨領域專家在沉浸式環境中彙整與判讀數據找出肇因，自動生成異常排除流程供現場人員參照執行並由遠端專家即時監看與確認，提升製程異常分析與決策效率。以下說明技術開發現況。

數位雙生沉浸式互動應用於異地產線製程診斷

1.建立技術資料庫：

資料庫主要收集與應用情境相關的技術文件(機台操作手冊、保養維修手冊、控制器手冊等)進行資料切片(Data Slicing)，切片前需先進行文件格式校對、標註一致性、核心語句與語意結構；資料切片的品質決定後續RetrievalAugmented Generation, RAG向量資料庫以及大語言模型（Large LanguageModel, LLM）的輸出品質，必須要由領域專家深度參與，此步驟雖繁瑣，但對確保智慧製造系統在製程分析、遠端維運及教育訓練中能輸出高精準度結果至關重要。

2.建立RAG向量資料庫：

將技術資料與切片後的文字片段轉換為向量後輸入Embedding 模型（將原始數據轉換成為向量表示的技術，透過此方式可將文字、圖像或其他類型的資料轉化為可供機器理解與運算的數值，以便AI或機器學習演算法能夠處理這些數據），透過向量化，資料片段保留其語意、結構與特徵，使資料之間的關聯性可量化，便於檢索與匹配，以支援自動知識檢索、異常分析、製程決策及智能問答等應用。

3.專用LLM：

完成前面項目後，連接至大語言模型（Large Language Model,LLM），進行模型微調與任務生成，LLM的選擇不受限於特定廠牌或型號，使用者可依自身熟悉度進行部署，且未來可隨LLM技術進步替換不同模型並重新微調，以保持系統更新與最佳化，經微調的LLM可根據使用者以自然語言描述設備資訊，例如：設備編號、工件資、加工資料、刀具清單、紋路、刀痕問題等異常資訊自動生成結構化任務定義檔（JSON格式），任務定義檔包含低認知負荷的操作指令步驟與步驟相關參考資料，包括圖片、影音、網格點雲檔及外部連結，便於現場人員快速理解與執行。

4.專家審閱與驗證：

專用LLM輸出的任務定義檔需經由領域專家人工審閱，以確認操作步驟的正確性與完整性，若有錯誤或缺漏，可輸入修改提示詞提供LLM再次生成步驟，以持續強化RAG向量資料庫與LLM的知識精準度。

通過審閱的任務定義檔即可匯入沉浸式互動APP，用於執行製程診斷任務並驗證步驟正確性與完整性。

製程診斷數據點雲模型

隨著智慧製造的發展逐漸從單機自動化走向虛實整合，製造現場的協作型態也開始轉變。傳統製程異常排除，往往依賴經驗豐富的工程師到場判斷與修復，不僅耗時，亦受限於人力調度與地理距離。為此，建立製程診斷數據點雲模型，協助現場人員與遠端專家進行製程異常診斷與肇因分析，將製程感測數據、物聯網數據以網格點雲形式疊貼在虛擬場景中，其中模擬分析數據運算模組用於運算及儲存製程診斷數據點雲及網格，可將產線數據、模擬數據CSV檔案匯入並轉換成具有色階的網格、點雲，可嵌入在遠距協同任務檔裡面的多媒體資訊，實現即時可視化與分析，建立一個跨領域、跨場域的智慧協作環境。

結論

近年來，國際局勢的變動，使產業界產生巨大變動，製造業承受不小利潤壓力，加上國內產業界面臨老師傅凋零與技術人才斷層問題，導致製程規劃、設備調試與故障排除的效率低落，企業在追求附加價值與競爭力的道路上顯得步履沉重。然而，在此背景下，沉浸式互動技術（Immersive InteractionTechnology）正悄悄改變傳統技術培訓與診斷的模式，成為產線培訓、設備診斷與遠距協作的新利器。從近年國際大型展會的技術展示可見一斑：沉浸式遠距協同應用不僅能讓產線人員在虛擬場景中模擬實際操作，加速技能學習，更能在設備異常發生時進行即時診斷與遠端協助，大幅提升現場應變效率。

目前，已有半導體設備、航太製造、航空貨櫃與精密零組件產業，並逐步延伸至工具機與大型製造領域，幫助人員快速理解複雜任務，縮短學習曲線，也讓維修與問題排除變得更直覺、更即時，以提升人機協作效率與彈性，加快設備問題處理速度，強化生產韌性。另一方面，法人研發單位也積極投入沉浸式技術的深化應用。未來將持續導入AI Agent與、hysical AI 等技術，而能主動生成符合真實產線物理現象的多模態內容，從務文字、技術圖像到影音與聲音，皆可依需求自動生成。