三維重建(3D Reconstruction)是計算機視覺和空間計算技術中的一項核心技術,旨在從二維信息中恢復出三維模型或場景。這項技術通過處理來自不同來源的數據(如圖像、視頻或傳感器數據),構建出能夠準確反映真實物體或環境的三維表示。三維重建技術是虛擬現實(VR),實景三維,元宇宙,游戲等領域構建虛擬數字空間的基礎技術,能夠實現對物理空間最完整、最深度的信息采集。
三維重建包含兩個重要階段:數據采集和數據制作。
空間數據采集階段
深度信息采集:
通過專業設備(如激光雷達傳感器、結構光傳感器等)或算法(如單目圖像 AI 深度估算模型)獲取場景中物體的深度信息。
激光雷達傳感器向物體發射一束光,并通過接收裝置測量光線反射或散射回來的時間差,從而計算出物體離采集設備的距離,得到物體的深度信息。如果再配上一個角度測量裝置,測量光線發射的角度,結合已知的距離信息,就能直接得到該物體在三維物理空間中的坐標。當我們利用傳感器同時向場景發射無數道光,就能得到場景中各點的空間信息,也就是這些點離傳感器有多遠、在哪個角度等,并據此繪制出精準的深度圖和點云。激光雷達這種采集方式在空間數據的精準性、實時性、便捷性、抗干擾性等方面具備顯著優勢。眾趣旗下的自研 SPACCOM X3 系列 3D 激光掃描儀,每秒采集 20 萬個點云數據,掃描精度達 10mm,最遠測距 70m。在采集過程中 SPACCOM X3 顯示出卓越的環境適應性,并能夠精確捕捉空間內的每一處細節,讓大空間和超大空間三維重建變得輕松與高效,為專業人士提供無與倫比的便利體驗。
單目圖像深度估計也是一種獲取場景中物體深度的 AI 方法,它僅依賴于 RGB 相機采集得到的彩色圖像便能快速估算物體深度。因為人類通過兩個眼睛的視差來實現對距離的估算,但事實上我們用單個眼睛也可以大致估算出距離,這是因為腦已經記住了一些規律,比如已知大小的物體在圖像中越小則距離越遠、近處的物體會擋住遠處的物體等。利用這一原理,眾趣科技通過積累的數百萬專業設備掃描的三維數據集,以彩色圖為輸入、深度信息為標注(答案)訓練出單目圖像深度估算 AI 模型,實現無需深度傳感器、僅采集空間圖像即可實現三維重建。深度估算模型的誕生,推動了眾趣輕量級 VR 采集產品的誕生,讓 VR 拍攝進入大眾的日常生活成為可能。
圖像信息采集:
使用 RGB 相機采集高色彩還原度的圖像信息。圖像可用于點云上色、為三維模型提供豐富的紋理細節,也可拼接成 360 度全景圖像用于 VR/AR 的應用。眾趣旗下的自研 SPACCOM X3 系列 3D 激光掃描儀,集成了高清相機,通過自研的無縫拼接算法可生成原生 1.34 億像素的 16k 全景圖像,同時使用自研 HDR 算法,可最大程度保留拍攝場景的高光與陰影細節,使畫面更接近人眼的真實視覺體驗。
點位拼接:
定點式掃描需要在固定點位采集深度和圖像信息。合理規劃點位布局和掃描路線能有效覆蓋作業場景,提升作業效率。點位拼接針對稀疏離散的點位建立位姿關系。利用點位采集到的彩色圖像和深度信息,通過提取特征尋找相似的匹配點位,并計算相對位置和姿態,最終實現多個點位之間的精確拼接。此外結合 IMU(慣性測量單元,是一種集成了多種慣性傳感器的裝置,用于測量和跟蹤物體的加速度和角速度)等三方傳感器數據能提高拼接的魯棒性,克服特殊場景(弱紋理、長走廊等)帶來的退化問題。
數據制作階段
生成點云:
點云是空間中代表 3D 形狀或對象的數據點集合,數據集中的每個點代表一組 X、Y、Z 幾何坐標。在這一步中,制作流程會轉化采集的深度信息為點云對象。
點云處理:
對點云數據進行去噪、異常值過濾等優化處理,提高后續三維重建的準確性和效率。
點云融合:
將多站的點云數據進行融合處理。包括多站點位間的位姿優化、多站點云的融合處理、整體點云的分塊管理等。
網格重建:
由離散的點云生成連續表面。將點云數據連接成網格(網格單元一般為三角形或者四邊形),形成多面體形狀的外殼。
網格處理:
對網格數據進行優化和調整,去除尖銳邊緣和不平整表面,使模型更加平滑自然。
紋理映射:
將采集的高清圖像精確映射至模型網格表面,使三維模型更加真實。
3D 模型:
網格和紋理全部組合在一起,就得到了一個完整的三維模型,它支持在 3D 引擎中進行渲染和交互操作,譬如旋轉、放大、縮小等。
格式轉化:
生成的 3D 模型文件可轉化為行業通用的標準格式,方便與專業 3D 設計軟件對接。
成熟大規模落地三維重建介紹
(眾趣空間重建)
在數據采集階段,同時采集深度信息與圖像信息,為后續數據制作提供了多模態數據基礎。
基于多模態數據,提取出豐富的語義信息。語義信息是指對三維模型中各元素(如物體、場景等)的識別和標注。在三維重建過程中引入語義信息,有助于提高模型的準確性和實用性。
點云處理環節,結合多模態數據有效去除雜點,并進行智能空洞填補。
高效的多站點位姿優化技術。實現多站點數據的精準對齊,配準誤差<5mm。
格式轉換支持導出 LAS、PLY、E57 等標準點云格式。與 Revit、CAD、3DMax 等專業軟件無縫對接。
獨有的 AI 空間計算技術。以豐富的語義信息為基座,結合多模態數據可自動識別空間結構的關鍵點、線、面信息。針對房產領域,該技術可自動生成戶型圖、實勘圖片和短視頻,構建 3DVR 房源數據庫,提升房源實勘質量。在三維重建過程中,該技術可以挖掘出豐富的潛藏數據,如空間結構信息、文字信息、物體信息等。這些數據可以進一步應用于數字空間的多樣化場景,如營銷推廣、內部管理、人員引導、模擬培訓等。
應用領域
三維重建技術廣泛應用于城市規劃、影視制作、游戲開發、考古研究、文物保護、醫療影像、虛擬現實(VR)、增強現實(AR)等諸多領域。隨著技術的不斷發展,其應用的廣度和深度將不斷拓展。
城市規劃:
用于城市三維建模、交通規劃等,提升城市規劃的科學性和精準度。
影視制作:
為特效制作提供逼真的三維場景和角色模型,增強影視作品的視覺效果。
游戲開發:
構建豐富的游戲場景和角色模型,提升游戲的沉浸感和互動性。
考古研究:
對古代遺址進行三維重建,為考古研究提供直觀、準確的數據支持。
文物保護:
對珍貴文物進行數字化保護,實現文物的永久保存和虛擬展示。
醫療影像:
在醫學影像領域,用于構建人體器官的三維模型,輔助醫生進行診斷和治療規劃。
總結
眾趣科技通過持續迭代其三維重建技術體系,在精度、效率和易用性方面建立行業標桿,為數字孿生應用提供堅實的技術基礎。2024 年推出的 SPACCOM X3 Pro 系列設備進一步提升了超大空間場景的數字化能力,推動多行業的三維數字化升級。眾趣科技在三維重建領域具有鮮明的特色和優勢:
技術領先:
網格和紋理全部組合在一起,就得到了一個完整的三維模型,它支持在 3D 引擎中進行渲染和交互操作,譬如隨意旋轉、放大、縮小等。
效率突破:
將傳統方法需要數天甚至數周完成的三維建模任務縮短至幾十分鐘內完成,大大提升了工作效率。
精度保障:
具有工業級點云精度和超高紋理分辨率,支持 16K 超高清呈現,確保模型的真實性和細節表現。
全場景覆蓋:
從智慧警務、房產服務到工程建筑等多個領域,眾趣科技的技術均展現出廣泛的應用潛力和價值。
數據安全:
支持國產化部署,滿足公共安全等領域的數據安全需求,為用戶提供更加可靠和安心的服務。
400-779-7900