2023 年圖形學(xué)頂會 Siggraph 中的一篇文章《3D Gaussian Splatting for Real-Time Radiance Field Rendering》一躍而出，跳脫出幾何重建-紋理映射-三維渲染的傳統(tǒng)建模管線的限制，第一次提出結(jié)合 3D 高斯橢球顯示表達與可微分渲染的全新框架，讓大家看到了真實感場景重建的康莊大道，一時間整個圖形學(xué)、計算機視覺圈子甚囂塵上，各種 3DGS 的改進方法宛如過江之鯽。隨即，其應(yīng)用落地如雨后春筍般蔓延至各行業(yè)。

數(shù)字孿生、文物保護、影視游戲、工業(yè)檢測等領(lǐng)域紛紛引入，憑借 3DGS 高精度與實時性優(yōu)勢，重塑場景重建與渲染范式。

3D Gaussian Splatting（3DGS）是一種用于 3D 場景重建和實時渲染的突破性技術(shù)。它的名字本身就揭示了其核心思想，可以分解為兩個部分來理解：“Gaussian”和“Splatting” 。

這兩個概念的結(jié)合，構(gòu)成了 3DGS 強大能力的基石，使其能夠在不依賴任何神經(jīng)網(wǎng)絡(luò)的情況下，實現(xiàn)照片級的實時渲染效果。3DGS 是一種用大量微小的、可學(xué)習(xí)的、半透明的“高斯橢球”作為基元來“繪制”整個 3D 場景的方法，并通過一種高效的投影渲染技術(shù)將這些 3D 基元呈現(xiàn)在 2D 屏幕上。

高斯橢球是 3DGS 技術(shù)中用于表示場景的核心元素。與傳統(tǒng)的基于 Mesh（三角形圖元）的渲染不同，高斯橢球本質(zhì)是三維空間中的正態(tài)分布，其概率密度函數(shù)描述了空間中場景信息的分布規(guī)律。對于每個高斯橢球，以均值(μ)為中心，概率密度函數(shù)為：

Σ 是 3x3 的協(xié)方差矩陣，決定了高斯橢球的形狀、大小和朝向。對于空間中的任意點 x，G(x) 表示該點的高斯分布強度。

3DGS 使用一個完整的 3D 高斯分布來定義場景中的一個微小區(qū)域。一個 3D 高斯分布由兩個主要參數(shù)決定：均值（Mean, μ）和協(xié)方差矩陣（Covariance, Σ） 。

均值（μ）：這是一個三維向量，代表了高斯分布的中心位置，即這個“高斯橢球”在 3D 空間中的中心點坐標。這與三維重建中的點云點在概念上是相似的。

協(xié)方差矩陣（Σ）：這是一個 3x3 的對稱正定矩陣，它定義了高斯分布的形狀、大小和方向。在幾何上，一個 3D 高斯分布可以被可視化為一個橢球體（Ellipsoid）。

協(xié)方差矩陣的特征向量決定了橢球體的三個主軸的方向，而其特征值（或特征值的平方根）則決定了橢球體在這三個主軸方向上的半徑（即尺度）。通過這種方式，一個3D高斯點不僅僅是一個位置，而是一個具有明確體積、形狀和朝向的實體。除了位置和形狀，每個高斯點還關(guān)聯(lián)著另外兩個關(guān)鍵屬性：顏色（Color，c） 和不透明度（Opacity，α）。顏色決定了該高斯點在渲染時對最終像素顏色的貢獻，而不透明度則決定了它的“透明度”，這對于后續(xù)的混合渲染至關(guān)重要。高斯橢球的顏色信息通過球諧函數(shù)（Spherical Harmonics）表示，它可表示視角相關(guān)的顏色變化，如金屬反光、透明物體的折射等。

下圖展示了球諧函數(shù)Spherical Harmonics對三維形狀的近似/重構(gòu)效果。可見低階球諧函數(shù)捕捉全局平滑特征，高階球諧函數(shù)捕捉局部細節(jié)。使用 SH 低階球諧函數(shù)可以近似場景的光照環(huán)境，使橢球能根據(jù)觀察方向動態(tài)調(diào)整顏色，實現(xiàn)高效的實時渲染。

3DGS 豐富的參化表示，使得單個高斯點能夠表達比傳統(tǒng)點云更復(fù)雜的幾何和光學(xué)信息，為高質(zhì)量的場景重建奠定了基礎(chǔ)。

“Splatting”一詞源于計算機圖形學(xué)，指的是將 3D 空間中的點或體素“濺射”或“投影”到 2D 圖像平面上的過程。在 3DGS 中，Splatting 特指將 3D 高斯橢球投影到相機成像平面上的過程。這個過程是 3DGS 實現(xiàn)高效渲染的核心。具體來說，給定一個3D高斯點以及相機的內(nèi)外參數(shù)，Splatting 過程會計算出這個 3D 橢球在 2D 圖像平面上的投影。這個投影結(jié)果是一個 2D 的橢圓，其中心、形狀和大小由 3D 高斯點的參數(shù)和相機視角共同決定。這個 2D 橢圓被稱為高斯點的“足跡”（Footprint）。渲染過程并非簡單地將這些橢圓畫在屏幕上。

相反，3DGS 采用了一種基于深度排序和 Alpha 混合的體素渲染思想。對于圖像上的每一個像素，算法會遍歷所有投影后與該像素相關(guān)的 2D 高斯橢圓。這些橢圓會根據(jù)其深度（即 3D 高斯點到相機的距離）進行排序。然后，從前到后（或從后到前）依次計算每個橢圓對該像素顏色的貢獻，并通過 Alpha 混合公式將它們累積起來，直到像素顏色達到飽和（不透明度接近1）或者所有相關(guān)的高斯點都被處理完畢。

這種基于 Splatting 的渲染方法，結(jié)合 GPU 的并行計算能力，使得 3DGS 能夠以極高的效率完成整個場景的渲染，從而實現(xiàn)實時交互 。

下圖一包含了數(shù)百萬個高斯橢球的未融合效果；

圖二是采用 Splatting 渲染后的效果。

首先采集多張不同視角的彩色圖片覆蓋待重建場景，然后構(gòu)建初始點云。3D Gaussian Splatting 的訓(xùn)練過程始于一個初始的場景表示。與 NeRF 等完全隨機初始化的方法不同，3DGS 需要一個相對準確的初始幾何結(jié)構(gòu)來“播種”其高斯點。這個初始幾何結(jié)構(gòu)通常包含一組 3D 點云，該點云可以是通過 Structure-from-Motion（SfM）算法從輸入的多張彩色圖片中計算得出的稀疏點云，也可以是通過激光傳感器掃描場景重建得到的稠密點云。這個初始化步驟至關(guān)重要，它為后續(xù)的優(yōu)化過程提供了一個堅實的起點，大大縮短了訓(xùn)練時間并提高了最終重建的質(zhì)量。此外還要提供每張采集的彩色圖片對應(yīng)的相機內(nèi)參和外參（即相機位姿）。這些信息對于 3DGS 的訓(xùn)練也是至關(guān)重要的。

下一步就是將點云中的每一個3D點初始化為一個3D高斯橢球。這個過程為每個高斯點賦予了初始的參數(shù)值。

• 位置（μ）：每個高斯點的初始位置 ，直接設(shè)置為點云中對應(yīng)點的 3D 坐標。

• 顏色（c）：初始顏色可以通過將該 3D 點投影到所有能看到它的圖像上，然后對這些圖像上的像素顏色進行平均或中值濾波來得到。在簡化實現(xiàn)中，也可以隨機初始化。

• 不透明度（α）：不透明度通常初始化為一個較小的常數(shù)值，例如 0.1，表示初始時所有點都是半透明的。

• 協(xié)方差（Σ）：協(xié)方差的初始化更為關(guān)鍵。為了初始化橢球的形狀和大小，通常會利用點云的局部幾何信息。

除了使用點云中的點進行初始化，3DGS 還會在場景中隨機初始化一些額外的高斯點，以覆蓋那些可能被遺漏的區(qū)域。這些隨機初始化的點有助于填充場景中的空洞，并捕捉更完整的幾何細節(jié)。通過這種方式，3DGS 從一個由初始點云引導(dǎo)的、包含數(shù)萬個初始高斯點的場景表示開始，進入后續(xù)的優(yōu)化和自適應(yīng)密度控制階段。在迭代的過程中，3DGS 會識別出欠重建和過重建兩種情況：

• 欠重建（Under-Reconstruction）：現(xiàn)有高斯橢球無法覆蓋重建區(qū)域，對已有的高斯橢球進行克隆。

• 過重建（Over-Reconstruction）：現(xiàn)有高斯橢球覆蓋范圍超過重建區(qū)域，對已有的高斯橢球進行分割。

通過自適應(yīng)密度控制的方法，3DGS 能夠有效地自動擬合復(fù)雜的幾何表面，重建模型接近真實物體，渲染真實感更強。下圖展示了采用 sfm 構(gòu)建 3DGS 的全流程。

3DGS 擅長捕捉細節(jié)和復(fù)雜的光影效果，如反射和折射，實現(xiàn)高度逼真的渲染效果。

效率：與數(shù)據(jù)龐大的神經(jīng)網(wǎng)絡(luò)（如 NeRF）相比，3DGS 更為簡潔，需要的存儲和計算能力更少。

速度：3DGS 能夠?qū)崿F(xiàn)實時或接近實時的渲染速度，適合交互式應(yīng)用。

可擴展性：能夠高效處理包含數(shù)百萬個濺射點的復(fù)雜場景，不影響性能。

3DGS 方法成功的關(guān)鍵在于不追求物體的顯示幾何表示，不需要點云、網(wǎng)格等形體表達，因為真實世界中恰恰有許多物體難以顯示、完整表達，例如樹葉、玻璃、煙霧、水面、發(fā)絲等等。

然而對于好的元宇宙體驗來說，只需要渲染逼真、具備可交互性就夠了，而這剛好是 3DGS 表示方法擅長的。其基本思想是在空間中分布大量的橢球體，每個橢球體形狀、大小、位置各異。每個橢球體上都定義了球諧函數(shù), 可以方便地轉(zhuǎn)換任意角度的光照。因而將所有橢球體投射到某個視角，就能渲染出一張圖像，利用該圖像與輸入的拍攝圖像做比較，通過衡量其差異，就可以借此訓(xùn)練出空間中各個橢球體的形狀、大小、位置、SH、透明度等參數(shù)。

無論場景中是人、車、水、樹還是其他物體，都能在同一個框架內(nèi)完成訓(xùn)練，使得場景重建的方法第一次高度統(tǒng)一、簡潔且優(yōu)雅。

空間智能解決方案服務(wù)商眾趣科技正是利用了高斯?jié)姙R技術(shù)的這一技術(shù)優(yōu)勢，將它和經(jīng)典三維重建技術(shù)進行融合，既發(fā)揮了高斯?jié)姙R技術(shù)的優(yōu)勢，同時也和經(jīng)典三維技術(shù)的生態(tài)結(jié)合起來，綜合發(fā)揮各自的優(yōu)勢，讓三維數(shù)字孿生技術(shù)行業(yè)落地更具現(xiàn)實意義。

3DGS 作為一種高效且高質(zhì)量的三維重建與渲染技術(shù)，具有實時性好、重建質(zhì)量高、可編輯性強等優(yōu)點，在實際應(yīng)用中具有廣闊前景。

（3DGS 漫游效果）

房產(chǎn) VR：3DGS 可以提升房產(chǎn) VR 體驗 、解決渲染慢、采集成本高的痛點。在采集側(cè)，使用普通相機就能快速生成高精度房源模型，同時支持無極漫游、動態(tài)光影模擬與個性化裝修預(yù)覽。此外 3DGS 還可以實現(xiàn)樓盤的全景展示，既提升用戶沉浸體驗和決策效率，又幫助企業(yè)降本增效，加速行業(yè)數(shù)字化轉(zhuǎn)型。

影視娛樂：傳統(tǒng)上高質(zhì)量的 3D 渲染往往需要耗費大量時間和計算資源，而 3DGS 技術(shù)則能在保持高質(zhì)量的同時，實現(xiàn)更快的渲染速度，這對于電影、動畫和游戲等需要快速迭代和實時反饋的場景尤為重要。在如今這個虛擬與現(xiàn)實交融的時代，虛擬制作、AI 輔助創(chuàng)作等技術(shù)都在持續(xù)突破，3DGS 也展示出卓越的新視角合成質(zhì)量和實時渲染速度，讓影視娛樂的邊界無限延伸，創(chuàng)造出更多的可能性。

文旅產(chǎn)業(yè)：在文物數(shù)字化保護和互動傳播方面，高斯?jié)姙R技術(shù)也能夠起到至關(guān)重要的作用。文物三維數(shù)字化成果是助力弘揚中華文化，保護歷史文物的重要載體，利用 3DGS 技術(shù)建立文物古跡的三維數(shù)據(jù)，精確還原文化和文物遺產(chǎn)作為數(shù)字資產(chǎn)，為文化遺產(chǎn)的保護修繕和古跡研究提供數(shù)據(jù)支撐。結(jié)合沉浸式 VR 體驗技術(shù)開展虛擬展覽、虛擬文化遺產(chǎn)體驗，實現(xiàn)千年文化與現(xiàn)代科技交相呼應(yīng)，延續(xù)歷史文脈，堅定文化自信，推動中華優(yōu)秀傳統(tǒng)文化創(chuàng)造性轉(zhuǎn)化和創(chuàng)新性發(fā)展。

自動駕駛：基于 3DGS 能夠?qū)崿F(xiàn)精確的地圖構(gòu)建，有助于自動駕駛系統(tǒng)更準確地感知周圍環(huán)境。還能快速渲染和更新車輛周圍的三維場景，幫助系統(tǒng)實時處理大量數(shù)據(jù)，做出快速反應(yīng)，提升自動駕駛的安全性和可靠性。

建筑行業(yè)：3DGS 技術(shù)在建筑行業(yè)的應(yīng)用廣泛，涵蓋建筑設(shè)計與可視化、虛擬現(xiàn)實與增強現(xiàn)實、施工規(guī)劃與管理、市場推廣與銷售、教育與培訓(xùn)等多個環(huán)節(jié)，能提升制作效率和交付質(zhì)量，推動了行業(yè)數(shù)字化發(fā)展。

工業(yè)領(lǐng)域：通過 3DGS 生成的高精度模型，可用于檢測產(chǎn)品缺陷，確保生產(chǎn)質(zhì)量。結(jié)合機器視覺，實現(xiàn)自動化檢測，提高生產(chǎn)線的效率和精度。3DGS 技術(shù)能夠快速生成高質(zhì)量的工業(yè)設(shè)計模型，幫助設(shè)計師在早期階段驗證設(shè)計概念，減少物理原型的需求。生成設(shè)備的三維模型，幫助技術(shù)人員遠程診斷和維護，減少停機時間。創(chuàng)建虛擬環(huán)境，用于培訓(xùn)維修人員，提升操作熟練度。通過3D模型優(yōu)化倉庫布局和庫存管理，提升物流效率。模擬運輸過程，優(yōu)化路線和裝載方案，降低成本。