跳到主要内容
AI 3D LEARNING SERIES · 04 / DAY 02

同一个空间,
可以有五种存法。

手机拍完一间教室,重建工具会给你点云、网格或 3D 高斯等结果。它们都在描述同一个空间,却不是同一种东西。选错表示方式,后面展示、编辑和交互都会变得别扭。

本课目标:分清五种空间表示;理解 3DGS 的渲染方式;知道传统重建怎样从照片走到表面;学会按用途选数据。
ONE SCENE / FIVE REPRESENTATIONS
POINTSSURFACES同一空间不同表示
表示方式决定后续能力01 / 05
01 / SPATIAL REPRESENTATION

同一间教室,可以怎么存?

空间表示(Spatial Representation)描述计算机如何存储和表达三维空间。点击左侧类型,观察它们记录空间的方式。

示意图不是实际数据文件截图。重点观察:空间被拆成了什么单元。
POINT CLOUD

点云

离散采样点
每个点 = 一个空间采样位置 顶点 + 边 + 面片 = 表面 把空间切成三维小格子 查询坐标,函数返回该处属性f(x,y,z) → 密度 / 颜色 许多带属性的三维高斯椭球
点云用大量离散三维点记录表面或空间采样位置。每个点可以带颜色、法线等属性,但点与点之间没有天然连接关系。
存储内容点的三维坐标,以及可选的颜色、法线等属性。
适合做什么扫描结果查看、测量辅助、后续表面重建。
主要限制点本身没有连续表面,直接渲染可能显得稀疏。
记忆关键词有位置,不自动有面。
表示存储内容常见用途需要留意
点云
Point Cloud
离散三维点及属性扫描、测量辅助、分析没有连续表面
网格
Mesh
顶点、边、面、材质和纹理编辑、动画、碰撞、制造需要维护拓扑和贴图
体素
Voxel
规则三维单元的占据或属性值空间占据、体积分析、仿真高分辨率成本高
隐式场
Implicit Field
查询坐标后返回属性的函数连续场景表示、NeRF、表面提取不一定能直接编辑
3D 高斯
3D Gaussian
位置、协方差、颜色、不透明度等照片级重建、新视角浏览不自动包含语义和碰撞结构
记住:点云不会因为点变多就自动变成网格。网格需要额外的表面重建过程,建立顶点之间的面片关系。
02 / 3D GAUSSIAN SPLATTING

3DGS 为什么适合做空间漫游?

它的强项是还原场景的视觉外观,并快速生成新的观察视角。先看它存什么,再看它怎样画出画面。

A GAUSSIAN PRIMITIVE / 三维高斯基元
中心位置 μ形状 / 朝向 Σ 椭球只是概率分布的可视化示意还记录颜色(或颜色系数)与不透明度

每个高斯基元通常包含中心位置、协方差(决定形状与朝向)、不透明度,以及用于视角相关颜色表达的球谐系数等属性。

FROM 3D TO 2D / 投影到屏幕
3D 高斯集合屏幕上的斑点重叠后按透明度混色

从新的观察位置看,三维高斯被投影成屏幕上的二维椭圆斑点,再按深度关系进行透明度混合,形成当前视角的图像。

01 / CAPTURE采集照片

从多个位置拍摄同一场景,提供不同视角。

02 / OPTIMIZE优化高斯

调整位置、形状、颜色和透明度,使渲染结果贴近照片。

03 / PROJECT投影与排序

浏览时将高斯投影到当前屏幕,并组织绘制顺序。

04 / COMPOSITE透明度混合

将多个半透明斑点混合,得到当前视角的图像。

交互理解:观看时,画面怎样生成?
第一步:投影。当前相机位置和朝向确定后,每个三维高斯被映射到屏幕上,形成二维椭圆斑点。相机换位置,投影结果也会变化。
为什么浏览时比较快?主要的场景拟合与高斯参数优化已经在重建阶段完成。浏览时不必每移动一次视角就从照片重新重建整个场景,而是利用已有高斯基元快速渲染新视角。实际帧率仍取决于高斯数量、分辨率、设备 GPU 和 Viewer 实现。
3DGS 的边界:逼真的外观不等于物体语义、可编辑家具、碰撞边界或物理结构完整。要让角色撞到桌子停下,通常还要额外配置简化网格或碰撞体。
03 / CHOOSE BY TASK

先想清楚要做什么,再选空间表示

“看起来真实”和“能参与交互”不是同一个需求。选择主要任务,查看更适合从哪种表示开始。

WHAT DO YOU WANT TO DO?
RECOMMENDED REPRESENTATION

3DGS 场景

如果主要目标是保留真实空间的视觉外观,并让访客从不同位置浏览,3DGS 通常是合适的起点。

注意:3DGS 不会自动提供物体语义、碰撞边界或可编辑家具。需要游戏交互时,通常要另配简化网格或碰撞代理。
真实项目常常混合使用多种表示。例如:用 3DGS 呈现教室的照片级外观,再用简化 Mesh 提供桌椅碰撞边界,用语义标签标记讲台和出口。
04 / CLASSICAL RECONSTRUCTION PIPELINE

传统重建怎样从照片走到表面?

这是常见的摄影测量 / 多视图重建路线。它能解释为什么点云还不是完整模型。

STEP 01

SfM

STRUCTURE FROM MOTION

从多张照片中检测和匹配共同特征,估计相机位姿,并通过三角测量恢复一批稀疏三维点。

输出:相机位姿 + 稀疏点云
STEP 02

MVS

MULTI-VIEW STEREO

利用相机参数,从多个视角进一步估计深度,并融合成更密集的三维采样。

输出:稠密点云 / 深度信息
STEP 03

Surface Reconstruction

表面重建与纹理

根据点的位置、邻域关系和法线等信息拟合连续表面,再把照片颜色映射到表面。

输出:网格 Mesh + 纹理
流程边界:SfM、MVS、表面重建是经典路线的概括,不代表所有现代方法都必须严格按这三步执行。VGGT、NeRF、3DGS 等方法可能采用不同的预测、优化和表示流程。
为什么有些地方会重建失败?
白墙 / 纯色表面缺少稳定纹理特征,匹配点不足。
重复图案相似纹理容易匹配到错误位置,导致几何错位。
玻璃 / 镜面反射外观随视角变化,不符合普通静态表面假设。
运动与模糊物体移动或画面模糊,会破坏跨照片的对应关系。
05 / QUALITY CONTROL

默认视角好看,不代表重建完整

沿着访客真正会走的路线检查,而不是只盯着默认截图。被挡住或没拍到的区域,通常需要重新采集。

VIEWER ROUTE / 访客路线示意
讲台 入口通道讲台侧面 门检查遮挡区域

示意路线:从入口进入,经过通道,走到讲台旁,再绕到侧后方检查遮挡区域。

SCENE QA CHECKLIST
重建结果检查清单
完成进度0 / 6
勾选检查项,整理自己的场景验收记录。
移动端性能不只看模型文件大小。还要关注高斯数量、资源加载、屏幕分辨率、设备 GPU 和网络状况。先在目标手机上跑完整路线,再决定是否缩小场景范围或降低资源复杂度。
06 / CONCEPT DICTIONARY

本课术语速查

空间重建SPATIAL RECONSTRUCTION

根据图像、视频或其他传感器数据,恢复场景三维结构或外观。

空间表示SPATIAL REPRESENTATION

计算机存储和表达三维空间的方式,例如点云、网格、体素和 3DGS。

点云POINT CLOUD

由大量带三维坐标的离散点组成,可附带颜色、法线等属性。

网格MESH

由顶点、边和面构成的几何表面,常用于编辑、动画和碰撞。

体素VOXEL

三维空间中的规则小单元,可记录占据状态或其他属性。

隐式场IMPLICIT FIELD

通过函数查询空间位置的密度、颜色或距离等信息;NeRF 属于神经场景表示。

3D 高斯泼溅3D GAUSSIAN SPLATTING

用大量三维高斯基元表达场景,并通过投影与混合渲染新视角。

SfMSTRUCTURE FROM MOTION

从多张有重叠的图像中恢复相机位姿和稀疏三维结构。

MVSMULTI-VIEW STEREO

利用多视角图像和相机参数估计更密集的深度与三维表面采样。

07 / KNOWLEDGE CHECK

知识检测

四道题,检查你是否能区分数据表示、渲染过程和重建流程。

空间重建 · 自测已完成 0 / 4

01. 一份非常密的点云,是否已经有完整的表面?

02. 只想让访客在网页里换位置浏览真实教室,哪种表示通常更合适?

03. 3DGS 网页浏览时,设备主要在做什么?

04. 想让游戏角色撞到桌子就停下,3DGS 场景之外还需要什么?

本页整理自观猹《Day 2 · 空间重建》,知识学习版;示意图为概念演示,非实际重建数据。