IMAGE CLASSIFICATION
图像分类
分类回答整张图最可能是什么。它能给出“猫”或“房间”等标签，但不会告诉你目标在图像中的具体位置。
模型输出类别名称与置信度。
适合做什么图片归档、内容分类、场景初筛。
做不到什么不能直接指出目标在哪个像素区域。
记忆关键词知道是什么，不知道在哪。
AI 3D LEARNING SERIES · 05 / DAY 02
让作品知道
物体在哪里。
AI 能告诉你“房间里有沙发”，但网页仍然不知道沙发在哪、该点哪里。要让三维空间真正可交互，除了识别物体，还要得到它的位置、范围和跨视角身份。
本课目标：按任务选择分类、检测或分割；理解二维与三维定位；知道 SAM 怎样生成掩码；为作品写出可验证的识别要求。
FROM LABEL TO SPATIAL OBJECT
识别类别 → 定位个体 → 理解关系02 / 05
01 / VISUAL RECOGNITION
想选中一个物体，需要什么结果？
分类、检测、语义分割、实例分割输出的信息不同。点击左侧，观察模型究竟告诉了你什么。
先问自己：网页需要知道“是什么”，还是还需要知道“在哪一块”？
整张图一个标签
| 任务 | 输出结果 | 能否区分同类个体 | 适合的功能 |
|---|---|---|---|
| 分类 Classification | 整张图或裁剪区域的类别标签 | 通常不负责定位个体 | 给图片打标签 |
| 目标检测 Object Detection | 类别 + 每个目标的二维矩形框 | 可给检测到的目标分别编号 | 计数、框选、标签定位 |
| 语义分割 Semantic Segmentation | 逐像素类别标签 | 同类通常不区分个体 | 选出所有椅子像素 |
| 实例分割 Instance Segmentation | 每个目标的独立掩码 + 类别 | 可以区分同类个体 | 单独抠出某一把椅子 |
最容易混淆：语义分割回答“哪些像素属于椅子这一类”；实例分割还要回答“这些像素分别属于哪一把椅子”。
02 / MASK SELECTION LAB
哪一种结果，能单独抠出目标？
把任务从“识别图里有什么”改成“只选中左边那只狗”。切换目标和输出方式，观察结果差异。
实验任务：只把指定动物单独抠出来
OUTPUT COMPARISON
目标：左边的狗
想只把狗 A 抠出来，结果必须保留狗 A 自己的像素范围，而不是把所有狗都混成一个类别区域。
当前：等待选择输出方式。
同类物体可能不止一个。能识别“狗”，不等于能独立选择“左边那只狗”。
掩码（Mask）是一张与图像像素对应的区域图，标记哪些像素属于目标。检测框可以定位，但矩形内部会包含背景；掩码更适合精细抠图。边缘、遮挡和细小结构仍要人工检查。
03 / 3D OBJECT LOCALIZATION
放进三维房间，名字对了还不够
二维框属于某一张照片。相机换位置，框就不再是同一件物体稳定的空间位置。三维定位要把对象放回场景坐标系。
A / GEOMETRY WITHOUT SEMANTICS
几何重建提供点、面或外观，但这些数据未必自带“沙发”“茶几”等语义，也未必知道哪些部分属于同一件家具。
B / SEMANTIC OBJECT ANNOTATION
加入类别、实例 ID 和三维范围后，程序可以按对象查找、显示标签，或把对象作为交互入口。
交互实验：换一个观察角度，标注还在吗？
SELECTED OBJECT
沙发 · Sofa #01
一个可被网页选中的三维对象。点选后可以弹出介绍卡片，也可以查询它的空间范围。
中心位置(2.4, 0.5, 1.8)
尺寸（长宽高）2.0 × 0.9 × 0.8 m
朝向0°
实例 IDsofa_01
正面观察：检查三维框是否包住沙发，而不是只贴在屏幕上。
三维框（3D Bounding Box）通常包含：中心位置、长宽高等尺寸，以及物体朝向。还需要明确坐标系和单位，才能可靠计算位置、距离与相对关系。三维框是近似范围，不等于精确表面轮廓。
04 / SPATIAL REASONING
知道物体名称，不等于理解空间关系
“房间里有茶几和门”是对象识别；“茶几挡住门了吗”则需要位置、尺寸、朝向和门的运动范围。
小实验：茶几会不会挡住门的打开范围？简化二维俯视示意
中间
当前示意：茶几位于门扇打开范围之外。
01 / DETECT识别对象
知道场景里有门、茶几、沙发和椅子。
02 / LOCALIZE定位对象
获取对象的坐标、尺寸、朝向和坐标系。
03 / REASON计算关系
结合门的旋转范围、障碍物范围和距离判断是否冲突。
滑块只是二维教学示意，不是物理仿真或真实尺寸测量。真实项目还要处理坐标标定、单位、门的铰链位置、旋转方向和碰撞几何。
05 / PROMPTABLE SEGMENTATION
不想手工描边？用 SAM 选区域
SAM（Segment Anything Model）可以根据点或框等提示预测图像中的目标掩码。它回答“你想选的区域在哪里”，但不会自动建立完整三维身份。
INPUT / PROMPT
用户通过点击目标内部、提供矩形框或增加正负提示点，表达希望模型分割的对象。提示方式取决于具体 SAM 版本和接口。
OUTPUT / MASK
模型返回逐像素区域掩码。将掩码叠回原图，检查人物边缘、头发、手臂和腿部是否保留，背景是否误选。
交互实验：提示方式不同，检查重点也不同
正向点：告诉模型“这里属于我想选的目标”。实际分割结果仍需检查，点的位置不保证每次都选中预期对象。
重要边界：SAM 生成的是图像中的区域掩码，不是物体名称，也不是三维对象 ID。要把同一把椅子在不同照片中的掩码关联起来，还需要相机位姿、几何对应和跨视角融合。
06 / FROM 2D MASKS TO 3D OBJECTS
照片里的选区，怎样带进三维场景？
同一把椅子会出现在多张不同视角照片里。需要把二维分割结果与三维几何联系起来，才能让对象身份在空间中保持一致。
多视角图像分割
2D MASKS
对同一场景的不同照片运行分割模型，得到各视角的物体掩码。
输出：每张图像上的区域映射到三维几何
CAMERA POSES + 3D
利用相机内外参、深度或重建几何，把图像像素与三维点建立对应。
输出：带标签的三维点或表面跨视角关联与融合
INSTANCE ASSOCIATION
融合不同视角中的同一对象区域，处理遮挡、漏分和错误匹配。
输出：较一致的三维对象标注VIEW A / 正面照片
正面视角拍到了椅背和座面，但椅腿可能被桌子遮住。
VIEW B / 侧面照片
侧面图中轮廓不同。系统需要判断这仍然是同一把椅子，而不是新出现的椅子。
SegmentAnything3D 的核心思路：把二维分割结果与三维重建几何联系起来，并利用多视角信息融合对象区域。具体项目实现可能采用不同的点云、相机和特征关联策略，不是简单叠加多张掩码。
本周不用从零实现完整链路。第一版可以手动给几件家具建立对象 ID 和三维标记，先验证点选、弹卡片、换视角后仍然指向同一对象。把人工标注写清楚，比声称已经实现自动三维理解诚实得多。
07 / CONCEPT DICTIONARY
本课术语速查
图像分类CLASSIFICATION
为整张图像或图像区域预测类别标签，不负责精确定位。
目标检测OBJECT DETECTION
识别目标类别，并用二维矩形框定位图像中的目标。
语义分割SEMANTIC SEGMENTATION
为每个像素分配类别标签，同类对象通常不区分个体。
实例分割INSTANCE SEGMENTATION
为每个目标实例生成独立掩码，可以区分同类别的不同个体。
掩码MASK
标记哪些像素或点属于目标的区域数据，可用于抠图和局部编辑。
三维包围框3D BOUNDING BOX
用中心位置、尺寸和朝向近似描述物体在三维空间中的范围。
空间理解SPATIAL UNDERSTANDING
理解场景中的对象、位置、尺度、朝向和空间关系。
空间推理SPATIAL REASONING
利用对象几何和空间关系回答遮挡、距离、可通行性等问题。
SAMSEGMENT ANYTHING MODEL
可通过点、框等提示生成图像区域掩码的通用分割模型系列。
相机位姿CAMERA POSE
相机在场景坐标系中的位置和朝向，用于联系不同视角。
实例 IDINSTANCE ID
用于区分场景中不同对象个体的标识，例如 chair_01。
跨视角关联CROSS-VIEW ASSOCIATION
判断不同照片中的区域是否属于同一个三维对象。
08 / KNOWLEDGE CHECK
知识检测
四道题，检查你是否能把产品功能与真正需要的识别数据对应起来。
空间理解 · 自测已完成 0 / 4
本页整理自观猹《Day 2 · 空间理解》，知识学习版；分割与三维定位表述为概念示意，非模型实测结果。