WHY IT IS HARD / 难点一
位置正确，不代表动作正确
机械臂多个关节要协同运动。末端夹爪到达杯子附近后，还需要调整朝向和接触位置。
AI 3D LEARNING SERIES · DAY 02 / SPATIAL ACTION
机器人为什么
还端不来杯子？
认出杯子，只是知道“它是什么”。真正端起杯子，还要知道它在哪里、从哪边接近、夹多紧，以及杯子有没有真的被拿起来。
本课目标：把任务拆成感知、动作与反馈；区分导航和抓取；理解机器人示范数据与仿真训练；为一个房间导航演示写下可核对的完成标准。
PERCEIVE → ACT → CHECK
不是播放动作，而是根据反馈调整DAY 02
01 / SPATIAL ACTION
认出杯子，为什么还抓不稳？
机器人要把视觉信息转成身体动作，并通过动作后的观察判断是否成功。这个过程不是一次性指令，而是不断循环。
01 / PERCEIVE看当前状态
找到杯子，估计它的位置、姿态，以及夹爪与杯子的相对关系。
02 / ACT选择并执行动作
移动机械臂、调整夹爪朝向、控制接近与夹紧。
03 / CHECK观察执行结果
杯子是否被拿起？是否滑落？根据新的状态决定下一步。
空间行动（Spatial Action）：智能体在三维环境中执行导航、避障、抓取、放置等物理动作，并根据环境反馈调整行为。机器人通过身体感知和改变环境，是具身智能的一种典型形式。
互动实验：这次抓取真的成功了吗？动作反馈模拟
ROBOT STATE
等待执行
机器人已定位杯子，夹爪准备靠近。请选择一次执行结果，看看反馈如何改变后续决策。
感知→动作→反馈
当前状态：准备抓取
这只是教学交互，不是真实机器人控制或物理仿真。真实抓取还涉及坐标变换、末端执行器姿态、接触力、摩擦和传感器反馈等问题。
WHY IT IS HARD / 难点二
接触之后，环境会发生变化
夹得太松可能滑落，夹得太紧可能挤坏物体。机器人必须观察结果，而不是把“夹爪合上”当作任务成功。
02 / NAVIGATION VS MANIPULATION
先走到目标，还是先抓起物体？
导航和操作不是同一项能力。第一次做空间行动作品，先挑一个可以明确验收的任务，别把“会移动”写成“会做家务”。
NAVIGATION / 导航
走到冰箱前并停止
要输出前进、转向、停止等动作。完成标准可以是到达约定位置、没有穿过障碍，并在目标前停下。
MANIPULATION / 物体操作
抓起杯子并放到托盘
要输出机械臂和夹爪的控制动作。完成标准不仅是靠近杯子，而是抓稳、移动，并把杯子放到指定位置。
| 任务 | 主要能力 | 验收重点 | 典型术语 |
|---|---|---|---|
| 导航 | 定位、路线规划、避障、移动控制 | 到达目标、没有穿越障碍、正确停止 | VLN：视觉语言导航 |
| 物体操作 | 目标定位、抓取姿态、接触控制、放置 | 物体真实改变位置，且没有滑落或损坏 | VLA：视觉语言行动 |
VLN（Vision-Language Navigation）：结合视觉观察和语言指令，在环境中逐步导航。VLA（Vision-Language-Action）：将视觉、语言等输入映射为机器人动作，例如抓取和放置。不同研究系统的输入、输出和控制接口并不完全相同。
03 / DEMONSTRATION DATA
为什么给机器人看视频还不够？
视频记录了人和物体看起来怎样运动，但机器人还需要知道当时的状态、执行了哪些动作，以及动作发生的时间关系。
TELEOPERATION / 遥操作示意
人的操作如何对应到机器人的运动？
遥操作（Teleoperation）是人通过控制设备远程操纵机器人。ALOHA 等系统使用主从机械臂采集操作示范，使人的操作和机器人的运动可以对应起来。
VIDEO ONLY / 只有视频
看见了动作画面
能看到手、杯子和桌面的位置变化，但不一定知道机器人各关节的角度、夹爪状态或控制命令。
ALIGNED DATA / 对齐后的示范数据
画面与动作一起记录
将相机图像与机器人状态、关节运动、夹爪动作等按时间对齐，才能更完整地描述“看到什么时做了什么”。
轨迹（Trajectory）：随时间变化的一系列状态或动作记录。机器人轨迹不只是空间里的一条线，还可能包含位置、朝向、关节状态、夹爪开合和时间戳等信息。
真实采集成本还受任务复杂度、设备准备、场景布置、数据清洗、失败重采、标注与质检影响。数据量增加不等于质量自动提高。
04 / SIMULATION & GENERALIZATION
三维场景能帮机器人练什么？
仿真环境可以重复任务、调整物体位置、检查碰撞和尝试不同场景。但“看起来逼真”不等于“可以直接训练真实机器人”。
APPEARANCE CHANGE / 外观变化
换墙面材质
主要改变视觉外观。它可能影响视觉模型对颜色、纹理和光照的判断，但桌椅的几何位置没有改变。
GEOMETRY CHANGE / 几何变化
挪动桌子或目标物
改变物体的位置会影响可通行区域、碰撞关系和原有路线。机器人或导航算法需要重新判断能否通过。
RESEARCH EXAMPLES
两个研究方向示例
RoboCasa
面向机器人操作任务的厨房仿真环境，可在虚拟厨房中布置物体、重复任务并测试操作策略。
DemoGen
探索利用已有示范合成新的操作数据。例如改变物体初始位置后，调整抓取和移动轨迹，而不是机械复制原路径。
这类研究说明：换一个初始位置，原来的动作轨迹可能就不再适用。仿真可以帮助测试变化，但迁移到真实环境仍需验证传感器、动力学、摩擦、执行误差等差异。
05 / A SMALL, TESTABLE TASK
把房间导航做成可核对的演示
用一个房间、一个起点、一个目标和几个障碍，就能展示导航问题。下面的网格实验可以移动障碍，观察预设路线和简单寻路的差异。
互动实验：桌子挡住原路线后会怎样？二维网格寻路示意
ROOM MAP / 点击空白格添加或移除障碍
起点目标障碍路线碰撞
ROUTE MODE
选择路线策略
预设路线不根据障碍变化；网格寻路会在当前地图上尝试寻找一条可行路径。
预设路线：从起点直行，当前路径畅通。
网格寻路只是简化算法演示，不是机器人导航系统。真实导航还需要定位、地图构建、动态障碍处理、路径规划和运动控制。
WHAT TO SHOW
访客能看明白
WHAT TO VERIFY
结果能被核对
诚实标注能力边界：如果角色沿着你预先写好的路线移动，就叫“预设路线演示”；如果使用了寻路算法，就说明具体算法和适用范围。只有经过真实机器人控制与验证，才可以进一步声称完成了机器人导航。
06 / KNOWLEDGE CHECK
自测：你的作品验证了什么？
四道题，检查你是否真正理解了行动闭环、导航与操作、示范数据和仿真测试。
空间行动 · 自测已作答 0 / 4
本页整理自观猹《空间行动》，知识学习版；抓取与寻路均为教学示意，不代表真实机器人控制结果。