斯坦福大学AA274A课程：机器人自主性原理（2019年秋季）——相机模型与标定

（原标题：Stanford AA274A Principles of Robotic Autonomy | Autumn 2019 | Camera Models & Calibration）

📷 相机模型与投影原理

• 核心目标在于建立三维世界坐标与二维图像像素坐标的精确映射关系，这是支持环境重建、传感器校准以及计算机视觉几何计算的基础。该过程旨在解决从连续物理空间到离散数字图像的转换问题，确保几何特征在两个维度间的一致性。
• 完整的映射流程分为三个关键步骤：首先将相机坐标系下的三维点投影至理想图像平面；其次通过平移变换将原点从图像中心移至角落（通常为左上或右下），得到中间坐标；最后引入像素密度参数 $k_x, k_y$ 进行离散化，转换为最终像素坐标 $(u, v)$。这一流程体现了从连续几何到离散采样的逻辑递进。
• 相机矩阵包含焦距、像素分辨率及主点位置等内参。由于制造误差导致规格书数据不精确，必须通过校准过程从实际采集的数据中估计这些参数，而非直接依赖硬件标称值。这种基于数据的估计方法提高了模型对真实物理世界的适应性。

📐 齐次坐标与线性化技巧

• 标准投影变换因涉及 $z$ 轴除法而具有非线性特征，无法直接表示为矩阵乘法。这一数学特性增加了复杂几何运算的难度，特别是在需要连续变换或批量处理时，非线性的存在阻碍了高效的代数推导。
• 齐次坐标定义将二维点 $(x, y)$ 映射为三维向量 $(\lambda x, \lambda y, \lambda)$，形成等价类。通过除以第三个分量可还原为非齐次坐标。这种表示方法引入了尺度因子，使得原本非线性的除法运算被转化为线性空间中的矩阵操作。
• 在齐次空间下，投影变换转化为线性的矩阵乘法（相机矩阵 $K$）。非线性仅在从齐次坐标转回普通坐标时体现。此技巧极大地简化了计算机视觉中的复杂运算及校准推导，使得多个几何变换可以合并为单一的矩阵乘积，提升了计算效率与理论清晰度。

🔄 坐标系转换与旋转矩阵

• 当世界坐标系与相机坐标系原点不重合时，点的位置由平移向量 $\mathbf{t}$（从相机原点到世界原点）和相对坐标共同决定。这种相对位置关系是描述物体在空间中姿态的基础，必须准确量化才能进行后续的几何重建。
• 旋转矩阵构造通过计算两个坐标系基向量的点积构建旋转矩阵 $R$。该矩阵为正交矩阵且行列式为1，描述了相机相对于世界的姿态。正交性保证了变换过程中长度和角度的保持，即刚体变换特性，这对于维持场景的几何结构至关重要。
• 完整变换链结合平移与旋转，可实现从世界参考系到像素参考系的端到端坐标转换。这一链条为后续的环境重建提供了几何基础，将抽象的空间位置转化为具体的图像观测值，是连接三维模型与二维感知的桥梁。

📐 相机坐标变换与投影模型

• 齐次坐标表示利用旋转矩阵 $R$、平移向量 $T$ 和相机内参矩阵 $K$，将世界坐标系下的点映射至像素坐标系。完整表达式为 $P_H = K[RT | T] P_W$。这一紧凑的数学形式统一了内外参数，使得复杂的几何关系可以通过线性代数工具高效处理。
• 投影矩阵包含11个自由度（4或5个内参 + 3个旋转角 + 3个平移量）。在齐次坐标下表现为 $3 \times 4$ 的矩阵，存在尺度不确定性。这种不确定性源于齐次坐标的性质，即矩阵整体乘以非零常数不改变投影结果，因此在求解时需引入额外约束或归一化条件。

🧮 相机标定算法推导

• 线性方程构建通过 $N$ 组世界点与像素点的对应关系，建立 $2N$ 个线性约束方程，求解投影矩阵 $M$（即 $K[RT|T]$）。这种线性化方法避免了直接非线性优化的复杂性，使得初始解可以通过简单的线性代数手段快速获得。
• 最小二乘解算将问题转化为约束优化，利用拉格朗日乘子法推导得出，最优解为系数矩阵 $\tilde{P}$ 对应最小特征值的特征向量。这一数学推导确保了在存在噪声的情况下，得到的投影矩阵是统计意义上最优的近似解，平衡了所有观测点的误差。
• 参数分解对 $M$ 的前三列进行 QR 分解，分离出旋转矩阵（正交部分）和相机内参矩阵（上三角部分），进而通过逆运算求解平移向量。这种分解策略利用了矩阵结构的几何意义，将混合的参数空间解耦为独立的内参和外参组件，便于后续的物理解释与应用。

⚠️ 深度恢复与系统局限

• 单目图像存在固有的深度模糊，仅能确定点位于投影光线上，无法直接获取绝对距离。这一局限性源于二维成像过程的信息丢失，即三维空间中的无限个点可能映射到同一像素位置，导致深度信息的不可观测性。
• 结构恢复途径主要依赖语义理解、焦点深度（Depth from Focus）或立体视觉（Stereo Vision）来重建三维环境。这些方法通过引入额外的先验知识或多视角信息，弥补单目成像的深度缺失，从而实现从二维图像到三维结构的推断。
• 真实镜头存在桶形或枕形畸变，需额外参数校正；且因制造差异，每个相机传感器均需独立标定。忽略这些因素会导致几何重建的精度下降，因此在高精度应用中必须建立包含畸变模型的完整相机模型，并进行针对性的校准实验。

📷 立体视觉与三角化原理

• 核心机制利用两个具有非零位移和旋转关系的相机同时拍摄图像，通过融合信息重建场景。这种多视角观测策略打破了单目成像的深度歧义，通过几何约束唯一确定空间点的位置，是三维重建中最基础且有效的方法之一。
• 三角化过程中，单目图像仅能确定点位于某条射线上；双目图像中，若已知两相机的相对位置（外参）及各自的内参参数，则两条射线的交点即为该点在三维世界中的确切位置。这一几何原理直观地展示了如何通过视角差异恢复深度信息，前提是相机参数必须精确已知。
• 误差处理受测量噪声影响，实际射线可能不严格相交。此时通过最小化重投影误差来估计三维点 $Q$，即寻找使观测投影与估计投影距离之和最小的解。这种优化方法增强了算法对噪声的鲁棒性，确保在现实世界的非理想条件下仍能获得稳定的重建结果。

🔍 深度获取方法对比

• 调焦测距（Depth from Focus）通过改变焦距使图像最清晰来确定景深 $Z$。依据薄透镜方程，已知焦距和成像平面位置可推断物距。该方法因需对每个点单独调焦而显得繁琐，应用较少，但在特定场景如显微摄影或自动对焦系统中仍有其独特价值。
• 结构从运动（Structure from Motion）利用不同时间点拍摄的多张图像重建场景，是恢复结构的另一种标准方式。与立体视觉依赖空间基线不同，SfM 依赖时间基线和相机运动，通过跟踪特征点在不同帧间的变化来解算相机轨迹和场景结构，适用于动态或单相机系统。

⚠️ 关键挑战与限制

• 特征匹配是立体视觉的核心难点在于确定左图点 $P$ 与右图点 $P'$ 的对应关系。必须提取具有高度区分度的结构特征以建立有效对应。错误的匹配会导致三角化结果严重偏离真实值，因此特征检测与描述子的设计对系统性能至关重要。
• 系统要求执行三角化前，必须完成立体相机组的标定，明确两相机参考系之间的相对位置及各自的内在参数。未标定的系统无法提供准确的几何约束，导致重建结果不可靠。因此，高精度的立体视觉应用通常伴随着复杂的校准流程，以确保外参和内参的准确性。