视觉定位原理：对极几何与基本矩阵
本文为大家介绍对极几何与基本矩阵这两个视觉定位原理。
对极几何 提到对极几何，一定是对二幅图像而言，对极几何实际上是“两幅图像之间的对极几何”，它是图像平面与以基线为轴的平面束的交的几何（这里的基线是指连接摄像机中心的直线），以下图为例：对极几何描述的是左右两幅图像（点x和x’对应的图像）与以cc’为轴的平面束的交的几何！
直线cc’为基线，以该基线为轴存在一个平面束，该平面束与两幅图像平面相交，下图给出了该平面束的直观形象，可以看到，该平面束中不同平面与两幅图像相交于不同直线；
上图中的灰色平面π，只是过基线的平面束中的一个平面（当然，该平面才是平面束中最重要的、也是我们要研究的平面）；
epipolarpoints极点 每一个相机的透镜中心是不同的，会投射到另一个相机像面的不同点上。这两个像点用el和er表示，被称为epipolarpoints极点。两个极点el、er分别与透镜中心ol、or在空间中位于一条直线上。
epipolarplane极面 将x、ol和or三点形成的面称为epipolarplane极面。
epipolarline极线 直线ol-x被左相机看做一个点，因为它和透镜中心位于一条线上。然而，从右相机看直线ol-x，则是像面上的一条线直线er-xr，被称为epipolarline极线。从另一个角度看，极面x-ol-or与相机像面相交形成极线。
极线是3d空间中点x的位置函数，随x变化，两幅图像会生成一组极线。直线ol-x通过透镜中心ol，右像面中对应的极线必然通过极点er。一幅图像中的所有极线包含了该图像的所有极点。实际上，任意一条包含极点的线都是由空间中某一点x推导出的一条极线。
如果两个相机位置已知，则：
1.如果投影点xl已知，则极线er-xr已知，点x必定投影到右像面极线上的xr处。这就意味着，在一个图像中观察到的每个点，在已知的极线上观察到该点的其他图像。这就是epipolarconstraint极线约束：x在右像面上的投影xr必然被约束在er-xr极线上。对于ol-xl上的x，x1，x2，x3都受该约束。极线约束可以用于测试两点是否对应同一3d点。极线约束也可以用两相机间的基本矩阵来描述。
2.如果xl和xr已知，他们的投影线已知。如果两幅图像上的点对应同一点x，则投影线必然交于x。这就意味着x可以用两个像点的坐标计算得到。
基础矩阵 如果已知基础矩阵f，以及一个3d点在一个像面上的像素坐标p，则可以求得在另一个像面上的像素坐标p‘。这个是基础矩阵的作用，可以表征两个相机的相对位置及相机内参数。
下面具体介绍基础矩阵与像素坐标p和p’的关系。
以o1为原点，光轴方向为z轴，另外两个方向为x，y轴可以得到一个坐标系，在这个坐标系下，可以对p，p1（即图中所标p），p2（即图中所标p‘）得到三维坐标，同理，对o2也可以得到一个三维坐标，这两个坐标之间的转换矩阵为［rt］，即通过旋转ｒ和平移ｔ可以将o1坐标系下的点p1（x1，y1，z1），转换成o2坐标系下的p2（x2，y2，z2）。
则可知，p2=r（p1-t）（1）
采用简单的立体几何知识，可以知道
其中，p，p‘分别为p点的像点在两个坐标系下分别得到的坐标（非二维像素坐标）。rp’为极面上一矢量，t为极面上一矢量，则两矢量一叉乘为极面的法向量，这个法向量与极面上一矢量p一定是垂直的，所以上式一定成立。（这里采用转置是因为p会表示为列向量的形式，此处需要为行向量）
采用一个常用的叉乘转矩阵的方法，
将我们的叉乘采用上面的转换，会变成
红框中所标即为本征矩阵e，他描述了三维像点p和p‘之间的关系
有了本征矩阵，我们的基础矩阵也就容易推导了
注意到将p和p‘换成p1和p2式（4）也是成立的，且有
q1=k1p1（6）
q2=k2p2（7）
上式中，k1k2为相机的校准矩阵，描述相机的内参数q1q2为相机的像素坐标代入式（4）中，得
上式中p->q1，p‘->q2
这样我们就得到了两个相机上的像素坐标和基础矩阵f之间的关系了
!销售/维修/收购TDS2022B数字存储示波器小兵/雷&#
实例分析,综合布线系统控制图的识读方法
比亚迪电子：拟158亿元收购捷普电路旗下子公司所有股权
日本noiseken静电放电发生器ESS-2000
Linux的reset复位API说明
视觉定位原理：对极几何与基本矩阵
2020年1-2月份我国移动互联网的运行情况分析
手机安全问题：固态电池是未来手机电池的最佳选择？
C语言的eclipse编译优化方法
光电耦合器的主要作用
由Google支持的Mobvoi已发布了新的TicWath 3 Pro智能手表
在移动通信领域Palor码的重要性
如何使用CMP180进行WLAN功率放大器的动态EVM测试
在freeRTOS环境下，如何用STM32配合CubeMonitor快速获取CPU利用率
腾讯“XR团队调整”！元宇宙“冷却”，科技公司集体转向类“ChatGPT”！
混合IT如何帮助您的企业驾驭新兴技术
视频广告投放新形态崛起，AI场景争夺成主流
导波雷达液位计常见故障_导波雷达液位计故障处理
长寿命应用需要高可靠性组件
华为王军:开放合作加速汽车智能化转型
对极几何 提到对极几何，一定是对二幅图像而言，对极几何实际上是“两幅图像之间的对极几何”，它是图像平面与以基线为轴的平面束的交的几何（这里的基线是指连接摄像机中心的直线），以下图为例：对极几何描述的是左右两幅图像（点x和x’对应的图像）与以cc’为轴的平面束的交的几何！
直线cc’为基线，以该基线为轴存在一个平面束，该平面束与两幅图像平面相交，下图给出了该平面束的直观形象，可以看到，该平面束中不同平面与两幅图像相交于不同直线；
上图中的灰色平面π，只是过基线的平面束中的一个平面（当然，该平面才是平面束中最重要的、也是我们要研究的平面）；
epipolarpoints极点 每一个相机的透镜中心是不同的，会投射到另一个相机像面的不同点上。这两个像点用el和er表示，被称为epipolarpoints极点。两个极点el、er分别与透镜中心ol、or在空间中位于一条直线上。
epipolarplane极面 将x、ol和or三点形成的面称为epipolarplane极面。
epipolarline极线 直线ol-x被左相机看做一个点，因为它和透镜中心位于一条线上。然而，从右相机看直线ol-x，则是像面上的一条线直线er-xr，被称为epipolarline极线。从另一个角度看，极面x-ol-or与相机像面相交形成极线。
极线是3d空间中点x的位置函数，随x变化，两幅图像会生成一组极线。直线ol-x通过透镜中心ol，右像面中对应的极线必然通过极点er。一幅图像中的所有极线包含了该图像的所有极点。实际上，任意一条包含极点的线都是由空间中某一点x推导出的一条极线。
如果两个相机位置已知，则：
1.如果投影点xl已知，则极线er-xr已知，点x必定投影到右像面极线上的xr处。这就意味着，在一个图像中观察到的每个点，在已知的极线上观察到该点的其他图像。这就是epipolarconstraint极线约束：x在右像面上的投影xr必然被约束在er-xr极线上。对于ol-xl上的x，x1，x2，x3都受该约束。极线约束可以用于测试两点是否对应同一3d点。极线约束也可以用两相机间的基本矩阵来描述。
2.如果xl和xr已知，他们的投影线已知。如果两幅图像上的点对应同一点x，则投影线必然交于x。这就意味着x可以用两个像点的坐标计算得到。
基础矩阵 如果已知基础矩阵f，以及一个3d点在一个像面上的像素坐标p，则可以求得在另一个像面上的像素坐标p‘。这个是基础矩阵的作用，可以表征两个相机的相对位置及相机内参数。
下面具体介绍基础矩阵与像素坐标p和p’的关系。
以o1为原点，光轴方向为z轴，另外两个方向为x，y轴可以得到一个坐标系，在这个坐标系下，可以对p，p1（即图中所标p），p2（即图中所标p‘）得到三维坐标，同理，对o2也可以得到一个三维坐标，这两个坐标之间的转换矩阵为［rt］，即通过旋转ｒ和平移ｔ可以将o1坐标系下的点p1（x1，y1，z1），转换成o2坐标系下的p2（x2，y2，z2）。
则可知，p2=r（p1-t）（1）
采用简单的立体几何知识，可以知道
其中，p，p‘分别为p点的像点在两个坐标系下分别得到的坐标（非二维像素坐标）。rp’为极面上一矢量，t为极面上一矢量，则两矢量一叉乘为极面的法向量，这个法向量与极面上一矢量p一定是垂直的，所以上式一定成立。（这里采用转置是因为p会表示为列向量的形式，此处需要为行向量）
采用一个常用的叉乘转矩阵的方法，
将我们的叉乘采用上面的转换，会变成
红框中所标即为本征矩阵e，他描述了三维像点p和p‘之间的关系
有了本征矩阵，我们的基础矩阵也就容易推导了
注意到将p和p‘换成p1和p2式（4）也是成立的，且有
q1=k1p1（6）
q2=k2p2（7）
上式中，k1k2为相机的校准矩阵，描述相机的内参数q1q2为相机的像素坐标代入式（4）中，得
上式中p->q1，p‘->q2
这样我们就得到了两个相机上的像素坐标和基础矩阵f之间的关系了
!销售/维修/收购TDS2022B数字存储示波器小兵/雷&#
实例分析,综合布线系统控制图的识读方法
比亚迪电子：拟158亿元收购捷普电路旗下子公司所有股权
日本noiseken静电放电发生器ESS-2000
Linux的reset复位API说明
视觉定位原理：对极几何与基本矩阵
2020年1-2月份我国移动互联网的运行情况分析
手机安全问题：固态电池是未来手机电池的最佳选择？
C语言的eclipse编译优化方法
光电耦合器的主要作用
由Google支持的Mobvoi已发布了新的TicWath 3 Pro智能手表
在移动通信领域Palor码的重要性
如何使用CMP180进行WLAN功率放大器的动态EVM测试
在freeRTOS环境下，如何用STM32配合CubeMonitor快速获取CPU利用率
腾讯“XR团队调整”！元宇宙“冷却”，科技公司集体转向类“ChatGPT”！
混合IT如何帮助您的企业驾驭新兴技术
视频广告投放新形态崛起，AI场景争夺成主流
导波雷达液位计常见故障_导波雷达液位计故障处理
长寿命应用需要高可靠性组件
华为王军:开放合作加速汽车智能化转型