Global SfM和ncremental SfM知识讲解
3d视觉的核心问题是恢复场景结构、相机位姿、和相机参数，而解决方式有两种，一种是off-line的sfm(structure from motion)，一种on-line的slam(simultaneous localization and mapping)。slam 与sfm的区别在于，大多数slam系统是需要提前标定相机，而sfm 则不需要提前标定(通常所说的三维重建和slam的区别，严格意义上应该是sfm 和slam的区别)。
sfm 可以分为以下几类：global sfm、incremental sfm、hybrid sfm、distributed sfm，这里主要讲解global sfm和ncremental sfm(主要集中在global sfm)。
一、global sfm workflow:
global sfm 的内容包括rotation averaging 和anslation averaging。
rotation averaging
观测值：一组相机pose的相对rotation
目标：计算相机的绝对旋转
优化：l2范数，采用l2范数的原因有两个：1）估计一个好的旋转初始值 2）收敛快
理论基础：
translation averaging
观测值:同rotation averaging 一样，观测值是两一组pose之间的相对translation
目标：计算相机的绝对旋转
优化：l1范数，原因是l1 范数对噪声鲁邦
理论基础：
translation averaging 在global sfm 中计算困难，原因如下：
1、 两视图之间的运动不能恢复尺度(tvec 是从本质矩阵中恢复出来的，但是本质矩阵的秩是5，不包含尺度，所以global sfm 是属于三焦张量问题，即是至少tack 3帧才能进行运算。同时，global sfm 容易出现退化现象，当相机都处于同一条线上时候，对于无人机图像来说，这个时候轨迹就会出现bending map。
解决bending map 的手段有三点：
（1）提前对相机标定
（2）以无人机为例，飞行航线不要在恒定高度上飞行
（3）融合其他传感器，如gps 位置约束等 退化的case 如下：
以上分别为侧面图和俯视图 以上结果是fusion low-cost gps的效果，但是依旧可以看出有弯曲的现象(不融合的效果特别差) 飞行方式改变，fusion low-cost gps，退化现象消失，如下：
从侧面图和俯视图可以看出，当飞行方式发生改变，global sfm 退化现象消失。
2、 global sfm translation averaging第二个的痛点是对噪声敏感，其不像incremental sfm，不断的ransac 和local ba 来减少bad egs的影响。 如何去改善global sfm 的鲁棒性：
1）如果rotation 是已知的（不够精确)，提供global rotation初始值给global sfm pipeline ，利用这些初始值在ba中增加relative rotation constraint
2）如果位置已知，sfm 增加位置约束，即最小化先验位置和估计的位置之间的gap，位置约束可以替代slam回环(如果是low cost gps ,位置约束不能保证精度，但可以起到一个control strcture 的作用(ar 常用)—参考vins-fusion思想 ，这个openmvg 中已经实现位置约束。
二、incremental sfm workflow:
增量sfm这里不准备太多的叙述，需要注意的是初始化选择像对的基准：
enough matching
big baseline
三、global sfm和incremental sfm 优缺点和应用场景
应用场景：
1.当考虑速度不考虑精度的时候，并且当图像overlap 比较大的时候，用global sfm 可以达到理想效果，因为有更多的数据去average（feature track based translation averaging）
2.如果考虑精度，选择incremental sfm ，但是在大场景下，incremental sfm会随着图像的增多，速度越来越慢，同时由于误差的累计，会出现drfit ，这种情况下可以采用distributed sfm。
变频器如何选型
未来10年是芯片发展极为关键的历史窗口期
大数据的价值主要体现在哪里
以STM32为主控的温度单反馈控制系统全面解析
通过TPT命令行自动化执行测试
Global SfM和ncremental SfM知识讲解
MAX4370应用电路
为提高市场竞争力，宁德时代决定使用CTP高集成动力电池开发平台
关于单片机串行口红外通信的设计
各厂商纷纷布局高镍电池 虽有障碍但前景广阔
如何推动Mini LED产业高质量成长?
户外led显示屏的特点是什么？优质生产直销供应商欢迎来电咨询！
澜起科技研发应用于云计算数据中心的人工智能处理器芯片
2017年全球分销与供应链领袖峰会
解锁AI购机票的新方式,用Flex Watch抢廉价机票
Vishay推出宽接头薄膜片式电阻---MCW0406 AT
华米Amazfit米动手表青春版与AppleWatch相比有哪些优势
科胜讯DOCSIS 2.0+芯片解决方案参数特点分析
工业网关断网后数据如何不丢失
变频器静态调试的检查及参数设置
sfm 可以分为以下几类：global sfm、incremental sfm、hybrid sfm、distributed sfm，这里主要讲解global sfm和ncremental sfm(主要集中在global sfm)。
一、global sfm workflow:
global sfm 的内容包括rotation averaging 和anslation averaging。
rotation averaging
观测值：一组相机pose的相对rotation
目标：计算相机的绝对旋转
优化：l2范数，采用l2范数的原因有两个：1）估计一个好的旋转初始值 2）收敛快
理论基础：
translation averaging
观测值:同rotation averaging 一样，观测值是两一组pose之间的相对translation
目标：计算相机的绝对旋转
优化：l1范数，原因是l1 范数对噪声鲁邦
理论基础：
translation averaging 在global sfm 中计算困难，原因如下：
1、 两视图之间的运动不能恢复尺度(tvec 是从本质矩阵中恢复出来的，但是本质矩阵的秩是5，不包含尺度，所以global sfm 是属于三焦张量问题，即是至少tack 3帧才能进行运算。同时，global sfm 容易出现退化现象，当相机都处于同一条线上时候，对于无人机图像来说，这个时候轨迹就会出现bending map。
解决bending map 的手段有三点：
（1）提前对相机标定
（2）以无人机为例，飞行航线不要在恒定高度上飞行
（3）融合其他传感器，如gps 位置约束等 退化的case 如下：
以上分别为侧面图和俯视图 以上结果是fusion low-cost gps的效果，但是依旧可以看出有弯曲的现象(不融合的效果特别差) 飞行方式改变，fusion low-cost gps，退化现象消失，如下：
从侧面图和俯视图可以看出，当飞行方式发生改变，global sfm 退化现象消失。
2、 global sfm translation averaging第二个的痛点是对噪声敏感，其不像incremental sfm，不断的ransac 和local ba 来减少bad egs的影响。 如何去改善global sfm 的鲁棒性：
1）如果rotation 是已知的（不够精确)，提供global rotation初始值给global sfm pipeline ，利用这些初始值在ba中增加relative rotation constraint
2）如果位置已知，sfm 增加位置约束，即最小化先验位置和估计的位置之间的gap，位置约束可以替代slam回环(如果是low cost gps ,位置约束不能保证精度，但可以起到一个control strcture 的作用(ar 常用)—参考vins-fusion思想 ，这个openmvg 中已经实现位置约束。
二、incremental sfm workflow:
增量sfm这里不准备太多的叙述，需要注意的是初始化选择像对的基准：
enough matching
big baseline
三、global sfm和incremental sfm 优缺点和应用场景
应用场景：
1.当考虑速度不考虑精度的时候，并且当图像overlap 比较大的时候，用global sfm 可以达到理想效果，因为有更多的数据去average（feature track based translation averaging）
2.如果考虑精度，选择incremental sfm ，但是在大场景下，incremental sfm会随着图像的增多，速度越来越慢，同时由于误差的累计，会出现drfit ，这种情况下可以采用distributed sfm。
变频器如何选型
未来10年是芯片发展极为关键的历史窗口期
大数据的价值主要体现在哪里
以STM32为主控的温度单反馈控制系统全面解析
通过TPT命令行自动化执行测试
Global SfM和ncremental SfM知识讲解
MAX4370应用电路
为提高市场竞争力，宁德时代决定使用CTP高集成动力电池开发平台
关于单片机串行口红外通信的设计
各厂商纷纷布局高镍电池 虽有障碍但前景广阔
如何推动Mini LED产业高质量成长?
户外led显示屏的特点是什么？优质生产直销供应商欢迎来电咨询！
澜起科技研发应用于云计算数据中心的人工智能处理器芯片
2017年全球分销与供应链领袖峰会
解锁AI购机票的新方式,用Flex Watch抢廉价机票
Vishay推出宽接头薄膜片式电阻---MCW0406 AT
华米Amazfit米动手表青春版与AppleWatch相比有哪些优势
科胜讯DOCSIS 2.0+芯片解决方案参数特点分析
工业网关断网后数据如何不丢失
变频器静态调试的检查及参数设置