相机标定为Matlab工具箱

这是一个释放楿机标定为Matlab工具箱 庐 完整的文档 这个文档可能 也被用作一个教程自它包括摄像机标定 一般的校准信息,引用和相关链接。 

这个工具箱中包含的C实现 ,一个开源的计算机视觉库免费  

注意: 请帮我保留这个工具箱,报告给我。 在邮件主题中包括错误的类型,并在体内复制完整的错误消息 谢谢你！

• 去 下载页面 和检索的最新版本完成 相机标定为Matlab工具箱。

这个选择窗口允许您选择工具箱的两种操作模式:标准或内存效率 在標准模式下,所有用于标定的图像从磁盘加载到内存一次,不会再读。 这最小化磁盘访问的总体数量,加速所有的图像处理和图像显示功能 然洏,如果图像很大,或者有很多,那么 内存不足 错误消息可能会遇到。 如果是这种情况,那么新的内存可以使用有效版本的工具箱 在这种模式下,烸一个图像加载一个接一个,从不永久保存在内存中。 
如果您选择运行标准版本的工具箱,你可以切换到其他内存之后的有效模式 内存不足 遇箌错误消息 两种模式的操作是完全兼容的(输入和输出)和可互换的。 

由于两种模式有相同的用户界面,在本文档中,我们选择的标准模式通过點击按钮窗口的顶部 主要标定工具箱窗口在屏幕上(替换模式选择窗口): 

• 现在,您可以使用工具箱进行校准。

• 本节将介绍一个完整的校准基于礻例 总共20(25)的图像平面棋盘 这个例子 让你学习如何使用工具箱的特点:装载 标定图像,提取图像的角落,主要运行 校准引擎,显示结果,控制精度, 添加和抑制图像、undistorting图像导出 校准数据以不同的格式… 这个例子是高度 建议对于那些刚刚开始使用工具箱。
  
• 本节将向您展示如何使用主校准引擎 诤友张的数据脚本模式 经过, 示例中,您还将了解如何改变内在相机模型 选择哪些参数优化。 这个例子是高度 推荐给那些打算使用的主要校准引擎 在自己的matlab脚本文件
  
• 另一个校准的例子在Heikkil閿燂拷数据,表明主 优化引擎non-planar校准平台时同样适用。 尝试它,它只需要30秒跑!
  
• 另一个类似的校准的例子的主要运行优化 引擎Bakstein和Halir的数据 试一试!
  
• 这个例子展示了如何使用工具箱用于校准立体音响系统(内在和外在),整流立体图像,并进行3 d立體三角。 一个新的立体声工具箱调用 stereo_gui 是证明 
  

本部分简要描述的主要功能 校准工具。 

本节包含了一些相关信息的初始步骤 校准:设计校准装置,命名校准 使用图像,图像格式,… 非常有用的开始 为 懒惰的人,甚至提供校准模式! 

本节包含一个功能已经添加到列表 工具箱以来第一个版本嘚文档。 

一个参考文件列表,被用来设计工具箱 

——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————

本节将介绍┅个完整的校准的例子基于共有20(25)的图像平面棋盘。 
这个例子可以让你学习如何使用工具箱的特点:装载 标定图像,提取图像的角落,主要运行 校准引擎,显示结果,控制精度, 添加和抑制图像,undistorting图像,输出校准数据 不同的格式… 这个例子是 强烈推荐对那些刚刚开始使用工具箱 

***的图片也顯示在缩略图格式(这个图像总是可以再生,运行 马赛克 ): 

如果 内存不足 错误消息发生在图像阅读,这意味着你的计算机没有足够的内存来保存的整个图像在本地内存集。 这可以很容易地发生您正在运行的工具箱在128 mb或少笔记本为例 在这种情况下,您可以直接切换到内存工具箱通过运荇的有效版本 calib_gui 并选择内存效率的操作模式。 剩下的步骤校准(网格角落提取和校准)是完全相同的 注意,在内存中有效模式,显示的缩略图不是洎校准图像不加载。 

角落里提取引擎包含一个自动机制计算网格中的格子的数量 这个工具是专门方便当处理大量图像自用户不必手动输叺方块的数量在这两个模式的x和y方向。 然而在一些非常罕见的情况下,这段代码可能无法预测正确的数量的方块 这通常发生在校准镜头与極端扭曲。 此时在角落里提取程序,程序给出了选择用户禁用自动平方计算代码 在那个特殊的模式下,用户将被提示为每平方数的形象。 在這个示例中,是完全适当的继续工作在默认模式(即自动平方计算激活),因此,只需按下“输入”与一个空参数 ( 注意: 通常情况下,应该首先使用角落里提取的代码在这个默认模式,然后,如果需要,处理文档“问题”的一些图片) 

第一校正图像被显示在图2: 

点击四个矩形棋盘上极端的角落 模式。 点击位置后在4所示 人物( 警告: 单击四角上的准确, 最多5像素的角落 否则可能会错过一些角落探测器)。 

点击排序规则: 选择第一个点击点有关嘚起源点参考框架连接到电网 其他三个点的矩形网格可以在任何顺序点击。 这首先点规则尤为重要如果你需要调整外部多个摄像头(即计算几个相机在空间的相对位置) 在处理多个摄像头,同样的网格模式需要不断选择参考系为不同的相机图像(即网格点需要在对应不同的相机視图)。

校准网格的边界被显示在图2: 

请注意,您可以按下“输入”与一个空参数选择默认值 程序自动计算方块的数量在这两个维度,并显示预測电网无失真的角落: 

如果预测角落接近真实图像的角落,然后下面的步骤可以跳过(如果没有多少图像失真)。 这就是现在的形象:在预测的角落昰足够接近真实图像角落 因此,没有必要“帮助”软件来检测图像通过输入一个猜 为径向畸变系数。 按“输入”,自动提取使用这些角落位置作为初始猜测 

然后自动提取图像的角落,并显示在图3(角点周围的蓝色方块显示限制 角落的finder窗口): 

角落里提取的精度约为0.1像素。 

有时候,预测嘚角落不太接近现实图像角落角落允许一个有效的提取 在这种情况下,有必要完善预测进入一个猜角落的镜头畸变系数。 这种情况发生在15形象 图片,预测的角落: 

中观察到的一些预测角落网格足够远的真实网格角向拔错了结果。 原因:图像失真 为了帮助系统做一个更好的猜测角落位置,用户是免费的手动输入猜测第一透镜畸变系数 kc (准确地说,它是完整的畸变系数向量的第一个元素 kc 在这个描述)。

根据这一扭曲,新的预測角落位置是: 

如果新的预测角落足够接近真实图像角落(这是这里的情况),输入任何非空字符串(如 1 这个问题的) 对畸变满意吗?  亚像素角位置然後计算使用新的预测位置与图像失真)(初始猜测: 

如果我们不满意,我们将会进入一个空字符串的问题 对畸变满意吗? (通过直接按下“输入”),然后嘗试一个新的畸变系数 kc 。 你可以任意多次重复这个过程,直到满意预测( 注: 扭曲的价值观在这个阶段只是用来帮助角落提取和不会影响下一个主要的校准步骤 换句话说,既不使用这些值作为最后的畸变系数,也用作真正的初始猜测畸变系数估计通过校准优化阶段)。 

最后发现角落在圖3所示: 

其余5上重复相同的过程图片(16 - 20) 然而在这些图像,不使用预测失真选项,即使提取的角落不是完全正确。 在接下来的步骤中,我们将改正(在這个例子中,我们可以没有这个选项用于图像15,但那是相当有用的插图) 

角落里提取后,matlab数据文件 calib_data.mat 是自动生成的。 这个文件包含所有的信息聚集茬角落里提取阶段(图像坐标,相应的3 d网格坐标,网格大小,…) 这个文件仅在紧急情况下,当创建例如matlab突然终止之前储蓄。 加载这个文件将阻止你鈈得不再次单击图像 

在自己的校准,当有大量的失真图像中,该计划可能无法自动计算网格中的格子的数量。 在这种情况下,广场的数量在X和Y方向必须手动输入 这不应该发生在现在的例子。 

另一个问题可能出现在执行自己的校准 如果透镜扭曲真的太严重(例如鱼眼镜头),基于一個简单的指导工具畸变系数 kc 可能不足以提供足够好的初始猜测角落的位置。 对于一些困难的情况下,脚本程序包括在工具箱,允许一个完全手冊角落提取(即每个角落一个点击) ——即使角落本身被错误检测到)。 显然,这个角落里提取方法可能非常耗时,当应用于大量的图像 因此建議使用它作为最后的手段,当一切已经失败了。 大多数用户应该永远不必担心这个,也不可能在这个礼物校准的例子 

校准是在两个步骤完成:艏先初始化, 然后非线性优化。 
非线性优化步骤 最小化总reprojection错误(最小二乘意义上的) 所有校准参数(9自由度内在:焦, 主点、畸变系数和6 * 20自由度外在= > 129的參数) 校准的完整描述 参数,点击它 。 的 优化是通过与显式迭代梯度下降法

校准参数存储在一个数量 变量 他们的完整描述,访问这个 。 请注意 的偏度系数 alpha_c 和第六阶径向畸变系数(最后的条目 kc )没有(这估计 是默认模式) 因此,x和y像素之间的角度 轴是90度。 在大多数实际情况下,这是一个非瑺好 假设 但是,后来,引入偏差的一种方式

观察到只有11梯度下降迭代是必需的 以达到最小值。 这意味着只有11个评价的 reprojection函数+雅可比矩阵计算和反演 的原因 的快速收敛的初始猜测的质量 参数计算的初始化过程。 

现在,忽略系统的建议,以减少失真模型 reprojection错误仍太大做出判断模型的复雜性。 这主要是因为一些网格的角落没有非常精确提取的图像 
输入空字符串(只要按“输入”)的问题 数量(s)的图像(s)显示([]=所有图片) 来表示 你想顯示所有图片:

下图显示了前四个图像(红色十字架)检测到角落和reprojected网格角落(圈)。 

为了退出错误分析工具,右键单击任何图(稍后您可以了解使用该選项) 

回顾错误情节,注意reprojection误差非常大的跨越 大量的数据。 原因是我们没有做 一个细心的工作,提取高度扭曲的角落 图像(一份更好的工作,也可鉯做预测 扭曲选项) 不过,我们现在可以证明这句话是正确的 再计算图像角落自动对所有图像。 这是 方式是:按 Recomp 角落 按钮

这个问题 数量(s)的图潒处理([]=(s) 图像) 按“输入”与一个空参数重新计算 角落里的所有图像。 输入的模式提取: 自动模式(汽车)使用re-projected网格作为初始猜测 角落里的位置,手动模式让用户提取 角落里手动提取(传统的角落 方法) 在目前的情况下,reprojected网格点 非常接近实际的图像。 因此,我们选择 自动模式:按“输入”与一个涳字符串 的角落里 然后重新计算所有图像。 matlab窗口应该是什么样子 如: 

观察到只有6个迭代是必要的 收敛,没有初始化(执行步骤 优化从以前的校准结果) 这两个 值 0.12668 和 0.12604 的标准偏差 reprojection错误(像素)在x和y方向 分别。 观察到的不确定性也校准参数估计 数值是大约三倍标准差。 

右键单击后误差图(退出误差分析工具),点击 外在的展示 显示新的3 d网格对相机的位置: 

这个工具 分析错误 允许您检查的点对应于大错误 点击 分析错误 并点击这里顯示的图地区(右上角图角): 

这个例子展示了如何使用工具箱用于校准一个立体系统(内在和外在)和使用立体标定的结果为立体图像校正和3 d立体彡角测量。

在命令行窗口输入stereo_gui运行立体标定工具箱如下图：

输入你的两个校正结果的名字。

（最好之前先把你的两个文件改为这个默认嘚名字这样此处可以直接按回车，两个文件都加载进来后会显示两个文件的参数，如下图）

捕获你的图像时确保你没有在捕获左右圖像时移动校正模式。空间中的模式可以(也应该)只在两组（左、右）图像间移动

不一致的另一个原因是，你选择一组在模式上不同的点運行独立的校准（导致两个文件Calib_Results_lef）确保在两个独立的校准中选择了相同的点。换句话说点需要一致。

因为提供了原始的图像这两个初始的独立的校准可以得到Calib_Results_left.mat和Calib_Results_right.mat。通过角点提取的过程需要牢记的是，对于每对图像必须选择相同的一组左、右图像的点，即相同的网格点和相同的原点（为了保证相同的模式参考系）因此，确保相同的起源点(第一次点击)一直被选中是至关重要的一个简单的方法是总選择网格的左上角为原点（这样做是为了生成两个提供的校准文件）。在您自己的立体标定中可以使用不同的策略，如标志的起源点在網格模式本身

校准超过2相机怎么样?

如果你有兴趣校准联合一组N相机N大于2,你可能会感兴趣 的 分布式的 从 的 。 这是一个非常漂亮的和直观的Matlab笁具箱,包括我们的相机标定工具箱