图像处理之逆透视变换

《图像处理之逆透视变换》由会员分享，可在线阅读，更多相关《图像处理之逆透视变换（54页珍藏版）》请在装配图网上搜索。

1、单击此处编辑母版标题样式,,单击此处编辑母版文本样式,,第二级,,第三级,,第四级,,第五级,,*,,*,图像处理之逆透视变换,,——智能车背景理论知识,,系列专题讲座之一,,1,,目录,,第零章 前言,,第一章,基础知识,,第二章,基本线性变换,,第三章,智能车摄像头透视变换阵,,第四章 不,可逆与信息丢失,,第五章 逆透视变换阵的求解与应用,,第六章,用逆透视变换阵处理图形,,附 线性变换阵在空间定位中的应用,2,,第零章 前言,,本文以智能车摄像头图像处理为背景,,解决了根据图像信息逆透视变换得到赛道信息的问题,,以线性变换阵作为理论基础给出了矩阵变换公式,,3,,第一章 基础知识,,点

2、的表示,,向量的表示,,线性变换,,线性变换的表示,,4,,点的表示,,三维空间中的点用1×4的矩阵表示：,,(x, y, z, 1),,一般的：,,(x, y, z, w) 与 (x/w, y/w, z/w, 1),,表示同一点,,其中 w==1 为标准型,,5,,向量的表示,,三维空间中的向量用1×4的矩阵表示：,,(x, y, z, 0),,最后一位不得非零，否则表示点,,6,,点与向量之间的运算,,向量±向量=向量,,点±向量=点,,点±点±点=点,,,7,,线性变换,,变换即映射，记为：,,满足如下两个条件的变换为线性变换,,,,或简记为：,,8,,四维向量空间,,三维点由1×4的矩

3、阵表示,,三维向量由1×4的矩阵表示,,1×4的矩阵构成四维向量空间,,9,,四维向量空间中线性变换的表示,,对于三维空间中的点和向量，都由四维向量表示,,四维向量空间中线性变换可由四阶方阵表示,,,10,,四维向量空间中线性变换的表示,,若将四维向量看成行向量，则线性变换可表示成对四维向量右乘变换阵的形式：,,,,,A是线性变换阵，前者表示三维点，后者表示三维向量,,乘法按照矩阵相乘的计算法则计算,,11,,线性变换的表示,,也可将四维向量看成列向量，此时线性变换可表示为左乘线性变换阵,,相应的变换阵转置,,12,,第二章基本线性变换,,恒等,变换,,变换阵分区,,平移变换,,缩放变换,,旋

4、转变换,,切变变换,,投影变换,,平行投影变换,,透视投影变换,,组合变换,,逆变换,13,,恒等变换,,任意三维点与向量乘以单位阵后不变,,14,,变换阵分区,,平移变换区,透视变换区,旋转缩放与切变变换区,15,,平移变换,,平移变换只对点有效，对向量无效,,16,,缩放变换,,主对角线前三维能分别缩放某个维度,,第四维整体缩放所有维度,,17,,旋转变换,,二维旋转变换：,,已知点,,求该点绕原点逆时针旋转,θ后的坐标,,18,,二维旋转变换,,19,,推广到三维旋转变换,,沿Z轴正方向旋转的旋转变换阵,,（旋转方向用右手法则确定）,,20,,各个方向的旋转变换阵,,21,,切变变换,,

5、在第x列y行（第一列第二行）放一个系数k,,点的y、z坐标不变，x坐标增加,,y越大，x增加得越多,,正方形被拉伸为梯形,,22,,投影变换,,平行投影变换（Z方向）,,,23,,投影变换,,透视投影变换,,空间中任意一点与(-d,0,0)点的连线与Y,Z平面的交点,,,24,,投影变换,,(-d,0,0)为投影点，Y,Z平面为投影面,,同理，以(0,-d,0)为投影点，X,Z平面为投影面的变换阵，以(0,0,-d)为投影点，X,Y平面为投影平面的透视变换阵分变为：,,25,,组合变换,,将两个或以上基本变换阵相乘，得到组合变换阵,,相乘的顺序表示基本变换执行的顺序,,26,,逆变换,,变换阵

6、的逆矩阵表示其对应变换的逆变换,,27,,第三章 智能车摄像头透视变换阵,,坐标系,,坐标变换,,坐标变换阵,,透视变换阵,,28,,坐标系,,世界坐标系（W）,,在地面选取两个垂直的方向为X,Y轴,,竖直向上为Z轴,,智能车坐标系（C）,,正右方为X轴,,前进方向为Y轴,,竖直向上为Z轴,,摄像头坐标系（G）,,视线方向为Z轴负方向,,正右方为X轴,,正上方为Y轴,29,,坐标变换,,将摄像头坐标与智能车坐标重合（摄像头质心置于智能车质心处并向下看）,,将摄像头向上平移一个高度h,,摄像头沿X轴旋转一个仰角,,摄像头沿着Z轴方向透视,,如此可由智能车坐标得摄像头坐标,,30,,坐标变换,,将

7、摄像头固定，上述过程可等价为：,,智能车以及赛道向下平移一个高度h,,智能车以及赛道沿X负方向旋转一个仰角,,智能车以及赛道沿着摄像头Z轴方向透视,,31,,坐标变换阵,,向下平移（h为平移高度）,,32,,坐标变换阵,,沿X轴负方向旋转,,33,,坐标变换阵,,沿Z轴方向透视变换,,34,,透视变换阵,,将上述三者相乘即可得到透视变换阵,,35,,第四章 不可逆与信息丢失,,透视变换阵不可逆,,不可逆的意义,,36,,透视变换阵不可逆,,上一章得到的透视变换阵第三列为零,,则其可表示为其他三列的线性组合,,故该矩阵的不满秩,,故该矩阵不可逆,,37,,透视变换阵不可逆,,该矩阵在计算时的一个

8、因子已经是奇异的了,,这个奇异性导致相乘后的矩阵也是奇异的,,归根结底在于投影变换将三维空间的点映射到二维空间，信息丢失。,,不同的点可能映射到相同的点，故无法求出其逆变换,,38,,不可逆的意义,,从映射关系上看，不可逆是因为不是一一映射，不同的值映射到相同的象,,从信息的角度看，变换时有部分信息丢失，所以无法还原,,从空间的角度看，三维空间变为二维空间，丢失了一个维度,,从矩阵的角度看，矩阵奇异，第三列的代数余子式为零，不存在逆矩阵。,,39,,第五章 逆透视变换阵的求解与应用,补充信息使透视变换阵可逆,,求逆矩阵,,补充信息的几何意义,,逆透视变换阵的应用,,40,,补充信息使透视变换阵

9、可逆,,只要将透视变换阵的主对角线全部补充为1即可,,41,,求逆矩阵,,将修改的透视变换阵求逆,,42,,求逆矩阵,,如此我们便得到了逆透视变换阵,,（以下将三角函数简记为首字母）,,43,,补充信息的几何意义,,假设被变换点为P，则：,,44,,补充信息的几何意义,,为求得小车坐标系下点的坐标，需知道摄像头坐标下的Z坐标（深度）。,,由此可见，透视变换阵新加入的信息是摄像头看到的每个像素点的深度信息。,,根据上述公式，只要知道点在图像上的位置以及深度信息，即可求得小车坐标系下对应的坐标。,,而根据摄像头图像只能知道点在图像上的位置。如何得到深度信息呢？,45,,逆透视变换阵的应用,,上一节

10、中发现，为完成逆透视变换，需先知道摄像头的深度信息，而实际上摄像头本身无法测得该信息。,,回忆透视变换的过程发现，透视变换阵将三维空间映射到二维空间，补充信息后的透视变换将三维空间映射到三维空间。,,即如果知道摄像头的深度信息，可以还原出小车坐标系下完整的三维信息,,而赛道本身是二维的，我们不需要逆透视变换出三维空间，故现在的思路是，利用赛道是二维的这一点解出摄像头深度信息。,46,,逆透视变换阵的应用,,已知智能车坐标系下赛道的Z坐标为0，故,,47,,逆透视变换阵的应用,,代入原公式可得,,48,,第六章 用逆透视变换阵处理图形,,图像与图形的区别,,赛道的图形表示方法,,对图形逆透视变换

11、,,49,,图像与图形的区别,,图像与图形就是通常所说的位图与矢量图,,图像由像素矩阵构成，每个像素记录通道的强度,,图形由描述图形的点、曲线方程、方程的参数组成。,,摄像头捕获的是图像，即像素矩阵,,对摄像头拍摄的赛道进行提取的本质就是将图像提取为图形的过程。,,50,,赛道的图形表示方法,,最常见的赛道的图形表示方法是离散点列,,即用离散点列的连线作为赛道的近似描述,,其中点的Y坐标为该点在图像上对应的行号,,点的X坐标为该点在所在行上的左右偏移量,,这种方法可以表示赛道的边线，也可以表示中心线,,51,,对图形逆透视变换,,如果对图像进行逆透视变换，则要对每个像素点所处位置进行变换，计算量过大，而且还要在像素之间插值，这样做不现实,,对图形逆透视变换，只需对离散点列变换，计算量是完全可以接受的。,,,52,,对图形逆透视变换,,首先分析图像，得到每一行上赛道边线或中线的坐标，如此得到一列离散点列,,每一个点有一个横纵坐标，单位为像素，根据感光阵列的大小（若干毫米）将坐标变换到实际摄像头上，单位变为米,,根据每个点的X、Y坐标计算出Z（深度）,,将每个点的坐标代入逆透视变换公式中得到智能车坐标系下的坐标,,,53,,附 线性变换阵在空间定位中的应用,,54,,