透视变形矩形的比例

StackOverflow https://stackoverflow.com/questions/1194352

题

给定一张被透视扭曲的矩形的二维图片：

enter image description here

我知道这个形状原本是一个矩形，但我不知道它原来的大小。

如果我知道这张图片中角点的像素坐标，我如何计算原始比例，即矩形的商（宽度/高度）？

（背景：目标是自动使矩形文档的照片不失真，边缘检测可能通过霍夫变换完成）

更新：

关于是否有可能根据给定的信息确定宽度：高度比，已经存在一些讨论。我天真的想法是这一定是可能的，因为我想不出有什么办法可以将 1:4 的矩形投影到上面描绘的四边形上。该比率显然接近 1:1，因此应该有一种方法可以用数学方法确定它。然而，除了我的直觉猜测之外，我没有任何证据证明这一点。

我还没有完全理解下面提出的论点，但我认为一定有一些我们在这里遗漏的隐含假设，并且有不同的解释。

然而，经过几个小时的搜索，我终于找到了一些与该问题相关的论文。我正在努力理解其中使用的数学，到目前为止还没有成功。特别是第一篇论文似乎准确地讨论了我想做的事情，不幸的是没有代码示例和非常密集的数学。

  • 张正友，何立伟，“白板扫描与图像增强”http://research.microsoft.com/en-us/um/people/zhang/papers/tr03-39.pdf 第11页

    “由于透视变形，矩形的图像看起来是四边形。然而，由于我们知道它是空间中的矩形，因此我们能够估计相机的焦距和矩形的长宽比。”

  • 罗伯特·M。HARALICK“从矩形的透视投影确定相机参数”http://portal.acm.org/itation.cfm?id=87146

    “我们展示了如何使用 3D 空间中未知大小和位置的矩形的 2D 透视投影来确定相对于矩形平面的相机视角参数。”

有帮助吗？

解决方案

这是我在读完论文后尝试回答我的问题

我在 SAGE 中操作了方程一段时间，并用 C 风格提出了这个伪代码：


// in case it matters: licensed under GPLv2 or later
// legend:
// sqr(x)  = x*x
// sqrt(x) = square root of x

// let m1x,m1y ... m4x,m4y be the (x,y) pixel coordinates
// of the 4 corners of the detected quadrangle
// i.e. (m1x, m1y) are the cordinates of the first corner, 
// (m2x, m2y) of the second corner and so on.
// let u0, v0 be the pixel coordinates of the principal point of the image
// for a normal camera this will be the center of the image, 
// i.e. u0=IMAGEWIDTH/2; v0 =IMAGEHEIGHT/2
// This assumption does not hold if the image has been cropped asymmetrically

// first, transform the image so the principal point is at (0,0)
// this makes the following equations much easier
m1x = m1x - u0;
m1y = m1y - v0;
m2x = m2x - u0;
m2y = m2y - v0;
m3x = m3x - u0;
m3y = m3y - v0;
m4x = m4x - u0;
m4y = m4y - v0;


// temporary variables k2, k3
double k2 = ((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y - m1y*m4x) /
            ((m2y - m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x) ;

double k3 = ((m1y - m4y)*m2x - (m1x - m4x)*m2y + m1x*m4y - m1y*m4x) / 
            ((m3y - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y - m3y*m4x) ;

// f_squared is the focal length of the camera, squared
// if k2==1 OR k3==1 then this equation is not solvable
// if the focal length is known, then this equation is not needed
// in that case assign f_squared= sqr(focal_length)
double f_squared = 
    -((k3*m3y - m1y)*(k2*m2y - m1y) + (k3*m3x - m1x)*(k2*m2x - m1x)) / 
                      ((k3 - 1)*(k2 - 1)) ;

//The width/height ratio of the original rectangle
double whRatio = sqrt( 
    (sqr(k2 - 1) + sqr(k2*m2y - m1y)/f_squared + sqr(k2*m2x - m1x)/f_squared) /
    (sqr(k3 - 1) + sqr(k3*m3y - m1y)/f_squared + sqr(k3*m3x - m1x)/f_squared) 
) ;

// if k2==1 AND k3==1, then the focal length equation is not solvable 
// but the focal length is not needed to calculate the ratio.
// I am still trying to figure out under which circumstances k2 and k3 become 1
// but it seems to be when the rectangle is not distorted by perspective, 
// i.e. viewed straight on. Then the equation is obvious:
if (k2==1 && k3==1) whRatio = sqrt( 
    (sqr(m2y-m1y) + sqr(m2x-m1x)) / 
    (sqr(m3y-m1y) + sqr(m3x-m1x))


// After testing, I found that the above equations 
// actually give the height/width ratio of the rectangle, 
// not the width/height ratio. 
// If someone can find the error that caused this, 
// I would be most grateful.
// until then:
whRatio = 1/whRatio;

更新：以下是这些方程的确定方法：

以下是代码中 智者. 。可以通过以下网址在线访问： http://www.sagenb.org/home/pub/704/。（Sage在解方程方面确实很有用，并且可以在任何浏览器中使用，请查看）

# CALCULATING THE ASPECT RATIO OF A RECTANGLE DISTORTED BY PERSPECTIVE

#
# BIBLIOGRAPHY:
# [zhang-single]: "Single-View Geometry of A Rectangle 
#  With Application to Whiteboard Image Rectification"
#  by Zhenggyou Zhang
#  http://research.microsoft.com/users/zhang/Papers/WhiteboardRectification.pdf

# pixel coordinates of the 4 corners of the quadrangle (m1, m2, m3, m4)
# see [zhang-single] figure 1
m1x = var('m1x')
m1y = var('m1y')
m2x = var('m2x')
m2y = var('m2y')
m3x = var('m3x')
m3y = var('m3y')
m4x = var('m4x')
m4y = var('m4y')

# pixel coordinates of the principal point of the image
# for a normal camera this will be the center of the image, 
# i.e. u0=IMAGEWIDTH/2; v0 =IMAGEHEIGHT/2
# This assumption does not hold if the image has been cropped asymmetrically
u0 = var('u0')
v0 = var('v0')

# pixel aspect ratio; for a normal camera pixels are square, so s=1
s = var('s')

# homogenous coordinates of the quadrangle
m1 = vector ([m1x,m1y,1])
m2 = vector ([m2x,m2y,1])
m3 = vector ([m3x,m3y,1])
m4 = vector ([m4x,m4y,1])


# the following equations are later used in calculating the the focal length 
# and the rectangle's aspect ratio.
# temporary variables: k2, k3, n2, n3

# see [zhang-single] Equation 11, 12
k2_ = m1.cross_product(m4).dot_product(m3) / m2.cross_product(m4).dot_product(m3)
k3_ = m1.cross_product(m4).dot_product(m2) / m3.cross_product(m4).dot_product(m2)
k2 = var('k2')
k3 = var('k3')

# see [zhang-single] Equation 14,16
n2 = k2 * m2 - m1
n3 = k3 * m3 - m1


# the focal length of the camera.
f = var('f')
# see [zhang-single] Equation 21
f_ = sqrt(
         -1 / (
          n2[2]*n3[2]*s^2
         ) * (
          (
           n2[0]*n3[0] - (n2[0]*n3[2]+n2[2]*n3[0])*u0 + n2[2]*n3[2]*u0^2
          )*s^2 + (
           n2[1]*n3[1] - (n2[1]*n3[2]+n2[2]*n3[1])*v0 + n2[2]*n3[2]*v0^2
          ) 
         ) 
        )


# standard pinhole camera matrix
# see [zhang-single] Equation 1
A = matrix([[f,0,u0],[0,s*f,v0],[0,0,1]])


#the width/height ratio of the original rectangle
# see [zhang-single] Equation 20
whRatio = sqrt (
               (n2*A.transpose()^(-1) * A^(-1)*n2.transpose()) / 
               (n3*A.transpose()^(-1) * A^(-1)*n3.transpose())
              )

c 代码中的简化方程由下式确定

print "simplified equations, assuming u0=0, v0=0, s=1"
print "k2 := ", k2_
print "k3 := ", k3_
print "f  := ", f_(u0=0,v0=0,s=1)
print "whRatio := ", whRatio(u0=0,v0=0,s=1)

    simplified equations, assuming u0=0, v0=0, s=1
    k2 :=  ((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y - m1y*m4x)/((m2y
    - m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x)
    k3 :=  ((m1y - m4y)*m2x - (m1x - m4x)*m2y + m1x*m4y - m1y*m4x)/((m3y
    - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y - m3y*m4x)
    f  :=  sqrt(-((k3*m3y - m1y)*(k2*m2y - m1y) + (k3*m3x - m1x)*(k2*m2x
    - m1x))/((k3 - 1)*(k2 - 1)))
    whRatio :=  sqrt(((k2 - 1)^2 + (k2*m2y - m1y)^2/f^2 + (k2*m2x -
    m1x)^2/f^2)/((k3 - 1)^2 + (k3*m3y - m1y)^2/f^2 + (k3*m3x -
    m1x)^2/f^2))

print "Everything in one equation:"
print "whRatio := ", whRatio(f=f_)(k2=k2_,k3=k3_)(u0=0,v0=0,s=1)

    Everything in one equation:
    whRatio :=  sqrt(((((m1y - m4y)*m2x - (m1x - m4x)*m2y + m1x*m4y -
    m1y*m4x)/((m3y - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y - m3y*m4x) -
    1)*(((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y - m1y*m4x)/((m2y -
    m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x) - 1)*(((m1y -
    m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y - m1y*m4x)*m2y/((m2y - m4y)*m3x
    - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x) - m1y)^2/((((m1y - m4y)*m2x -
    (m1x - m4x)*m2y + m1x*m4y - m1y*m4x)*m3y/((m3y - m4y)*m2x - (m3x -
    m4x)*m2y + m3x*m4y - m3y*m4x) - m1y)*(((m1y - m4y)*m3x - (m1x -
    m4x)*m3y + m1x*m4y - m1y*m4x)*m2y/((m2y - m4y)*m3x - (m2x - m4x)*m3y
    + m2x*m4y - m2y*m4x) - m1y) + (((m1y - m4y)*m2x - (m1x - m4x)*m2y +
    m1x*m4y - m1y*m4x)*m3x/((m3y - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y
    - m3y*m4x) - m1x)*(((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y -
    m1y*m4x)*m2x/((m2y - m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x)
    - m1x)) + (((m1y - m4y)*m2x - (m1x - m4x)*m2y + m1x*m4y -
    m1y*m4x)/((m3y - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y - m3y*m4x) -
    1)*(((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y - m1y*m4x)/((m2y -
    m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x) - 1)*(((m1y -
    m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y - m1y*m4x)*m2x/((m2y - m4y)*m3x
    - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x) - m1x)^2/((((m1y - m4y)*m2x -
    (m1x - m4x)*m2y + m1x*m4y - m1y*m4x)*m3y/((m3y - m4y)*m2x - (m3x -
    m4x)*m2y + m3x*m4y - m3y*m4x) - m1y)*(((m1y - m4y)*m3x - (m1x -
    m4x)*m3y + m1x*m4y - m1y*m4x)*m2y/((m2y - m4y)*m3x - (m2x - m4x)*m3y
    + m2x*m4y - m2y*m4x) - m1y) + (((m1y - m4y)*m2x - (m1x - m4x)*m2y +
    m1x*m4y - m1y*m4x)*m3x/((m3y - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y
    - m3y*m4x) - m1x)*(((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y -
    m1y*m4x)*m2x/((m2y - m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x)
    - m1x)) - (((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y -
    m1y*m4x)/((m2y - m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x) -
    1)^2)/((((m1y - m4y)*m2x - (m1x - m4x)*m2y + m1x*m4y -
    m1y*m4x)/((m3y - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y - m3y*m4x) -
    1)*(((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y - m1y*m4x)/((m2y -
    m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x) - 1)*(((m1y -
    m4y)*m2x - (m1x - m4x)*m2y + m1x*m4y - m1y*m4x)*m3y/((m3y - m4y)*m2x
    - (m3x - m4x)*m2y + m3x*m4y - m3y*m4x) - m1y)^2/((((m1y - m4y)*m2x -
    (m1x - m4x)*m2y + m1x*m4y - m1y*m4x)*m3y/((m3y - m4y)*m2x - (m3x -
    m4x)*m2y + m3x*m4y - m3y*m4x) - m1y)*(((m1y - m4y)*m3x - (m1x -
    m4x)*m3y + m1x*m4y - m1y*m4x)*m2y/((m2y - m4y)*m3x - (m2x - m4x)*m3y
    + m2x*m4y - m2y*m4x) - m1y) + (((m1y - m4y)*m2x - (m1x - m4x)*m2y +
    m1x*m4y - m1y*m4x)*m3x/((m3y - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y
    - m3y*m4x) - m1x)*(((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y -
    m1y*m4x)*m2x/((m2y - m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x)
    - m1x)) + (((m1y - m4y)*m2x - (m1x - m4x)*m2y + m1x*m4y -
    m1y*m4x)/((m3y - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y - m3y*m4x) -
    1)*(((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y - m1y*m4x)/((m2y -
    m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x) - 1)*(((m1y -
    m4y)*m2x - (m1x - m4x)*m2y + m1x*m4y - m1y*m4x)*m3x/((m3y - m4y)*m2x
    - (m3x - m4x)*m2y + m3x*m4y - m3y*m4x) - m1x)^2/((((m1y - m4y)*m2x -
    (m1x - m4x)*m2y + m1x*m4y - m1y*m4x)*m3y/((m3y - m4y)*m2x - (m3x -
    m4x)*m2y + m3x*m4y - m3y*m4x) - m1y)*(((m1y - m4y)*m3x - (m1x -
    m4x)*m3y + m1x*m4y - m1y*m4x)*m2y/((m2y - m4y)*m3x - (m2x - m4x)*m3y
    + m2x*m4y - m2y*m4x) - m1y) + (((m1y - m4y)*m2x - (m1x - m4x)*m2y +
    m1x*m4y - m1y*m4x)*m3x/((m3y - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y
    - m3y*m4x) - m1x)*(((m1y - m4y)*m3x - (m1x - m4x)*m3y + m1x*m4y -
    m1y*m4x)*m2x/((m2y - m4y)*m3x - (m2x - m4x)*m3y + m2x*m4y - m2y*m4x)
    - m1x)) - (((m1y - m4y)*m2x - (m1x - m4x)*m2y + m1x*m4y -
    m1y*m4x)/((m3y - m4y)*m2x - (m3x - m4x)*m2y + m3x*m4y - m3y*m4x) -
    1)^2))



# some testing:
# - choose a random rectangle, 
# - project it onto a random plane,
# - insert the corners in the above equations,
# - check if the aspect ratio is correct.

from sage.plot.plot3d.transform import rotate_arbitrary

#redundandly random rotation matrix
rand_rotMatrix = \
           rotate_arbitrary((uniform(-5,5),uniform(-5,5),uniform(-5,5)),uniform(-5,5)) *\
           rotate_arbitrary((uniform(-5,5),uniform(-5,5),uniform(-5,5)),uniform(-5,5)) *\
           rotate_arbitrary((uniform(-5,5),uniform(-5,5),uniform(-5,5)),uniform(-5,5))

#random translation vector
rand_transVector = vector((uniform(-10,10),uniform(-10,10),uniform(-10,10))).transpose()

#random rectangle parameters
rand_width =uniform(0.1,10)
rand_height=uniform(0.1,10)
rand_left  =uniform(-10,10)
rand_top   =uniform(-10,10)

#random focal length and principal point
rand_f  = uniform(0.1,100)
rand_u0 = uniform(-100,100)
rand_v0 = uniform(-100,100)

# homogenous standard pinhole projection, see [zhang-single] Equation 1
hom_projection = A * rand_rotMatrix.augment(rand_transVector)

# construct a random rectangle in the plane z=0, then project it randomly 
rand_m1hom = hom_projection*vector((rand_left           ,rand_top            ,0,1)).transpose()
rand_m2hom = hom_projection*vector((rand_left           ,rand_top+rand_height,0,1)).transpose()
rand_m3hom = hom_projection*vector((rand_left+rand_width,rand_top            ,0,1)).transpose()
rand_m4hom = hom_projection*vector((rand_left+rand_width,rand_top+rand_height,0,1)).transpose()

#change type from 1x3 matrix to vector
rand_m1hom = rand_m1hom.column(0)
rand_m2hom = rand_m2hom.column(0)
rand_m3hom = rand_m3hom.column(0)
rand_m4hom = rand_m4hom.column(0)

#normalize
rand_m1hom = rand_m1hom/rand_m1hom[2]
rand_m2hom = rand_m2hom/rand_m2hom[2]
rand_m3hom = rand_m3hom/rand_m3hom[2]
rand_m4hom = rand_m4hom/rand_m4hom[2]

#substitute random values for f, u0, v0
rand_m1hom = rand_m1hom(f=rand_f,s=1,u0=rand_u0,v0=rand_v0)
rand_m2hom = rand_m2hom(f=rand_f,s=1,u0=rand_u0,v0=rand_v0)
rand_m3hom = rand_m3hom(f=rand_f,s=1,u0=rand_u0,v0=rand_v0)
rand_m4hom = rand_m4hom(f=rand_f,s=1,u0=rand_u0,v0=rand_v0)

# printing the randomly choosen values
print "ground truth: f=", rand_f, "; ratio=", rand_width/rand_height

# substitute all the variables in the equations:
print "calculated: f= ",\
f_(k2=k2_,k3=k3_)(s=1,u0=rand_u0,v0=rand_v0)(
  m1x=rand_m1hom[0],m1y=rand_m1hom[1],
  m2x=rand_m2hom[0],m2y=rand_m2hom[1],
  m3x=rand_m3hom[0],m3y=rand_m3hom[1],
  m4x=rand_m4hom[0],m4y=rand_m4hom[1],
),"; 1/ratio=", \
1/whRatio(f=f_)(k2=k2_,k3=k3_)(s=1,u0=rand_u0,v0=rand_v0)(
  m1x=rand_m1hom[0],m1y=rand_m1hom[1],
  m2x=rand_m2hom[0],m2y=rand_m2hom[1],
  m3x=rand_m3hom[0],m3y=rand_m3hom[1],
  m4x=rand_m4hom[0],m4y=rand_m4hom[1],
)

print "k2 = ", k2_(
  m1x=rand_m1hom[0],m1y=rand_m1hom[1],
  m2x=rand_m2hom[0],m2y=rand_m2hom[1],
  m3x=rand_m3hom[0],m3y=rand_m3hom[1],
  m4x=rand_m4hom[0],m4y=rand_m4hom[1],
), "; k3 = ", k3_(
  m1x=rand_m1hom[0],m1y=rand_m1hom[1],
  m2x=rand_m2hom[0],m2y=rand_m2hom[1],
  m3x=rand_m3hom[0],m3y=rand_m3hom[1],
  m4x=rand_m4hom[0],m4y=rand_m4hom[1],
)

# ATTENTION: testing revealed, that the whRatio 
# is actually the height/width ratio, 
# not the width/height ratio
# This contradicts [zhang-single]
# if anyone can find the error that caused this, I'd be grateful

    ground truth: f= 72.1045134124554 ; ratio= 3.46538779959142
    calculated: f=  72.1045134125 ; 1/ratio= 3.46538779959
    k2 =  0.99114614987 ; k3 =  1.57376280159

其他提示

更新

阅读您的更新并查看第一个参考（白板扫描和图像增强）后，我明白了缺失点在哪里。

问题的输入数据是四元组(A,B,C,D)， 和 投影图像的中心 O。文中，对应假设u0=v0=0。添加这一点，问题就变得足够约束以获得矩形的纵横比。

然后问题重述如下：给定 Z=0 平面中的四元组 (A,B,C,D)，找到眼睛位置 E(0,0,h)，h>0 和 3D 平面 P，使得 (A,B, C,D) P 上是一个矩形。

请注意，P 由 E 确定：要获得平行四边形，P 必须包含 (EU) 和 (EV) 的平行线，其中 U=(AB)x(CD) 且 V=(AD)x(BC)。

从实验上看，这个问题通常有一个唯一的解决方案，对应于矩形的宽/高比的唯一值。

alt text alt text

上一篇文章

不，您无法根据投影确定矩形比例。

一般情况下，Z=0 平面的四个不共线点的四元组 (A,B,C,D) 是无限多个矩形的投影，具有无限多个宽/高比。

考虑两个消失点 U，（AB）和（CD）的交点，V，（AD）和（BC）的交点，以及点 I，两条对角线（AC）和（BD）的交点。要投影为 ABCD，中心 I 的平行四边形必须位于包含与通过点 I 的 (UV) 平行的直线的平面上。在这样一个平面上，您可以找到许多投影到 ABCD 的矩形，所有矩形都具有不同的宽/高比。

请参阅使用 Cabri 3D 完成的这两张图像。在这两种情况下，ABCD 保持不变（在灰色 Z=0 平面上），包含矩形的蓝色平面也没有改变。部分隐藏的绿线是 (UV) 线，可见的绿线与其平行并包含 I。

alt text alt text

尺寸并不是真正需要的，比例也不是真正需要的。考虑到他使用的是文件的照片/扫描件，知道哪一面朝上是无关紧要的。我怀疑他会扫描它们的背面。

“角交”是矫正透视的方法。这可能会有所帮助：

如何在 2D 中绘制透视正确的网格

关于为什么结果给出 h/w 而不是 w/h 的问题：我想知道上面等式20的表达式是否正确。发布的是：

       whRatio = sqrt (
            (n2*A.transpose()^(-1) * A^(-1)*n2.transpose()) / 
            (n3*A.transpose()^(-1) * A^(-1)*n3.transpose())
           )

当我尝试使用 OpenCV 执行该操作时，出现异常。但当我使用以下方程时，一切正常，在我看来，它更像方程 20：但根据公式 20，看起来应该是：

        whRatio = sqrt (
            (n2.transpose()*A.transpose()^(-1) * A^(-1)*n2) /
            (n3.transpose()*A.transpose()^(-1) * A^(-1)*n3)
           )

您可以通过这个答案确定宽度/高度 计算矩形的 3D 坐标及其阴影坐标？. 。假设您的矩形在交叉对角点上旋转，计算它的宽度和高度。但是当你改变假设阴影平面与真实阴影平面之间的距离时，矩形的比例与计算的宽度/高度相同！

如果不知道“相机”的距离，就不可能知道这个矩形的宽度。

从 5 厘米距离看去的小矩形与从几米远看去的大矩形看起来是一样的

用这两个消失点和地平线下方的第三个点（即与矩形位于地平线的同一侧）绘制一个直角等腰三角形。第三个点将是我们的原点，到消失点的两条线将是我们的轴。将从原点到消失点的距离称为 pi/2。现在将矩形的边从消失点延伸到轴，并标记它们与轴相交的位置。选取一个轴，测量从两个标记到原点的距离，转换这些距离：x->tan(x)，差值将是该边的“真实”长度。对另一个轴执行相同的操作。计算出这两个长度的比例，就完成了。

您需要更多信息，该变换后的图形可以来自给定任意视角的任何平行四边形。

所以我想你需要先进行某种校准。

编辑： 对于那些说我错了的人，这里有数学证明，即矩形/相机的无限组合可以产生相同的投影：

为了简化问题（因为我们只需要边的比率），我们假设我们的矩形由以下点定义： R=[(0,0),(1,0),(1,r),(0,r)] （这种简化与将任何问题转换为仿射空间中的等效问题相同）。

变换后的多边形定义为： T=[(tx0,ty0),(tx1,ty1),(tx2,ty2),(tx3,ty3)]

存在一个变换矩阵 M = [[m00,m01,m02],[m10,m11,m12],[m20,m21,m22]] 满足 (Rxi,Ryi,1)*M=wi(txi,tyi,1)'

如果我们将上面的方程展开为点，

为了 R_0 我们得到： m02-tx0*w0 = m12-ty0*w0 = m22-w0 = 0

为了 R_1 我们得到： m00-tx1*w1 = m10-ty1*w1 = m20+m22-w1 = 0

为了 R_2 我们得到： m00+r*m01-tx2*w2 = m10+r*m11-ty2*w2 = m20+r*m21+m22-w2 = 0

并为 R_3 我们得到： m00+r*m01-tx3*w3 = m10+r*m11-ty3*w3 = m20 + r*m21 + m22 -w3 = 0

到目前为止，我们有 12 个方程，14 个未知变量（9 个来自矩阵，4 个来自矩阵） wi, ，1 为比率 r）其余为已知值（txi 和 tyi 给出）。

即使系统没有被指定不足，一些未知数也会相互相乘（r 和 mi0 产品）使系统非线性（您可以将其转换为线性系统，为每个产品分配一个新名称，但最终仍将有 13 个未知数，其中 3 个将扩展到无限解）。

如果您发现推理或数学中有任何缺陷，请告诉我。

Dropbox 在其技术博客上发表了一篇内容广泛的文章，其中介绍了如何解决扫描仪应用程序的问题。

https://blogs.dropbox.com/tech/2016/08/fast-document-rectification-and-enhancement/

更正文档

我们假设输入文档在物理世界中是矩形，但如果它不完全面向相机，则图像中生成的角将是一般的凸四边形。因此，为了满足我们的第一个目标，我们必须撤消捕获过程应用的几何变换。除了相机焦距（内在参数）之外，这种转换还取决于相机相对于文档的视点（这些是所谓的外在参数）。这是捕获场景的图表：

为了撤销几何变换，我们必须首先确定所述参数。如果我们假设一个很好对称的相机（没有像散、没有歪斜等），那么这个模型中的未知数是：

  • 相机相对于文档的 3D 位置（3 个自由度），
  • 相机相对于文档的 3D 方向（3 个自由度），
  • 文件的尺寸（2 个自由度），以及
  • 相机的焦距（1 个自由度）。

另一方面，四个检测到的文档角的 x 和 y 坐标实际上为我们提供了八个约束。虽然未知数 (9) 似乎比约束条件 (8) 更多，但未知数并非完全自由变量 - 人们可以想象物理缩放文档并将其放置在距相机更远的位置，以获得相同的照片。这种关系施加了额外的约束，因此我们需要解决一个完全约束的系统。（我们求解的实际方程组涉及一些其他考虑因素；相关的维基百科文章给出了很好的总结： https://en.wikipedia.org/wiki/Camera_resectioning)

一旦恢复了参数，我们就可以撤消捕获过程应用的几何变换以获得漂亮的矩形图像。然而，这可能是一个耗时的过程：对于每个输出像素，我们将查找源图像中相应输入像素的值。当然，GPU 是专门为以下任务而设计的：在虚拟空间中渲染纹理。存在一种视图变换——它恰好是我们刚刚解决的相机变换的逆！——用它可以渲染完整的输入图像并获得校正后的文档。（看到这一点的一个简单方法是注意，一旦您的手机屏幕上显示了完整的输入图像，您就可以倾斜并平移手机，以使屏幕上文档区域的投影对您来说呈直线。）

最后，请记住，规模方面存在歧义：例如，我们无法判断该文档是信纸尺寸的纸张（8.5 英寸 x 11 英寸）还是海报板（17 英寸 x 22 英寸）。输出图像的尺寸应该是多少？为了解决这种歧义，我们计算输入图像中四边形内的像素数，并将输出分辨率设置为与该像素数匹配。我们的想法是，我们不想对图像进行过多的上采样或下采样。

对于这个有趣的问题似乎仍然存在一些困惑。我想对问题何时可以解决、何时不能解决给出一个易于理解的解释。

约束和自由度

通常，当我们遇到这样的问题时，首先要做的就是评估未知自由度 (DoF) N 的数量，以及用于约束未知自由度的独立方程 M 的数量。如果 N if 超过 M（意味着约束比未知数少），则无法解决问题。在这种情况下，我们可以排除所有无法解决的问题。如果 N 不超过 M 则 可能 可以用唯一的解决方案来解决问题，但这并不能保证（请参阅倒数第二段的示例）。

让我们使用 p1, p2, p3 和 p4 表示平面的 4 个角在世界坐标中的位置。让我们使用 右 和 t 将其转换为相机坐标的 3D 旋转和平移。让我们使用 K 表示 3x3 相机内在矩阵。我们暂时忽略镜头畸变。的 2D 位置 我相机图像中的第一个角由下式给出 q我=f(K(RP我+t)) 其中 f 是投影函数 f(x,y,z)=(x/z,y/z)。使用这个方程我们知道图像中的每个角给我们两个方程（即两个约束）对我们的未知数：的 x 分量之一 qi 和 y 分量中的一个。所以我们总共有 8 个约束需要处理。这些约束的正式名称是 重投影约束.

那么我们未知的自由度是什么呢？当然 右 和 t 是未知的，因为我们不知道相机在世界坐标中的姿势。因此我们已经有 6 个未知的自由度：3 为 右 （例如。偏航、俯仰和滚动）和 3 t。因此最多可以有 二 其余项中的未知数（K, p1, p2, p3, p4). 

不同的问题

我们可以根据 ( 中的哪两项) 构造不同的问题K, p1, p2, p3, p4）我们将视为未知。此时我们写出 K 通常的形式： K=(fx, 0, cx;0、fy、cy；0,0,1) 其中 fx 和 fy 是焦距项（fx/fy 通常称为图像纵横比），(cx,cy) 是主点（图像中的投影中心）。

我们可以通过将 fx 和 fy 作为两个未知数来解决一个问题，并假设 (cx, cy, p1, p2, p3, p4) 都是已知的。事实上，这个问题在 OpenCV 的相机校准方法中得到了使用和解决，使用棋盘平面目标的图像。通过假设主点位于图像中心（对于大多数相机来说这是一个非常合理的假设），这用于获得 fx 和 fy 的初始估计。

或者，我们可以通过假设 fx=fy 来创建一个不同的问题，这对于许多相机来说又是相当合理的，并假设该焦距（表示为 f）是 仅有的 未知于 K. 。因此，我们还剩下一个未知数可以处理（回想一下，我们最多可以有两个未知数）。因此，让我们假设我们知道平面的形状来使用它：作为一个矩形（这是问题中的原始假设）。因此我们可以如下定义角点： p1=(0,0,0), p2=(0,w,0), p3=(h,0,0) 且 p4=(h,w,0)，其中h和w表示矩形的高度和宽度。现在，因为我们只剩下 1 个未知数，所以让我们将其设置为飞机的纵横比：x=w/h。现在的问题是我们能否同时恢复 x, f, 右 和 t 不受8个重投影约束？事实证明答案是肯定的！问题中引用的张的论文给出了解决方案。

尺度模糊性

人们可能想知道是否可以解决另一个问题：如果我们假设 K 已知，两个未知数是 h 和 w。它们可以通过重投影方程求解吗？答案是否定的，因为飞机的大小和飞机到相机的深度之间存在模糊性。具体来说，如果我们缩放角落 pi 由 s 和比例 t 通过 s，则 s 在重投影方程中抵消。因此平面的绝对比例是不可恢复的。

未知自由度的不同组合可能存在其他问题，例如 右, t, ，主要点分量之一和平面宽度未知。然而，我们需要考虑哪些案例是有实际用途的。尽管如此，我还没有看到一套针对所有有用组合的系统解决方案！

更多积分

我们可能会认为，如果我们在平面和图像之间添加额外的点对应关系，或者利用平面的边缘，我们可以恢复超过 8 个未知的自由度。遗憾的是答案是否定的。这是因为它们没有添加任何额外的独立约束。原因是因为4个角描述了 完全地 从平面到图像的变换。这可以通过使用四个角拟合单应性矩阵来看出，然后可以确定图像中平面上所有其他点的位置。

许可以下： CC-BY-SA 和 归因
不隶属于 StackOverflow
scroll top