[22] Computation of the Fundamental Matrix F

본 포스트는 학습한 것을 정리할 목적으로 작성되었습니다.

 

해당 포스트의 내용 및 그림, 수식 등은 'Multiple View Geometry in Computer Vision' 책을 참고하였습니다. 

 

(1) Computation of the fundamental matrix F

 

Fundamental matrix는 다음과 같은 equation으로 정의된다. 아래의 식에서 $\textbf{x}, \ \textbf{x}'$은 homogeneous coordinate로 표현된다. $$\textbf{x}'^T F \textbf{x} = 0$$

$$x'xf_{11} + x'yf_{12} + x'f_{13}+y'xf_{21}+y'yf_{22}+y'f_{23}+xf_{31}+yf_{32}+f_{33} = 0$$

$$(x'x, x'y, x', y'x, y'y, y', x, y, 1)\textbf{f} = 0$$

위 식을 n개의 대응점 쌍에 적용하면 다음과 같이 n개의 linear equations로 부터 아래의 식을 얻을 수 있다.

$$A\textbf{f}=\begin{bmatrix} x_1'x_1 \ \cdots \ y_1 \ 1 \\ \vdots \\ x_n'x_n \ \cdots \ y_n \ 1 \end{bmatrix} \begin{bmatrix} f_{11} \\ \vdots \\ f_{33} \end{bmatrix}$$

 

위 식에서 A의 singular value decomposition을 통해 V의 가장 마지막 column을 $\textbf{f}$로 하여 fundamental matrix F를 구할 수 있다.

 

(2) The singularity constraints

 

Fundamental matrix는 singular matrix이다. 만약 fundamental matrix가 singular가 아니라면(rank가 3이라면) fundamental matrix의 null spaces가 두 epipole이라는 기하학적 해석이 불가능 하고, 따라서 모든 $\textbf{x}$에 대한 epipolar lines $\textbf{l}'=F\textbf{x}$가 아래 그림의 (a)와 같이 한 점(epipole)에서 만난다는 것을 정의할 수 없다.

 

따라서 (1)에서 구한 $F$로 부터 Frobenius norm $||F-F'||$를 최소화 하면서 $det(F')=0$을 만족하는 $F'$를 찾아야 하고 이는 $F$를 SVD하여 $F=UDV^T$로 부터 $D$의 singular matrix의 마지막 항을 0으로 하여 $F'=UD'V^T$와 같이 계산하면 얻을 수 있다.

 

(3) First-order geometric error (Sampson distance)

 

(1-2)에서는 대응점 쌍이 noise free라고 가정하였다. 일반적으로는 noise가 존재하므로 대응점 쌍에도 보정이 필요하며 이는 다음과 같이 정의되는 Sampson error의 최소화를 통해 수행된다.

 

$$\frac{\boldsymbol{\epsilon}^T \boldsymbol{\epsilon}}{JJ^T} = (\textbf{x}_i'^T F \textbf{x}_i)^2$$

$$JJ^T = (F\textbf{x}_i)_1^2 +  (F\textbf{x}_i)_2^2 +  (F^T \textbf{x}'_i)_2^1 +  (F^T \textbf{x}_i)_1^2$$

$$Cost function = \sum_i{\frac{ (\textbf{x}_i'^T F \textbf{x}_i)^2}{(F\textbf{x}_i)_1^2 +  (F\textbf{x}_i)_2^2 +  (F^T \textbf{x}'_i)_2^1 +  (F^T \textbf{x}_i)_1^2}}$$