[영상처리] Optical-Flow Lukas_Kanade

Optical flow

 - 연속적인 두 프레임 영상에서 물체나 카메라의 이동으로 발생하는 물체의 모션을 나타낸다. 이러한 모션은 2D 벡터로 표현되는데 이것은 first frame에서 포인트들이 second 프레임에서 어디에 위치하게 되는지를 이동 변위로 나타낸다.

For a 2D+t dimensional case (3D or n-D cases are similar) a voxel at location  with intensity will have moved by ,  and  between the two image frames, and the following brightness constancy constraint can be given:

${\displaystyle I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)}$

Assuming the movement to be small, the image constraint at ${\displaystyle I(x,y,t)}$ with Taylor series can be developed to get:

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t+}$H.O.T.

From these equations it follows that:

${\displaystyle {\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0}$

or

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}$

which results in

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

where ${\displaystyle V_{x},V_{y}}$ are the ${\displaystyle x}$ and ${\displaystyle y}$ components of the velocity or optical flow of ${\displaystyle I(x,y,t)}$ and ${\displaystyle {\tfrac {\partial I}{\partial x}}}$, ${\displaystyle {\tfrac {\partial I}{\partial y}}}$ and ${\displaystyle {\tfrac {\partial I}{\partial t}}}$ are the derivatives of the image at ${\displaystyle (x,y,t)}$ in the corresponding directions. ${\displaystyle I_{x}}$,${\displaystyle I_{y}}$ and ${\displaystyle I_{t}}$ can be written for the derivatives in the following.

Thus:

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

or

${\displaystyle \nabla I^{T}\cdot {\vec {V}}=-I_{t}}$

여기서 ∇I 는 이미지 Gradient를 나타내고 It는 시간별 밝기 변화량을 나타내므로 값을 구할 수 있다.

하지만 미지수가 Vx, Vy로 두개이기 때문에 위의 수식만으로는 문제를 풀지 못한다.

Lukas-kanade

 - sparse optical-flow 방법으로 특징점을 선정하고 해당 포인트를 중심으로하는 3x3 윈도우를 이용하여 모션을 추정

 - Lukas-kanade Optical flow는

  1. 연속적인 프레임에서 물체 이동량이 크지 않고

  2. 이웃한 픽셀들이 동일한 모션을 나타낸다

 가정하여 프레임간 모션벡터를 추정한다. 따라서 3x3 내의 모든 위치에서 위의 Optical flow 수식을 적용하면 2개의 미지수에 9개의 수식이 적용되어 Optical flow 수식을 해결하게 된다.

 -  큰 움직임에 대해 상대적으로 추정하기 힘든 문제점을 이미지 피라이드를 사용하여 해결함

참고 파일

출처 : https://www.google.co.kr/url?sa=t&rct=j&q=&esrc=s&source=web&cd=4&ved=0ahUKEwjeuMayos3PAhVMFJQKHdifAvcQFgg5MAM&url=http%3A%2F%2Fcourses.cs.washington.edu%2Fcourses%2Fcse455%2F05wi%2Fnotes%2FLucasKanade.ppt&usg=AFQjCNHXbsAWB7R8CySyiJSTG3rqraAiBw&sig2=qgzIgtArlgs2LFUYYD5icQ&bvm=bv.135258522,d.dGo

LucasKanade.ppt