ram2 🚗

☝️ good feature 란 무엇인가? 

- 조명의 상황에 상관 없이 동일한 feature를 추출해야 한다.

- 위치에 상관 없이 동일한 feature를 추출해야 한다.

- 크기에 상관 없이 동일한 feature를 추출해야 한다. 

- 회전 상황에 상관 없이 동일한 feature를 추출해야 한다. 

- Perspective transform에 상관 없이 동일한 feature를 추출해야 한다. 

- 계산량이 너무 많으면 안된다.

- 메모리 소모가 효율적이어야 한다.

☝️ ORB

oFast detector + r-BRIEF descriptor 이 두 가지가 협쳐 있는 형태이다.

FAST : radius가 3인 경우, 9게의 연속되는 픽셀 크기를 고려한다.

BRIEF : 한 픽셀이 feature로 판명이 났을 때 이 픽셀을 묘사하는 방법이다.

☝️ Image matching

두 개의 영상이 유사한지 아닌지, 만약 유사하다면 어떤 위치 관계를 가지고 있는지 알려주는 것.

1. 먼저 두 영상의 feature를 추출한다.

2. 추출한 feature를 적절한 descriptor를 통해 묘사한다.

3. descriptor를 통한 결과를 기준으로 두 featurer를 비교한다.

4. 비교한 Feature들이 얼마나 good 한지 image matching으로 판별한다.

* 이 때 good image matching은 NNDR로 알 수 있다. NNDR값이 작을수록 good matching에 가깝다.

** NNDR : 가장 잘 맞는 상태인 두 feature간의 거리 / 두 번째로 잘 맞는 상태인 두 featurer간의 거리.

☝️ Convolutional Neural Network

Convolution

- stride가 1인 경우는 1칸씩 마스크를 이동시키겠다는 것이다.

Relu

- non-linear function의 종류이다.

- value가 0보다 작은 경우 result는 0이 되고, 0보다 크면 원래 값을 유지한다.

Pooling

- max value를 사용한다.

Histogram Equalization 란?

➡️ 우리 말로는 histogram을 정규화 하는 것이다.

➡️ 각 구성 요소를 영상을 구성하는 픽셀의 전체 개수로 나눈다.

➡️ bin의 개수를 잘 설정하는 것이 중요하다.

➡️ 밝기 또는 color 값의 차이를 이미지에 적용한 것이다.

* histogram이 특정 영역에 너무 집중되어 있으면 contrast가 낮은 것이다. 

** histogram이 골고루 분포되어 있을수록 high contrast라고 하는데, high contrast를 좋은 이미지라고 한다.

Histogram 과 bin

[문제]

만약, 다음 표와 같은 이미지가 있다고 가정해보자. 이 때 intensity level은 16[0,15], bin의 개수가 4라면, 각 bin은 ?

[해설]

이 때 해당 이미지는 5 x 6으로 총 30개의 픽셀을 가지고 있다.

전체적인 로직은 각 bin에 해당하는 픽셀의 수를 전체 픽셀의 수로 나누는 것이다.

또한 각 bin은 intensity level의 범위 내에서 주어진 bin의 개수인 4개로 나누면 된다. 

bin의 개수가 4개 이므로, 다음과 같이 정리할 수 있다. 

  ➡️ 첫 번째 bin[0-3] = 28 / 30

  ➡️ 두 번째 bin[4-7] = 1 / 30

  ➡️ 세 번째 bin[8-11] = 1 / 30

  ➡️ 네 번째 bin[12-15] = 0 / 30

위 표에서 보이듯,

0-3에 해당하는 픽셀이 28개,

4-7에 해당하는 픽셀이 1개,

8-11에 해당하는 픽셀이 1개,

12-15에 해당하는 픽셀이 0개이기 때문이다.

Histogram Equalization 적용

1. histogram을 계산한다.

2. 히스토그램을 최대한 평평하게 할 수 있는 함수를 찾는다. (mapping function)

3. 이미지에 mapping function을 적용한다.

[사용 예]

equalizeHist( image, hist_image ); // 이렇게 input과 output만 적으면 된다.
imshow ("hist equalized image", hist_image);

* histogram equalization은 항상 이미지를 더 선명하게 하지만은 않는다. 특히 특정 범위의 data가 dominant할 때는 오히려 잘 보이지 않을 수 있다.

spatial filtering 이란?

-> spatial filter를 활용해서 전처리 하는 것.

spatial filtering의 종류

1. Averaging filter

- 주변 값의 평균으로 대체 시킨다.

- random noise를 줄일 수 있다는 장점이 있다.

- image가 흐릿해진다. (blurs an image)

[사용 예]

형식 : blur( input image, output image, size of kernel);

blur( image, result, Size(5,5) );

2. Gaussian filter

- 가중치 평균을 수행하는데, 가중치를 gaussian filter를 사용해서 한다.

[사용 예]

GaussianBlur( image, image, size of kernel, 0, 0, BORDER_DEFAULT);

* averaging filter과 gaussian filter는 서로 비슷하다.

- mask 크기가 작을수록 작은 잡음을 처리할 수 있다.

- 큰 잡음을 처리하기 위해서는 큰 mask를 사용해야 하는데, 계산량이 많아진다.

3. Sharpening

- 밝기값 차이가 나는 부분을 더 갖오시킴으로써 보다 edge있게 만든다.

- 공간 domain에서의 미분을 수행함으로써 sharpening을 수행한다.

- 값의 변화가 발생하는 부분을 sharpening 한다.

   - sharpening 한다는 것 : 값의 차이가 큰 부분의 간격을 더 크게 만든다. 

- 보통 2차 미분으로 수행한다.

  1) 2차 미분을 먼저 수행한다.

  2) 원본 이미지와 미분한 이미지를 더한다.

- unsharp mask : 이 mask를 쓰면 값의 변화가 발생하는 부분이 더 강조된다.

[사용 예]

Laplacian( image, laplacian, CV_16S, 1, 1, 0 ); // 2차 미분을 수행한다.
convertScaleAbs( laplacian, abs_laplacian ); // 8비트로 변환한다.
sharpening = abs_laplacian + image; //2차 미분한 결과를 원본 이미지에 더한다.

3-1. unsharp masking

[사용 예]

cvtColor( input, gray, COLOR_BGR2GRAY ); // 색상 변환
GaussianBlur( gray, blur, Size(5,5), 3 );
addWeighted( gray, 1.5, blur, -0.5, 0, sharp ); // 각각 가중치 지정.

4. Median filter

- 중간값을 사용한다. (평균값이랑 다르다!)

- m x m 크기의 Filter를 사용하면 m^2/2 만큼의 잡음을 없앨 수 있다.

   즉, salt-and-pepper nosie(흰색과 검은색 noise), random noise를 없애는데 효과적이다.

- blur 없이 잡음을 없앨 수 있으나, 연산량이 더 많고, 특정 noise에서 효과적이다.

[사용 예]

medianBlur( image, mf1, 3 ); // medianblur 적용
imshow( "MedianFiltered", mf1 ); // 결과 출력

intensity transformation란? 

 ➡️ 이미지의 밝기를 변환하는 것.

intensity transformation의 종류

intensity transformation에는 크게 3가지 종류가 있다.

1. negative 

- 이미지의 어두운 영역을 밝은 영역으로, 이미지의 밝은 영역을 어두운 영역으로 반전 시키는 것.

[공식] 

➡️ L - 1 - r

r : input, 영상의 intensity level이 [0, L-1] 사이인 경우

2. log transformation

- 어두운 영역에 숨어 있는 detail을 더 선명하게 하는 것에 자주 사용된다.

- 단순히 영상을 밝게 만드는 것이 아니다.

- 밝은 부분의 detail은 줄어들고, 어두운 영역의 detail은 높일 수 있다.

- 어두운 부분의 contrast를 높여서 더 선명하게 만들 수 있다.

[공식] 

➡️ C log (1+r)

c: 임의의 상수, r : input

3. gamma transforamtion

- Γ(gamma) 의 값에 따라 밝은 부분의 detail을 올릴 수도 있고, 어두운 부분의 detail을 올리 수 있다.

- Γ > 1인 경우 : 밝은 부분의 detail을 올릴 수 있다.

- Γ < 1인 경우 : 어두운 부분의 detail을 올릴 수 있다.

- Γ = 1인 경우 : input 이미지와 output 이미지가 동일하다.

[공식] 

➡️ Cr^ Γ

c: 임의의 상수, r : input,  Γ: gamma 값.

[적용 결과]

한 점 (x1, y1)이 가질 수 있는 직선은 y1 = a*x1 + b 이다.

이 식은 b = -a*x1 + y1 으로도 표현할 수 있다.

결국, 한 점이 가질 수 있는 모든 직선을 b와 m에 대한 평면에서 하나의 직선으로 표현할 수 있다.

y1 = a*x1 + b  ➡️  b = -a*x1 + y1 

식을 이렇게 바꾸면, a, b 평면에서 직선이 두 개 나오게 된다. 이때 두 직선의 교점은 두 점을 지나는 직선을 의미하게 된다. 

참고 사이트

https://wkdtjsgur100.github.io/Hough-Transform/