ram2 🚗

spatial filtering 이란?

-> spatial filter를 활용해서 전처리 하는 것.

spatial filtering의 종류

1. Averaging filter

- 주변 값의 평균으로 대체 시킨다.

- random noise를 줄일 수 있다는 장점이 있다.

- image가 흐릿해진다. (blurs an image)

[사용 예]

형식 : blur( input image, output image, size of kernel);

blur( image, result, Size(5,5) );

2. Gaussian filter

- 가중치 평균을 수행하는데, 가중치를 gaussian filter를 사용해서 한다.

[사용 예]

GaussianBlur( image, image, size of kernel, 0, 0, BORDER_DEFAULT);

* averaging filter과 gaussian filter는 서로 비슷하다.

- mask 크기가 작을수록 작은 잡음을 처리할 수 있다.

- 큰 잡음을 처리하기 위해서는 큰 mask를 사용해야 하는데, 계산량이 많아진다.

3. Sharpening

- 밝기값 차이가 나는 부분을 더 갖오시킴으로써 보다 edge있게 만든다.

- 공간 domain에서의 미분을 수행함으로써 sharpening을 수행한다.

- 값의 변화가 발생하는 부분을 sharpening 한다.

   - sharpening 한다는 것 : 값의 차이가 큰 부분의 간격을 더 크게 만든다. 

- 보통 2차 미분으로 수행한다.

  1) 2차 미분을 먼저 수행한다.

  2) 원본 이미지와 미분한 이미지를 더한다.

- unsharp mask : 이 mask를 쓰면 값의 변화가 발생하는 부분이 더 강조된다.

[사용 예]

Laplacian( image, laplacian, CV_16S, 1, 1, 0 ); // 2차 미분을 수행한다.
convertScaleAbs( laplacian, abs_laplacian ); // 8비트로 변환한다.
sharpening = abs_laplacian + image; //2차 미분한 결과를 원본 이미지에 더한다.

3-1. unsharp masking

[사용 예]

cvtColor( input, gray, COLOR_BGR2GRAY ); // 색상 변환
GaussianBlur( gray, blur, Size(5,5), 3 );
addWeighted( gray, 1.5, blur, -0.5, 0, sharp ); // 각각 가중치 지정.

4. Median filter

- 중간값을 사용한다. (평균값이랑 다르다!)

- m x m 크기의 Filter를 사용하면 m^2/2 만큼의 잡음을 없앨 수 있다.

   즉, salt-and-pepper nosie(흰색과 검은색 noise), random noise를 없애는데 효과적이다.

- blur 없이 잡음을 없앨 수 있으나, 연산량이 더 많고, 특정 noise에서 효과적이다.

[사용 예]

medianBlur( image, mf1, 3 ); // medianblur 적용
imshow( "MedianFiltered", mf1 ); // 결과 출력

intensity transformation란? 

 ➡️ 이미지의 밝기를 변환하는 것.

intensity transformation의 종류

intensity transformation에는 크게 3가지 종류가 있다.

1. negative 

- 이미지의 어두운 영역을 밝은 영역으로, 이미지의 밝은 영역을 어두운 영역으로 반전 시키는 것.

[공식] 

➡️ L - 1 - r

r : input, 영상의 intensity level이 [0, L-1] 사이인 경우

2. log transformation

- 어두운 영역에 숨어 있는 detail을 더 선명하게 하는 것에 자주 사용된다.

- 단순히 영상을 밝게 만드는 것이 아니다.

- 밝은 부분의 detail은 줄어들고, 어두운 영역의 detail은 높일 수 있다.

- 어두운 부분의 contrast를 높여서 더 선명하게 만들 수 있다.

[공식] 

➡️ C log (1+r)

c: 임의의 상수, r : input

3. gamma transforamtion

- Γ(gamma) 의 값에 따라 밝은 부분의 detail을 올릴 수도 있고, 어두운 부분의 detail을 올리 수 있다.

- Γ > 1인 경우 : 밝은 부분의 detail을 올릴 수 있다.

- Γ < 1인 경우 : 어두운 부분의 detail을 올릴 수 있다.

- Γ = 1인 경우 : input 이미지와 output 이미지가 동일하다.

[공식] 

➡️ Cr^ Γ

c: 임의의 상수, r : input,  Γ: gamma 값.

[적용 결과]

Edge pixels : 밝기가 급격하게 변하는 것

✅  어떻게 detect edges를 하는가?

[1차원]

1차 미분을 한다. 

즉, 미분 했을 때 0이 아닌 특정한 부분을 찾아서 검출하는 것.

[2차원]

image gradient를 사용한다.

grad(f) = x축 방향으로의 미분값과 y축 방향으로의 미분 값으로 이루어진다.

* gradient vector와 edge direction은 90도 차이.

* gradient vector는 해당 위치에서 변화량이 가장 급격한 방향.

[noise가 있는 경우]

noise가 있는 경우, edge detection이 힘들기 때문에 filtering을 사용해서 noise를 제거한다.

✅  Edge detection 방법

1. Sobel operators

자기 자신과 주변의 차이.

gradient를 계산하며, 연산을 위해서는 spatial filter가 필요하다. 

filtering을 먼저 하고 sobel operator를 적용하면 filter를 적용하지 않은 것에 비해 윤곽선이 뚜렷하게 보인다.

먼저, gx(gradient x)와 gy(gradient y)를 구하고, 각각의 절대값을 더하면 M(x,y) 즉, Magnitude를 구할 수 있다. 

2. Canny Edge Detector

Sobel보다 더 자주 사용된다.

Algorithm

1. 가우시안 필터를 사용하여 영상 내 잡음을 없앤다.

2. Sobel dedge mask를 사용해서 gradient의 크기와 각도를 계산한다.

3. gradient 방향으로 인접한 픽셀을 먼저 찾고, nonmaxima suppression을 적용한다.

(nonmaxima suppression이란?)

다음 예시의 경우, p5를 기준으로 만약 p2와 p8의 gradient magnitude보다 작다면, p5를 제거한다. 즉, 0으로 만든다.

이렇게 하면 p5는 edge가 될 가능성이 적어진다.

만약 P5가 p2, p8보다 gradient magnitude 값이 크다면 그냥 넘어가게 된다.

이런식으로 max만 남기는 것이 nonmaxima suppressiondlek. 

4. double thresholding과 connectivity analysis를 사용한다.

먼저, 사용자 지정으로 Th와 Tl을 정한다.

➡️ M(x,y) >= Th 인 경우, edge

➡️ M(x,y) < Tl 인 경우, non-edge

➡️ otherwise, 즉, Th와 Tl 사이의 값들

    이 경우, 만약 edge라고 판정한 부분과 연결되어 있으면 edge로, 그렇지 않으면 non-edge로 간주한다. 

Sobel edge와 Canny의 차이

➡️  canny는 Sobel에 비해 적은 수의 부분만을 edge로 판별할 수 있다.