3줄 요약
- 저조도 환경에서 촬영된 사진을 기존의 다양한 low-light image enhancement algorithms(LIEAs)를 사용하였을 경우, 어두운 부분에서의 숨겨진 왜곡이 강조되거나 새로운 왜곡이 생기는 문제점이 발생. 또한 light enhancement를 한 경우에 대한 IQA metrics가 출판하였을 경우까지 존재하지 않았음.
- 그래서 No-reference low-light image enhancement evaluation(NLIEE) 방법을 제안한다. 이 방법은 광강화, 색상 비교, 노이즈 측정, 구조 평가의 4가지 측면에서 주로 18개의 특징을 추출한다.
- 이러한 NLIEE 방법은 LIEQ 데이터셋에서 평가하였을 때, 광각화 부분에 있어서 NR-IQA 및 quality descriptors 중에서 최고 성능을 보여줍니다.
Abstract
이 논문은 빛이 강화된 이미지의 품질을 평가하기 위해 참조가 없는 저조도 이미지 향상 평가 메트릭을 제안한다.
이 메트릭은 조명 향상, 색상 비교, 노이즈 측정 및 구조 평가의 네 가지 주요 측면을 기반으로 이미지 품질을 평가한다.
Introduction
저조도 이미지는 조명이 부족한 장면에서 캡처되어 이미지 콘텐츠를 인식하기 어렵다.
이는 자동 운전, 원격 감지, 국토 안보와 같은 비전 기반 지능형 시스템의 성능에 영향을 미친다.
이 문제를 해결하기 위해 저조도 이미지를 밝게 하기 위해 많은 저조도 이미지 향상 알고리즘(LIEA)이 제안 되었다.
FR, RR 의 IQA 방법들은 많고 잘 작동하는 편이다. 하지만 대부분의 환경은 NR이기 때문에 NR-IQA 방법을 생각하였다.
또한 기존에 밝기가 향상된 사진에 대한 IQA 방법이 없어서, 새로운 NLIEE(No-reference low-light image enhancement evaluation) 방법을 소개한다.
첫째, light enhancement로 인해 생긴 illumination 왜곡에 대한 variance와 모양에 대한 파라미터를 추출한다.
둘째, light enhancement가 된 이미지와 해당 low-light image 의 색조 및 채도 관련 엔트로피를 색상 특징으로 계산한다.
셋째, Gaussian noise, salt-pepper noise를 이용하여 Noise Feature를 잡아낸다.
넷째, 다른 스케일상으로 구조가 얼마나 유사한지를 이용하여 구조적 특징을 계산한다.
마지막으로, light enhanced image에 대한 quality를 대표하는 18개의 특징을 뽑아낸다.
Conclusion
이 논문은 빛이 강화된 이미지의 품질을 평가하기 위해 참조가 없는 저조도 이미지 향상 평가 메트릭을 제안한다.
제안하는 방법은 광강화, 색상 비교, 노이즈 측정, 구조 평가의 4가지 측면에서 주로 18개의 특징을 추출한다.
이 특징은 SVR을 통해 단일 품질 점수로 회귀된다.
실험 결과는 제안하는 방법이 다른 NR IQA 중 LIEQ 데이터베이스에서 가장 잘 수행됨을 보여, 우리의 방법이 실용적인 비전 기반 시스템과 함께 LIEA를 정량적으로 평가하고 시청자 경험을 최적화하는 데 활용될 수 있음을 시사한다.
절제 실험은 4개 그룹 모두가 품질 평가에 기여하는 것으로 나타났으며 그 중 구조 기능이 가장 많이 기여한다.
Data
제안된 방법 NLIEE는 저조도 이미지 향상 품질(LIEQ) 데이터베이스에서 검증되었다.
LIEQ 데이터베이스는 다중 노출 이미지 데이터베이스에서 100개의 일반적인 장면 이미지를 선택한다. 이 데이터베이스는 저조도 이미지와 그에 상응하는 조명이 밝은 이미지를 제공하기 위해 특별히 구성되었다.
또한 10개의 대표적인 저조도 이미지 향상 알고리즘을 사용하여 총 1,000개의 조도 향상 이미지를 생성한다.
LIEQ 데이터베이스에서 주관적인 품질 평가 연구를 수행했으며 각 조명 강화 이미지에 대해 MOS(Mean Opinion Scores)가 제공된다.
따라서 본 논문에서는 LIEQ 데이터베이스를 사용한다.
LIEQ Database
https://github.com/sunwei925/LIEQDatabase
GitHub - sunwei925/LIEQDatabase: The Low-light Image Enhancement Quality Database
The Low-light Image Enhancement Quality Database. Contribute to sunwei925/LIEQDatabase development by creating an account on GitHub.
github.com
Proposed Method
1. Pro-Processing
light-enhanced image의 왜곡을 더 잘 정량화하기 위해 local normalization을 전처리 과정으로써 진행한다. 이 방법은 많은 IQA 문제들에서 효과적이라고 입증된 방법이다.
RGB 채널에서 최대값을 계산한다.
이렇게 구해진 illumination map인 L을 정규화한다.
위 식을 이해하기 위해 설명하면, w가 local Gaussian weighting window일 때, local 평균 값은 다음과 같다.
그리고 local variance에 해당하는 식은 다음과 같다.
[Fig.1]
2. Light Enhancement
LIEA의 가장 중요한 목적은 이미지를 밝게 하는 것에 있다. 그래서 밝기가 LIEA 평가에서는 가장 중요한 지표이다.
효과적인 LIEA는 저조도 환경의 사진에서의 숨겨진 이미지 컨텐츠를 복구해야한다. 그래서 우리는 정규화된 밝기 분포(Normalized luminance distribution)를 밝기 평가에 사용한다.
저조도 이미지와 밝게 만든 이미지간의 luminance enhancement를 평가하기위해 우리는 zero mean Generalized Gaussian Distribution(GGD)를 사용한다.
3. Color Comparison
이미지의 원본 정보를 복구할 때 일부 LIEA는 색상 전송 및 인식의 정확성을 위반할 수 있다.
RGB 색상 공간이 사람의 눈의 색상 인식에 대해 잘 맞지 않아, image의 I를 처음에는 RGB공간에서 HSV 공간으로 변화 시켜 주어야 한다.
이런 변환을 통해, 이전 이미지와 밝아진 이미지의 hue(색상)와 saturation(채도)를 다음과 같은 변수로 구한다.
따라서 설명하자면 저조도 이미지와 밝게 강화된 이미지 간의 색상 장애의 차이를 알아보기 위해 무질서 차이를 측정하는 좋은 지표로 입증된 상대 엔트로피(Kullback-Leibler(KL) divergence) 메트릭을 활용할 것을 제안한다.
hue와 saturation의 상대 엔트로피,KL은 다음과 같은 식으로 나타낼 수 있다.
[Fig.2]
4. Noise Measurement
저조도 환경에서의 Noise는 이미지 퀄리티에 큰 영향을 미칠 수 있다. Fig.2를 보면 밝아진 이미지에서 Gaussian Noise 와, Salt-Pepper Noise 가 일반적으로 일어난다.
그래서 우리는 노이즈 레벨을 계산하는데에 2가지의 noise estimation map을 적용한다. 하나는 Gaussain filter, 다른 하나는 median filter 이다. 이들은 Gaussian Noise, Salt-Pepper Noise에 강하다.
이렇게 필터링 한 Noise estimation map은 다음과 같이 표현할 수 있다.
위 수식에서 M은 noise estimation map을, F는 필터링을 의미하고 Gaussian filter는 7x7 사이즈의 커널을 가지고, median filter는 3x3 커널을 가진다.
어둡고 평평한 사진은 noise가 잘 낀다. 그래서 우리는 noise estimation map의 pooling을 사용하여 noise level을 평가한다.
5. Structure Evaluation
[Fig. 3, 4]
빛이 강화된 이미지의 구조 정보는 이미지의 품질을 평가하는 데 사용할 수 있다.
구조 복원 및 과잉 개선은 구조 평가의 두 가지 측면이다.
구조적 복원은 풍부한 구조 정보를 담고 있는 어둡고 선명한 영역을 강화하는 데 중점을 두는 반면, 과잉 강화는 콘트라스트가 낮고 무의미한 디테일을 이미지 구조로 삼아 강화하는 평평한 영역에서 발생한다.
FR IQA에서는 왜곡된 영상과 참조영상의 구조유사도를 이용하여 구조복원을 평가하지만, 광강화 영상평가에는 완벽한 참조영상이 없다.
구조 정보의 변화는 영상 품질에 영향을 미치므로 저조도 영상을 구조 복원 평가를 위한 대략적인 기준으로 삼는다.
전체 구조 복원을 설명하는 데 사용되는 네 가지 매개변수는 분산 유사성, 정규화된 분산 유사성, 정규화된 조명 맵 유사성 및 가장자리 유사성이다.
이러한 매개 변수는 분산, 조명 및 가장자리 측면에서 향상된 이미지와 저조도 참조 이미지 간의 유사성을 정량화하는 데 사용됩니다.
luminance와 contrast 값은 local mean과 local variance에 의해 구체화 될 수 있고, structure enhancement는 구조적 유사도 맵을 pooling함으로써 설명될 수 있다.
Structual over-enhancement 의 주요 원인은 의미없는 디테일한 이미지의 부분들까지 강화했기 때문이다. 보통 이런 일은 대비가 적은 곳에서 일어난다.
그래서 우리는 간단히 average pooling 결과를 이용할 수 있다.
6. Feature Regression
NLIEE는 크게 두가지 모듈로 나뉜다 위에서 설명한 내용들로 특징을 뽑아내는 것 그리고 여기서 소개할 방법으로 특징을 회귀 시키는 것이다.
SVR(support vector regression) 방법으로 18가지 특징들을 회귀 시킨다.
저조도 사진과 밝아진 사진의 이미지 쌍이 SVR의 학습 데이터로 사용된다. 그러고 학습된 regressor는 같은 프레임워크 내에서 이미지 퀄리티를 예측할 수 있다.
Experimental Performance
Evaluation Competitors
성능 판단의 척도를 두가지로 분류하였다.
- light enhancement를 판단하기 위한 Descriptor로써, LOE(Lightness Order Error), CC(Color Consistancy), DE(Discrete Entropy), CE(Contrast Enhancement)
- 일반적인 NR IQAs 방법들로 BRISQUE, IL-NIQE, HIGRADE, NIQE, NFERM, NFSDM 이 있다.
Evaluation Criteria and Setup
연구 논문은 네 가지 일관성 평가 기준을 사용하여 예측 점수와 MOS 사이의 상관 관계를 비교하고 데이터 세트를 교육 및 테스트 세트로 분할하여 다른 이미지 콘텐츠의 영향을 방지한다.
최종 성능은 이 과정을 1,000번 반복한 후 SRCC, RMSE, PLCC, KRCC의 중간값으로 기록한다.
Comparison Discussion
제안된 NLIEE 메트릭은 조명 강화 이미지의 품질 예측에서 다른 IQA 모델을 능가하는 반면, 조명 강화를 위해 특별히 설계된 설명자는 이미지 왜곡에 대한 제한된 고려로 인해 평범한 성능을 보인다.
일부 일반적인 NR IQA 측정은 빛이 강화된 이미지의 품질을 어느 정도 예측할 수 있지만 제안된 방법만큼 효과적이지는 않다.
Ablation Experiment
다양한 기능 그룹이 NLIEE에 대한 기여도를 결정하기 위해 절제 실험에서 테스트되었으며, G5(구조 평가 기능 없음)는 최악의 성능을 보였고 이러한 기능이 가장 많이 기여했음을 나타낸다.
색상 비교 및 노이즈 측정 기능도 중요한 반면 조명 향상 기능은 상대적으로 거의 기여하지 않다.
