Di Biase, Giancarlo, et al. "Pixel-wise anomaly detection in complex driving scenes." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021.
CVPR 2021 Open Access Repository (thecvf.com)
CVPR 2021 Open Access Repository
Pixel-Wise Anomaly Detection in Complex Driving Scenes Giancarlo Di Biase, Hermann Blum, Roland Siegwart, Cesar Cadena; Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 16918-16927 Abstract The inability o
openaccess.thecvf.com
Abstract (ChatGPT 번역본):
최첨단 시멘틱 세그멘테이션 방법의 한계로 인해 이상 징후 인스턴스를 감지하지 못하면 안전 관련 및 복잡한 응용 분야, 특히 자율 주행과 같은 분야에 배치할 수 없습니다. 최근에는 세그멘테이션 불확실성을 활용하여 이상 영역을 식별하거나 시맨틱 라벨 맵에서 이미지를 재합성하여 입력 이미지와의 차이점을 찾는 데 중점을 둔 접근 방식이 있었습니다. 본 연구에서는 이 두 가지 방법론이 보완적인 정보를 포함하고 있으며, 안정적인 이상 징후 세그멘테이션을 생성하기 위해 결합될 수 있다는 것을 보여줍니다. 우리는 불확실성 맵을 사용하여 입력과 생성된 이미지 간의 차이를 찾는 기존의 재합성 방법을 개선하는 픽셀별 이상 징후 감지 프레임워크를 제시합니다. 우리의 접근 방식은 이미 훈련된 세그멘테이션 네트워크 주변의 일반적인 프레임워크로 작동하여 세그멘테이션 정확도를 저해하지 않고도 이상 징후 감지를 보장하며, 유사한 방법들보다 훨씬 우수한 성능을 발휘합니다. 다양한 이상 데이터셋에서의 상위 2위 성능은 우리의 접근 방식이 다양한 이상 인스턴스를 처리하는 데 견고함을 보여줍니다.
본 페이지에서는 해당 연구를 이해의 편의를 위해서 배경 및 제안모델 요약, 제안 모델 설명, 논문의 기여점 순으로 정리합니다. 개인적인 분석이므로, 해당 논문에 대한 평가가 아닌 '해당 논문이 어떠한 내용이다'를 정리한 논문 리뷰로서 참고하고 봐주시면 감사하겠습니다. 더욱 자세한 내용을 위해서는 첨부된 논문을 읽어주세요:)
*선행연구의 논문이 보고 싶다면, 본 논문의 references에서 확인 부탁드립니다
언제든 피드백은 환영입니다:)
배경 및 제안모델 요약
[배경]
- 딥 러닝의 최근 발전은 컴퓨터 비전 분야에서 높은 정확도를 가지고 있지만, 보통 예측이 훈련 분포 외부의 이상 입력를 만나면 실패한다.
→ 본 연구에서는 semantic segmentation models이 이상 징후 인스턴스를 지역화하는 능력 부족과 이로 인해 안전한 상황에서의 실전 배치가 제한된다는 것에 중점을 두고 연구
ex) 자율주행차량의 경우, 만약 에이전트가 이상한 객체(즉, 거리의 가운데에 나무 상자)를 만난다면, 모델은 이 객체를 도로의 일부로 잘못 분류하여 차량이 충돌하도록 할 수 있다.
(그림1) 위의 사진은 기존 모델들의 단점과 현 모델의 결과를 나타낸다. 세그멘테이션 네트워크가 이상이 있는 인스턴스를 만났을 때는 세 가지 가능한 결과이다.
[기존 모델] 다음과 같은 결과가 발생할 수 있다.
상단 결과는, 이상이 있는 인스턴스가 제대로 세그멘트되고 훈련 클래스 중 하나로 분류된다 (예: 새가 사람으로 오인됨)
중간 결과는, 이상이 있는 인스턴스가 여러 클래스로 과다 세그멘트된다
(예: 개가 사람, 식물 및 지형 클래스의 조합으로 감지됨)
하단 결과는, 이상이 있는 인스턴스가 배경과 혼합되어 감지되지 않는다 (예: 상자가 도로 세그멘테이션과 혼합됨)
→ 이전 접근 방법은 적어도 하나를 처리하지 못한다.
[제안모델 요약과 기존 모델 문제점 분석]
해당 논문의 제안된 방법은 위의 모든 시나리오에 대해 견고한 예측을 생성하며,
입력에서 이상 징후를 감지하기 위해 우리는 두 가지 이미 확립된 방법론을 기반으로 접근한다.
견고한 예측을 생성하기 위해 불확실성 및 재합성 방법론을 결합한 새로운 픽셀 수준의 이상 프레임워크를 제안
1. 불확실성 추정을 사용하여 이상을 감지
- 낮은 신뢰도 예측은 아마도 이상징후일 것이라는 것이라고 가정한다.
- 그러나 불확실성 추정 방법 자체는 여전히 노이즈가 많고 부정확하다. 이전 연구들은 이러한 모델이 많은 예상치 못한 객체를 감지하지 못하는 결과를 보인다.
- 실패 사례 예시는 (그림 1)의 상단&하단에 나와 있으며, 여기서 이상 객체는 감지되지만 잘못 분류되거나 감지되지 않고 배경에 블렌딩된다. → 해당 경우 모두 세그멘테이션 네트워크는 예측에 대해 과신하며, 따라서 추정된 불확실성(소프트맥스 엔트로피)이 낮다.
2. (세그멘테이션 모델의 성능 향상을 위해) 예측된 시맨틱 맵에서 입력 이미지를 재합성하여 이상을 감지하는 모델
- 이러한 방식의 기존 모델들은 세그멘테이션 과신을 다룰 때 유망한 결과를 보여주지만, 알려지지 않은 객체에 대해 세그멘테이션 출력이 노이즈 예측을 하는 경우 실패한다.
- 이러한 실패는 (그림 1)의 중간에 나와 있으며, 여기서 합성 모델은 시멘틱 맵의 노이즈 패치를 재구성할 수 없어 입력 및 생성된 이미지 사이의 차이를 찾는 것을 복잡하게 만든다.
제안 모델 설명
이미 예측된 시맨틱 맵에서 입력 이미지와 다시 합성된 이미지 사이의 차이를 식별하는 것으로서 알려진 이전 재합성 방법 [24, 12, 38]을 기반으로 한다.
1. 입력 이미지를 세그멘테이션 네트워크를 통해 전달한다. 이는 시맨틱 맵과 두 개의 불확실성 맵을 출력한다.
2. 예측된 시맨틱 맵은 그런 다음 합성 네트워크에 의해 처리되어 사실적인 이미지를 생성한다. 그런 다음 입력 및 생성된 이미지 간의 특징을 비교하여 인지적 차이를 계산한다.
3. 마지막으로 모든 예측된 이미지와 입력 이미지가 공간 인식 불일치 모듈로 전송되어 이상을 예측한다.
위의 그림은 불일치 모듈 아키텍처이다.
1. 입력, 합성, 시맨틱 및 불확실성 이미지가 주어지면, 각 이미지에 대해 고수준에서 저수준까지의 특징을 CNN으로 추출한다.
2. 각 수준마다 입력(파란색), 합성(노란색) 및 시맨틱(빨간색) 특징을 연결하고 1x1 합성곱으로 이를 결합한다. 결과 맵은 불확실성 맵의 특징과의 상관 관계를 계산하기 위해 사용된다.
3. 융합 모듈의 출력(보라색)은 디코더로 전달되어 예측된 이상 징후 세그멘테이션을 생성한다. 디코더 블록에서 시맨틱 맵을 사용하여 SPADE 정규화를 사용하여 공간 인식 예측을 보장한다.
- 소프트맥스 엔트로피 [10, 21], 소프트맥스 차이 [31] 및 인식적 차이 [16, 8]와 같은 다양한 불확실성 측정치를 통합하여 차이 네트워크가 입력 및 생성된 이미지를 구분하는 데 도움을 준다.
논문의 기여점
실험결과:
- 실험은 불확실성 및 재합성 접근 방식이 서로 보완적이며, 세그멘테이션 네트워크가 이상을 만났을 때 다양한 결과를 커버한다는 것을 보여준다.
- 제안된 방법은 기존의 재합성 및 불확실성 기반 방법보다 우수한 성능을 보여준다
- 특히 Fishyscapes 벤치마크에서 가장 우수한 성과를 달성하였다.
논문의 기여점:
- 픽셀 수준의 이상 징후 감지: 복잡한 주행 장면에서 픽셀 수준의 이상 징후 감지에 대한 연구를 심층적으로 조사했다.
- 성능 향상: 제안된 방법은 기존의 재합성 및 불확실성 기반 방법보다 우수한 성능을 보여준다
- 네트워크 무결성: 세그멘테이션 네트워크에 제한을 두지 않아 이미 훈련된 다양한 세그멘테이션 모델과 함께 사용할 수 있다.
- 가벼운 네트워크와의 호환성: 더 가벼운 세그멘테이션 및 합성 네트워크와도 잘 작동하여 자율 주행 기계에 배포할 수 있을 것이다.