Sarawgi, Utkarsh, et al. "Uncertainty-Aware Multi-Modal Ensembling for Severity Prediction of Alzheimer's Dementia." arXiv preprint arXiv:2010.01440 (2020).
Papers with Code - Uncertainty-Aware Multi-Modal Ensembling for Severity Prediction of Alzheimer's Dementia
Implemented in one code library.
paperswithcode.com
Abstract
Reliability in Neural Networks (NNs) is crucial in safety-critical applications like healthcare, and uncertainty estimation is a widely researched method to highlight the confidence of NNs in deployment. In this work, we propose an uncertainty-aware boosting technique for multi-modal ensembling to predict Alzheimer’s Dementia Severity. The propagation of uncertainty across acoustic, cognitive, and linguistic features produces an ensemble system robust to heteroscedasticity in the data. Weighing the different modalities based on the uncertainty estimates, we experiment on the benchmark ADReSS dataset, a subject-independent and balanced dataset, to show that our method outperforms the state-of-the-art methods while also reducing the overall entropy of the system. The source code is available at
https://github.com/wazeerzulfikar/alzheimers-dementia Keywords: Alzheimer’s Dementia Detection, Uncertainty Estimation, Machine Learning, Speech Processing, Human-Computer Interaction
본 페이지에서는 해당 연구를 이해의 편의를 위해서 배경, 제안모델 요약, 선행연구, 제안모델과 실험방법, 평가 결과, 논문의 기여점, 개선되야할 부분 순으로 정리합니다. 개인적인 분석이므로, 해당 논문에 대한 평가가 아닌 '해당 논문이 어떠한 내용이다'를 정리한 논문 리뷰로서 참고하고 봐주시면 감사하겠습니다. 더욱 자세한 내용을 위해서는 첨부된 논문을 읽어주세요:) 또한, 해당 모델의 코드가 논문에 첨부되어 있으니 참고하실 분은 참고바랍니다. 특히, 해당 모델의 코드가 공개되어 있습니다. 확인하시고 싶으신 분들을 Github 링크 들어가서 확인해주시면 될 것 같습니다.
언제든 피드백은 환영입니다:)
배경
- 알츠하이머에 대한 배경지식
- 가장 흔한 치매 요인
- 뇌세포를 퇴화시키는 진행성 질환
- (Molinuevo, 2011) 치매 환자의 인지 및 행동의 저하를 일으킴
- (ESCOBAR 및 AFANADOR, 2010 )기억력 상실 및 언어 장애를 통해 나타남
- 치매 환자 수의 증가
- (Prince et al., 2013). 2015년 전 세계 치매 환자 수는 47.47백만 명으로 추정되었으며, 2050년까지 135.46백만 명으로 증가할 것으로 예측됨
- 여러 연구들이 알츠하이머 치매의 위험성을 나타지만, 접근에 대한 예측만 존재
- 의료와 같이 보안이 중요한 이러한 설정에서, 신경망(NN)에 대한 신뢰도 측정을 생성하여 모델의 신뢰도와 인식도를 크게 향상시킬 수 있을 것이다.
제안 모델 요약
해당 논문에서는 (알츠하이머 치매의 중증도 예측하는데 멀티 모달 시스템)에서 신경망의 신뢰도를 높이기 위해 불확실성을 고려한 앙상블링 기법을 제안한다. 각 기저 학습기는 다른 모달을 나타내며, 데이터 포인트의 예측 불확실성에 따라 손실을 가중치로 부여하여 순차적으로 기저 학습기를 부스팅한다.
*앙상블(Ensemble) & 부스팅(Boosting) 이 무엇인지 알아보고 싶으시다면? 앙상블 학습(Ensemble Learning) (tistory.com)
*불확실성(Uncertainty)이 무엇인지 알아보고 싶으시다면? 불확실성(Uncertainty)란 무엇일까? (tistory.com)
선행연구
*해당 부분은 선행연구 하나하나 분석하는 것이 아닌 해당 논문에서 언급된 선행연구들은 간단히 정리하고 이 논문이 제안하고자 하는 것과 연관성 있는 주요 포인트라고 생각되는 부분만 가져왔습니다.
[앙상블 & 불활실성 관련 선행연구]
- 불확실성 추정(Uncertainty Estimate) 관련 논문들이 여럿 존재한다.
- Bayesian Graves (2011) / Blundell et al. (2015) / Hern´andez-Lobato and Adams (2015) / Kingma et al. (2015) / Gal and Ghahramani (2016) / Lee et al. (2017) / Wu et al. (2018) / Pearce et al. (2020)
- non-Bayesian Osband (2016) / Lakshminarayanan et al. (2017) / Dusenberry et al. (2020) / Sarawgi et al. (2020a)
- 멀티모달 환경에서 "네트워크의 앙상블"은 모델의 성능을 더욱 향상시킬 수 있다.
- ensembling techniques로 널리 쓰이는 Boosting algorithms
- Adaptive Boosting (Freund and Schapire, 1997)
- Gradient Boosting (Friedman, 2000)
- XG Boosting (Chen and Guestrin, 2016)
- ensembling techniques로 널리 쓰이는 Boosting algorithms
- "불확실성(Uncertainty) + 앙상블 방법" 통합하는 작업들이 존재한다.
- Kendall et al. (2018)
- 여러 작업을 학습할 때, 예측한 uncertainty를 각 모델의 loss들의 가중치로 사용함
⇒ 하나의 모델들을 작업별로 학습하는 것보다 더 좋은 성능 보임
- 여러 작업을 학습할 때, 예측한 uncertainty를 각 모델의 loss들의 가중치로 사용함
- Chang et al. (2017)
- 불확실성 추정을 활용하고, SGD의 다른 미니 배치에서 더 높은 불확실성을 가진 잘못 예측된 데이터 포인트를 학습함
- Kendall et al. (2018)
[치매 관련 선행연구]
- 치매 특징
- 치매는 일반적으로 인지력 저하 및 의사소통, 기억, 사고 능력의 장애 증상으로 특징지어짐(Pulido et al., 2020).
- 자발적인 발화로부터 경도 인지 장애를 자동으로 감지하기 위한 음성 인식 기반 솔루션을 제안하기 위해 다양한 특성이 사용됨 (Tóth et al., 2018; Pulido et al., 2020).
제안 모델 & 실험 방법
사용한 데이터셋: 표준화된 **ADRESS 데이터셋 (Luz et al., 2020)**을 기준으로 평가함.
- 156개의 음성 샘플과 해당하는 대본으로 구성
- 각각 고유한 주체로부터 얻은 것
- 연령과 성별에 대해 일치시킨 후, 회귀를 위한 MMSE 점수를 라벨로 가지고 있다.
데이터 특징 분석 결과:
- 해당 논문에서는 도메인 지식과 문맥을 강조하는 관련 인지 및 음향 특성을 추출하여 각각의 신경망(NN) 모델에 입력함
- 데이터를 탐색한 결과:
'불명확성(Disfluency)', '음향(Acoustic)', '개입(Interventions)'으로 지칭되는 세 가지 특성 집합을 AD의 심각도와 강한 상관 관계가 있는 것으로 확인함. - '불명확성(Disfluency)', '음향(Acoustic)', '개입(Interventions)' 3가지 신경망 모델로을 학습자로 지정
- 데이터를 탐색한 결과:
제안모델:
(알츠하이머 치매의 중증도 예측을 위해) 다중 모달 시스템에 대한 불확실성을 고려한 앙상블링 기법을 제안
- AD의 심각성을 예측하기 위해 멀티모달 환경에서 해당 기술을 적용
- 제안 방법을 통해 uncertainty estimates 생성하며, 전체적인 멀티모달 시스템의 entropy를 줄이는 것이 목표
- 기본 학습자 전반( =불명확성(Disfluency), 음향(Acoustic), 개입(Interventions))에 걸쳐 순차적으로 부스팅하면서 손실을 가중한 다음 최종 예측을 위한 모든 기본 학습자의 예측을 평균화하는 '불확실성 인식 앙상블'을 제안
==> 이 제안 모델을 'UA 앙상블'이라고 함
[구체적인 과정 = 아래 1, 2, 3번 순으로 진행 됨]
-
- 세 가지 모델은 각각 데이터의 이분산성을 설명하기 위해 점 추정 대신 목표 분포를 예측함
- 목표 분포는 모형의 최종 계층, 즉 yn ~ N에서 예측되는 평균 θ와 표준 편차 θ에 의해 매개 변수화된 가우시안 분포 pθ(yn|xn)로 모델링됨.
- 각 모델은 적절한 점수 규칙 l(θ, x, y)을 사용하여 해당 입력 특징 x와 접지 진리 레이블 y로 훈련
- 아래 식에 따라 결합 분포 pθ(yn|xn)의 negative log-likelihood (NLL)에 대해 최적화하기 위해 '아담 옵티마이저' 사용
-
- 예측된 평균 값과 함께 예측 불확실성을 산출함.
- 기본 학습자 각각에 대한 예측 불확실성을 추정하기 위해 → non-Bayesian method 사용
- 불확실성을 추정 동기: 특정 기본 학습자가 잘못 예측된 것이라 예상되는 높은 불확싱성을 가진 데이터 포인트를 순차적으로 증가시키기 위함
- 기본 학습자 각각에 대한 예측 불확실성을 추정하기 위해 → non-Bayesian method 사용
- 기본 학습자 순차적으로 부스팅 + 모든 기본 학습자의 예측 평균화
- 예측된 표준 편차로 정량화된 예측 불확실성을 사용하여 기본 학습자 전반에 걸쳐 순차적으로 부스팅하면서 손실을 가중하고 최종 예측을 위한 모든 기본 학습자의 예측을 평균화 함.
- 세 가지 모델은 각각 데이터의 이분산성을 설명하기 위해 점 추정 대신 목표 분포를 예측함
- 예측의 평균화에 대한 변형도 실험인 'UA 앙상블(weighted)'도 제안함
- UA 앙상블은 예측의 가중 평균을 수행하고,
여기서 사용된 가중치는 예측된 표준 편차로 정량화된 각 예측 불확실성의 역이다.
위의 식에서 나타남. ==> 해당 논문에서는 이 변화를 'UA 앙상블(가중치)'이라고 부름.- P(xn)은 최종 예측이고, N은 개별 양식의 총 개수.
- UA 앙상블은 예측의 가중 평균을 수행하고,
평가지표: MMSE(Mini-Mental State Exam), RSME(Root Mean Square Error) , Entropy
- MMSE 점수를 통해 AD의 심각성을 나타냄
- MMSE (Tombaugh and McIntyre, 1992)
Regression module is added at the top of the Ensemble for MMSE regression. - RSME를 통해 예측값과 실제값 사이의 차이를 계산하여 모델의 예측 오차를 측정
- 값이 작을수록 모델의 예측이 실제값과 가까움
- 예측 모델의 성능 또는 정확성을 평가하는 데 사용되는 지표
- Entropy
- 어떤 사건이 발생할 확률에 따라 정보의 예상치를 측정하는 척도
=> 주어진 확률 분포에서의 불확실성 정도를 나타내는 값
- 어떤 사건이 발생할 확률에 따라 정보의 예상치를 측정하는 척도
평가결과
(강건성을 위해) 무작위 시드를 사용하여 각 평가를 5회 반하고 RMSE 결과의 평균과 분산을 보고함.
표 1: ADReSS 데이터셋의 테스트 세트에서 개별 모달리티, 즉 베이스 학습기와 앙상블 방법의 비교.
먼저 각각의 모달리티, 즉 베이스 학습기를 개별적으로 평가하고 Vanilla Ensemble과 불확실성을 고려한 앙상블과 비교.
불확실성의 전파를 위한 순차 부스팅의 순서는 테스트 세트에서의 개별 성능을 기준으로 선택됨.
표2 : 순차적으로 부스팅하는 동안 기저 학습기의 엔트로피를 평가
Vanilla Ensemble과 불확실성을 고려한 앙상블에서 기저 학습기의 엔트로피 평가
결과 분석:
표1) 제안 모델인 UA 앙상블이 가장 낮은 RMSE를 보임. => 즉, 가장 좋은 성능(높은 정확도)을 보임
표2) 불확실성을 고려한 앙상블에서 전반적인 엔트로피가 감소하는 것을 관찰할 수 있음.
=> 불확실성 인식의 사용은 불확실한 데이터포인트, 즉 주제에 대한 앙상블의 강건성을 향상시킬 수 있다.
논문의 기여점
- uncertainty estimates(by individual base learners)를 사용하여 ensemble을 boost하는 것이 최초
- 다중 모달 시스템이 전체 엔트로피를 감소시켜 시스템이 보다 신뢰할 수 있게 만듦
- 불확실성 가중치 사용을 통해 우리의 불확실성 인식 앙상블이 최신 기술 결과를 능가하는 방법을 보여줌
개선되야할 부분
*향후 연구 방향성을 다루는 부분
- 불확실성의 전파를 위한 순차 부스팅의 순서는 테스트 세트에서의 개별 성능을 기준으로 선택 됨
=> 앙상블 내 모달리티의 순서를 실험 필요 - 기본 학습자를 보다 정교하게 가중하는 방법을 시도
- 불확실성을 추정하기 위해 베이지안 방법을 실험
해당 논문에서 기반이 되는 개념들은 중 필요한 부분이 있다면, 개념 정리해놨으니 참고 부탁드립니다:)
- 앙상블(Ensemble) & 부스팅(Boosting) 이 무엇인지 알아보고 싶으시다면?
앙상블 학습(Ensemble Learning) (tistory.com) - 불확실성(Uncertainty)이 무엇인지 알아보고 싶으시다면?
불확실성(Uncertainty)란 무엇일까? (tistory.com)
또한, 해당 논문 리뷰에서 나온 개념 중 이해가 안되는 부분이나 더 다뤘으면 하는 부분은 피드백 주시면 반영하도록 하겠습니다.