AI입문

Attention Is All You Need  Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org  Transformer   배경기존 모델 한계 소개한계점을 극복한 제안 모델 소개 제안모델Transformer 모델 아키텍처Multi-Head s..

목차1. 과적합의 의미2. 과적합을 해결하는 여러가지 방법 소개   1) 조기 종료   2) 가중치 규제(Regulization)   3) 데이터 증강(Data Augmentation)   4) Drop Out 방법3. 코드 예시1. 과적합의 의미과적합(overfitting)은 훈련 데이터에서 성능이 뛰어나지만, 테스트 데이터에 대해서는 성능이 잘 나오지 않는 모델을 생성하는 경우이다. 즉, 훈련데이터에서만 성능이 좋고, 일반화 능력이 떨어지는 경우이다. 다양한 원인이 과적합을 야기할 수 있는데, 그 중 한가지를 예시와 함께 설명하고자 한다.먼저, 데이터가 많다고 무조건 과잉적합인 것은 아니다! 오히려 반대로 데이터가 적을 경우 과적합이 발생할 수 있다. 예를 들어, 데이터가 적은 경우를 극단적으로, 학..

목차:- 차원축소의 개념 및 활용 분야- 차원축소 기법- Mlxtend 파이썬 라이브러리- Wrapper*차원축소의 개념 및 활용분야차원축소(Dimensionality Reduction)는 고차원 데이터의 차원을 줄이는 과정으로, 데이터의 주요 정보를 최대한 유지하면서 차원을 줄여 데이터 분석, 시각화, 기계 학습 모델의 효율성을 향상시키기 위한 기술입니다.  차원축소는 주로 다음과 같은 이유로 사용됩니다: 1. 차원의 저주 극복: 고차원 데이터는 분석과 모델링 과정에서 계산 복잡성을 증가시키고, 과적합(overfitting) 문제를 초래할 수 있습니다. 차원축소는 이러한 문제를 줄여줍니다. 2. 시각화: 고차원 데이터를 2차원 또는 3차원으로 축소하여 데이터를 시각적으로 이해하기 쉽게 만듭니다. 3. ..

목차 1. 회귀의 개념 (선형회귀 위주)2. 경사하강법은 무엇인가?3. 학습률은 어떤 영향을 줄까?4. 경사하강법의 문제점와 해결방안 : 지역최소값 문제 5. 과잉적합과 과소 적합1. 회귀의 개념1.1 회귀 개념회귀는 지도학습 방법 중 하나로,주어진 입력(x)-출력(y) 쌍을 학습한 후에 새로운 입력값이 들어왔을 때, 합리적인 출력값을 예측하는 것이다. 예를 들어, "운동을 하루에 5시간 한다면 그 사람의 예측 수명은 어떻게 될까?"와 같은 문제가 이에 해당한다.입력과 출력에 해당하는 '운동 시간 별 수명 길이'에 대한 데이터를 학습한 후, 위의 문제처럼 운동시간(x)가 주어 적을때, 수명(y)를 예측하는 것이다. 일반적으로 데이터들을 2차원 공간에 찍은 후에 이들 데이터들을 가장 잘 설명하는 직선이나 ..

해당 포스팅은 1. 박스 플롯(IQR 사분위수) 설명 2. Python 코드로 이상치 살펴보기 다음과 같은 순으로 정리해보고자 합니다. 1. 박스플롯(IQR 사분위수) 설명 '박스 플롯'은 '상자 수염 그림'(Box-and-Whisker Plot) '상자 그림' 등 다양한 이름으로 불린다. 박스 플롯(box plot)은 ①데이터의 대략적인 분포와 ②개별적인이상치들을 동시에 보여줄 수 있으며, 서로 다른 데이터 뭉치를 쉽게 비교할 수 있도록 도와주는 시각화 기법으로 가장 널리 쓰이는 시각화 형태 중 하나이다. 박스 플롯을 IQR 사분위수라고도 하는데, 박스 플롯의 상자는 아래 그림과 같이, 제1사분위수(Q1), 제2사분위수(Q2), 제3사분위수(Q3)를 드러낸다. 각 분위 수는 전체 데이터를 100%로 보..

해당 포스트에서는 머신러닝 알고리즘의 성능평가를 하는 방식 중 하나인혼동행렬을 통한 정밀도 및 재현율 구하는 방식을 다뤄보고자 합니다. [목차]1. 정확도와 모순된 결과2. 정밀도와 재현율 구하기    - 혼동 행렬1. 정확도모델의 성능을 표현하기 위한 가장 흔한 방법은 정확도를 나타내는 것입니다. 정확도는 다음과 같이 표현합니다.▶ 정확도(accuarcy) = 올바르게 분류한 샘플 수 / 전체 샘플 수 예를 들어, 전체 샘플 100개 중 80개를 맞췄다면 정확도는 80입니다. 당연히 맞춘 개수, 즉 정확도가 높은 것이 성능이 좋다고 말할 수 있습니다. 하지만,  biased(편향된) 환경에서는 정확도는 높지만 결과가 긍정적으로 나오는 이상한 결과가 발생할 수 있습니다.  우리는 예측할 때  "~가 맞다..

Di Biase, Giancarlo, et al. "Pixel-wise anomaly detection in complex driving scenes." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021. CVPR 2021 Open Access Repository (thecvf.com) CVPR 2021 Open Access Repository Pixel-Wise Anomaly Detection in Complex Driving Scenes Giancarlo Di Biase, Hermann Blum, Roland Siegwart, Cesar Cadena; Proceedings of the IEEE/..

Cao, Yunkang, et al. "Segment any anomaly without training via hybrid prompt regularization." arXiv preprint arXiv:2305.10724 (2023). [2305.10724] Segment Any Anomaly without Training via Hybrid Prompt Regularization (arxiv.org) Segment Any Anomaly without Training via Hybrid Prompt Regularization We present a novel framework, i.e., Segment Any Anomaly + (SAA+), for zero-shot anomaly segmentatio..

데이터셋에서 NULL 값이 있을 경우, 어떻게 해야할까요? 이번에는 데이터셋에 NULL 값이 표함된 경우 어떻게 해결하면 되는지 다룹니다. 데이터 정보가 빈/ 없는 데이터은 NULL로 표시되는데, 이를 " 데이터가 결측치를 포함하고 있다"라고 표현합니다. 먼저, 데이터셋에 NULL값이 포함되어 있는지 확인하기 위해 isnull(), isna() 함수를 사용할 수 있습니다. # true/false로 null인지 아닌지 출력하는 함수 df.isnull() df.isna() #null 값의 개수 확인 df.isnull().sum() df.isna().sum() 결측치가 존재할 때, 우리는 어떤 식으로 결측치가 만들어 지는 것이고? 그 결측치를 어떻게 처리해야되는가?를 고민해야합니다. 전체 데이터셋의 1% 미만..

Radford, Alec, et al. "Learning transferable visual models from natural language supervision." International conference on machine learning. PMLR, 2021. Learning Transferable Visual Models From Natural Language Supervision (mlr.press) Learning Transferable Visual Models From Natural Language Supervision State-of-the-art computer vision systems are trained to predict a fixed set of predetermined ..