AI입문

논문 제목: LightGCN: Simplifying and Powering Graph Convolution Network for RecommendationLightGCN: Simplifying and Powering Graph Convolution Network for... LightGCN: Simplifying and Powering Graph Convolution Network for RecommendationGraph Convolution Network (GCN) has become new state-of-the-art for collaborative filtering. Nevertheless, the reasons of its effectiveness for recommendation are no..

Finetuned Language Models Are Zero-Shot Learners Finetuned Language Models Are Zero-Shot LearnersThis paper explores a simple method for improving the zero-shot learning abilities of language models. We show that instruction tuning -- finetuning language models on a collection of tasks described via instructions -- substantially improves zero-shot perarxiv.org 제안 모델: FLAN배경선행 모델의 문제점제안 모델: 선행 문제..

논문 제목: BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from TransformerBERT4Rec: Sequential Recommendation with Bidirectional Encoder... BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from TransformerModeling users' dynamic and evolving preferences from their historical behaviors is challenging and crucial for recommendation systems...

논문 제목: An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleAn Image is Worth 16x16 Words: Transformers for Image Recognition at Scale An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleWhile the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision..

Attention Is All You Need  Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org  Transformer   배경기존 모델 한계 소개한계점을 극복한 제안 모델 소개 제안모델Transformer 모델 아키텍처Multi-Head s..

목차1. 과적합의 의미2. 과적합을 해결하는 여러가지 방법 소개   1) 조기 종료   2) 가중치 규제(Regulization)   3) 데이터 증강(Data Augmentation)   4) Drop Out 방법3. 코드 예시1. 과적합의 의미과적합(overfitting)은 훈련 데이터에서 성능이 뛰어나지만, 테스트 데이터에 대해서는 성능이 잘 나오지 않는 모델을 생성하는 경우이다. 즉, 훈련데이터에서만 성능이 좋고, 일반화 능력이 떨어지는 경우이다. 다양한 원인이 과적합을 야기할 수 있는데, 그 중 한가지를 예시와 함께 설명하고자 한다.먼저, 데이터가 많다고 무조건 과잉적합인 것은 아니다! 오히려 반대로 데이터가 적을 경우 과적합이 발생할 수 있다. 예를 들어, 데이터가 적은 경우를 극단적으로, 학..

목차:- 차원축소의 개념 및 활용 분야- 차원축소 기법- Mlxtend 파이썬 라이브러리- Wrapper*차원축소의 개념 및 활용분야차원축소(Dimensionality Reduction)는 고차원 데이터의 차원을 줄이는 과정으로, 데이터의 주요 정보를 최대한 유지하면서 차원을 줄여 데이터 분석, 시각화, 기계 학습 모델의 효율성을 향상시키기 위한 기술입니다.  차원축소는 주로 다음과 같은 이유로 사용됩니다: 1. 차원의 저주 극복: 고차원 데이터는 분석과 모델링 과정에서 계산 복잡성을 증가시키고, 과적합(overfitting) 문제를 초래할 수 있습니다. 차원축소는 이러한 문제를 줄여줍니다. 2. 시각화: 고차원 데이터를 2차원 또는 3차원으로 축소하여 데이터를 시각적으로 이해하기 쉽게 만듭니다. 3. ..

목차 1. 회귀의 개념 (선형회귀 위주)2. 경사하강법은 무엇인가?3. 학습률은 어떤 영향을 줄까?4. 경사하강법의 문제점와 해결방안 : 지역최소값 문제 5. 과잉적합과 과소 적합1. 회귀의 개념1.1 회귀 개념회귀는 지도학습 방법 중 하나로,주어진 입력(x)-출력(y) 쌍을 학습한 후에 새로운 입력값이 들어왔을 때, 합리적인 출력값을 예측하는 것이다. 예를 들어, "운동을 하루에 5시간 한다면 그 사람의 예측 수명은 어떻게 될까?"와 같은 문제가 이에 해당한다.입력과 출력에 해당하는 '운동 시간 별 수명 길이'에 대한 데이터를 학습한 후, 위의 문제처럼 운동시간(x)가 주어 적을때, 수명(y)를 예측하는 것이다. 일반적으로 데이터들을 2차원 공간에 찍은 후에 이들 데이터들을 가장 잘 설명하는 직선이나 ..

해당 포스팅은 1. 박스 플롯(IQR 사분위수) 설명 2. Python 코드로 이상치 살펴보기 다음과 같은 순으로 정리해보고자 합니다. 1. 박스플롯(IQR 사분위수) 설명 '박스 플롯'은 '상자 수염 그림'(Box-and-Whisker Plot) '상자 그림' 등 다양한 이름으로 불린다. 박스 플롯(box plot)은 ①데이터의 대략적인 분포와 ②개별적인이상치들을 동시에 보여줄 수 있으며, 서로 다른 데이터 뭉치를 쉽게 비교할 수 있도록 도와주는 시각화 기법으로 가장 널리 쓰이는 시각화 형태 중 하나이다. 박스 플롯을 IQR 사분위수라고도 하는데, 박스 플롯의 상자는 아래 그림과 같이, 제1사분위수(Q1), 제2사분위수(Q2), 제3사분위수(Q3)를 드러낸다. 각 분위 수는 전체 데이터를 100%로 보..

해당 포스트에서는 머신러닝 알고리즘의 성능평가를 하는 방식 중 하나인혼동행렬을 통한 정밀도 및 재현율 구하는 방식을 다뤄보고자 합니다. [목차]1. 정확도와 모순된 결과2. 정밀도와 재현율 구하기    - 혼동 행렬1. 정확도모델의 성능을 표현하기 위한 가장 흔한 방법은 정확도를 나타내는 것입니다. 정확도는 다음과 같이 표현합니다.▶ 정확도(accuarcy) = 올바르게 분류한 샘플 수 / 전체 샘플 수 예를 들어, 전체 샘플 100개 중 80개를 맞췄다면 정확도는 80입니다. 당연히 맞춘 개수, 즉 정확도가 높은 것이 성능이 좋다고 말할 수 있습니다. 하지만,  biased(편향된) 환경에서는 정확도는 높지만 결과가 긍정적으로 나오는 이상한 결과가 발생할 수 있습니다.  우리는 예측할 때  "~가 맞다..