AI입문

데이터셋에서 NULL 값이 있을 경우, 어떻게 해야할까요? 이번에는 데이터셋에 NULL 값이 표함된 경우 어떻게 해결하면 되는지 다룹니다. 데이터 정보가 빈/ 없는 데이터은 NULL로 표시되는데, 이를 " 데이터가 결측치를 포함하고 있다"라고 표현합니다. 먼저, 데이터셋에 NULL값이 포함되어 있는지 확인하기 위해 isnull(), isna() 함수를 사용할 수 있습니다. # true/false로 null인지 아닌지 출력하는 함수 df.isnull() df.isna() #null 값의 개수 확인 df.isnull().sum() df.isna().sum() 결측치가 존재할 때, 우리는 어떤 식으로 결측치가 만들어 지는 것이고? 그 결측치를 어떻게 처리해야되는가?를 고민해야합니다. 전체 데이터셋의 1% 미만..

해당 글에서는 1. 데이터 전처리가 무엇인지?2. 데이터 전치리가 왜 필요한지?3. 데이터 수집 과정에서 '방해요소와 데이터 전처리의 효과' 에 대한 내용을 다룹니다.  1. 데이터 전처리는 무엇일까?데이터 전처리는 데이터 분석을 위해 수집한 데이터를 분석에 적합한 형태로 가공하는 과정입니다. 데이터 분석 단계는 '1) 데이터 습득/선택 2) 데이터 전처리 3) 데이터 마이닝 4) 해석평가'로 이루어지는데, 데이터 전처리 과정은 2번째 단계에 해당합니다. 크게는 데이터 분석, 작제는 데이터 전처리는 주로 AI 모델을 통한 학습 전에 해당 데이터를 학습에 편하게 변형하는 과정에서 많이 사용됩니다.2. 데이터 전처리는 왜 필요할까?데이터 전처리는 데이터 분석 파이프라인을 구성하는데 있어 중요한 단계입니다. ..