ADsP 3과목, 데이터 분석 정리!
이번 주 월요일, ADsP 자격증 시험 원서 접수 잘 하셨나요?
저는 10시에 시간 맞춰 집 근처 고사장에 무사히 접수 완료했습니다. 이제 본격적으로 공부를 시작하려고 하는데요, 1과목과 2과목은 각각 10문제씩 출제되기 때문에, 가장 많은 30문제가 출제되는 **3과목(데이터 분석)**부터 먼저 준비하려고 합니다. 오늘부터 시험일인 2월 22일까지 차근차근 계획적으로 공부해볼 예정입니다. 함께 열심히 준비해봐요! 😊
1장 R기초와 데이터 마트
1. R 데이터 구조
① 벡터 : 타입이 같은 여러 데이터를 하나의 행으로 저장. 1차원 데이터 구조
- concatenate(연결한다)의 c를 사용하여 데이터를 묶는다.
② 행렬 : 2차원 구조를 가진 벡터. 행렬에 저장된 모든 데이터는 같은 타입.
- matrix를 사용 - nrow : 행의 수 / ncol : 열의 수
- byrow = T 를 사용하여 행으로 저장
- dim함수를 사용하여 행의 개수와 열의 개수를 지정하여 행렬로 변환
③ 배열 : 3차원 이상의 구조를 갖는 벡터. 배열에 포함된 데이터는 모두 같은 타입.
④ 리스트 : 데이터 타입, 데이터 구조에 상관없이 원하는 모든 것을 저장.
⑤ 데이터프레임 : 데이터 분석을 위한 2차원 구조를 갖는 관계형 데이터 구조
- 여러 개의 벡터로 구성되어 있기 때문에 각 열은 서로 다른 타입의 데이터 구조를 갖을 수 있다.
(1) 통계함수
① sum / mean / median : 합계 / 평균 / 중앙값
② var / sd : 표본 분산 / 표본 표준편차
③ max / min / range : 최댓값 / 최솟값 / 최댓값과 최솟값
④ summary : 요약값
⑤ skewness : 왜도
⑥ kurtosis : 첨도
(2) 데이터 전처리
① subset : 데이터에서 조건식에 맞는 데이터를 추출
② merge : 두 데이터를 특정 공통된 열을 기준으로 병합
③ apply : 데이터에 열(or 행)별로 주어진 함수를 적용
2. 데이터 마트
1) 데이터 마트 : 데이터 웨어하우스로부터 특정 사용자가 관심을 갖는 데이터들을 주제별, 부서별로 추출하여 모은 작은 규모의 데이터 웨어하우스
- 데이터 마트 개발 : 분석 목적별, 주제별, 부서별로 데이터를 수집하고 변형하여 한 곳에 모으는 작업
- reshape, sqldf, plyr 등의 패키지를 활용
2) 데이터 전처리
- 데이터를 정제(cleansing) : 결측값과 이상값 처리
- 분석 변수 처리 : 변수 선택, 차원 축소, 파생변수 생성, 변수 변환, 클래스 불균형(불균형 데이터 처리)
3) R 패키지 활용
(1) reshape
① melt 함수 : 특정 변수를 기준으로 녹여서 나머지 변수에 대한 세분화된 데이터를 만듦
② cast 함수 : melt로 녹인 데이터의 요약을 위해 새롭게 가공
(2) sqldf : SQL 문장을 활용하여 R에서 데이터프레임을 다루는 것을 가능하게 해준다.
(3) plyr
- apply 함수를 기반으로 데이터를 분리하고 다시 결합하는 필수적인 데이터 처리 기능을 제공
- ddply
(4) data.table : 특정 컬럼별로 주솟값을 갖는 인덱스를 생성하여 연산 및 검색을 빠르게 수행할 수 있는 데이터 구조
3. 데이터 탐색
(1) 탐색적 데이터분석(EDA) : 데이터를 이해하고 의미 있는 관계를 찾아내기 위해 데이터의 통계값과 분포 등을 시각화하고 분석하는 것
(2) 결측값 : 존재하지 않는 데이터. (NA, Null, 공백, -1 등)
- Amelia, DMwR2
* 결측값 대치 방법
① 단순 대치법 : 결측값이 존재하면 데이터를 삭제
- 가장 쉬운 방법이지만, 대량의 데이터 손실 발생
- complete.cases 함수 사용
② 평균 대치법 : 평균 혹은 중앙값으로 결측값을 대치
- 비조건부 평균 대치법 : 데이터의 평균값으로 결측값을 대치
- 조건부 평균 대치법 : 실제 값들을 분석하여 회귀분석을 활용
- DMwR2 패키지의 centralImputation 함수 사용
③ 단순 확률 대치법 : 평균 대치법에서 추정량 표준 오차의 과소 추정 문제를 보완
- K-Nearest Neighbor 방법
④ 다중 대치법 : 여러 번의 대치를 통해 n개의 임의 완전자료를 만드는 방법
- 결측값 대치, 분석, 결합 세 단계로 구성
(3) 이상값 : 다른 데이터와 비교했을 때 극단적으로 크거나 작은 값을 의미
*이상값 판단
① ESD : 평균으로부터 '표준편차 3'만큼 떨어진 값들을 이상값으로 인식하는 방법.
- 전체 데이터의 약 0.3%를 이상값으로 구분
② 사분위수 : Q1(25%)과 Q3(75%)을 활용하여 이상치를 판단하는 방법
- IQR = Q3 - Q1
- Q1 - 1.5 × IQR < x < Q3 + 1.5 × IQR