진단이 먼저인가, 처리가 먼저인가

11편과 12편에서 결측·이상치·변환을 다뤘습니다. 그런데 순서를 생각해 보면 이상합니다. 무엇이 문제인지 모르는 채로 어떻게 처리 방법을 고를 수 있을까요?

실제 순서는 이렇습니다.

진단과 탐색이 전처리 앞뒤를 감쌉니다. 전처리 전에는 무엇을 고칠지 알기 위해, 전처리 후에는 제대로 고쳐졌는지 확인하기 위해 탐색합니다. 이 편은 그 진단과 탐색의 도구를 정리합니다.

쉽게 말하면: 요리 전에 재료를 살펴보고, 손질한 뒤에 다시 살펴보는 일입니다.

1. 데이터 품질 요소 — 정의를 사례로 구분하기

시험에서 품질 요소는 연결 짝짓기나 잘못된 설명 고르기로 나옵니다. 정의를 외우는 것보다 각 요소가 어떤 종류의 문제를 잡아내는지를 아는 것이 빠릅니다.

기출에서 실제로 나온 함정: “완전성 — 분석자가 선호하는 열만 골라 남긴 정도”라는 보기가 틀린 연결로 출제되었습니다. 완전성은 필요한 값이 빠짐없이 있는지를 뜻하지, 분석자가 주관적으로 열을 고르는 행위가 아닙니다. 이런 문제는 “주관적”, “분석자가 원하는”, “임의로”라는 단어가 정의에 끼어들면 거의 오답입니다.

정확성과 유효성을 구분하는 요령: 나이 250은 형식·범위 규칙을 어겼으므로 유효성 문제입니다. 실제로는 35세인데 45로 입력된 것은 규칙은 지켰지만 사실과 다르므로 정확성 문제입니다. 유효성은 데이터만 보고 잡을 수 있고, 정확성은 현실과 대조해야만 잡을 수 있습니다.

2. 품질 진단에서 실제로 확인하는 것

중복의 두 얼굴

중복에는 성격이 다른 두 종류가 있어 처리도 다릅니다.

왜 두 번째 줄이 위험한가: 자동으로 앞의 행만 남기면 최신 주소를 버리게 될 수 있습니다. 갱신 시각 같은 기준 없이 중복을 제거하면 어느 정보가 살아남았는지 통제할 수 없습니다.

표기 불일치

같은 뜻인데 표기가 다르면 집계할 때 다른 범주로 갈라집니다.

단위 불일치가 가장 무섭습니다. 형식 오류는 눈에 보이지만, 천원 단위로 들어온 매출은 그냥 작은 숫자로 보일 뿐이라 탐지되지 않은 채 통과합니다. 그래서 열마다 단위를 명시한 메타데이터가 필요합니다.

3. 탐색적 데이터 분석이란

탐색적 데이터 분석(EDA)은 데이터가 가지는 특성을 파악하기 위해 데이터를 탐색·요약·시각화하는 분석 과정입니다.

핵심 성격: 가설을 세워 검증하는 것이 아니라, 데이터가 무엇을 말하는지 먼저 들어 보는 단계입니다. 어떤 결과가 나올지 정해 두지 않고 봅니다.

EDA의 네 가지 원칙

해석: 네 원칙은 결국 하나를 말합니다. 평균 하나로 요약하고 끝내지 말고, 튀는 값과 남은 부분까지 그림으로 확인하라는 것입니다.

4. 단변량 탐색 — 한 변수씩 보기

자료 유형에 따른 도구

히스토그램과 막대그래프를 구분하는 시험 포인트: 히스토그램은 연속형을 구간으로 나눠 그리므로 막대가 붙어 있고, 막대그래프는 범주형을 그리므로 막대가 떨어져 있습니다. 막대의 순서를 바꿔도 되는 쪽은 막대그래프입니다.

히스토그램에서 읽어야 할 네 가지

4번이 특히 중요합니다. 봉우리가 둘인 분포에서 평균을 내면, 그 평균은 두 봉우리 어느 쪽에도 해당하지 않는 골짜기 값이 되곤 합니다. 남성과 여성의 키를 합쳐 평균을 내면 아무도 그 키가 아닌 것과 같습니다. 이럴 때는 집단을 나눠 따로 봐야 합니다.

상자그림에서 읽을 수 있는 것과 없는 것

시험 포인트: 상자그림은 다섯 개의 요약값만 그리므로, 봉우리가 두 개인 분포와 하나인 분포를 구분하지 못합니다. 그래서 상자그림과 히스토그램을 함께 봐야 합니다.

5. 이변량 탐색 — 두 변수의 관계

조합에 따른 도구

판정 요령: 문제에 변수 두 개가 나오면 먼저 각각이 수치형인지 범주형인지를 확인합니다. 이것만으로 답이 대부분 결정됩니다. 산점도는 수치형 두 개일 때만 의미가 있고, 교차표는 범주형 두 개일 때만 만들 수 있습니다.

공분산

• $x_i, y_i$: 각 관측치의 두 변수 값
• $\bar{x}, \bar{y}$: 두 변수의 표본평균
• $n$: 관측치 개수
• 분모 $n - 1$: 표본에서 계산할 때의 자유도

공분산의 결정적 한계: 값의 범위에 제한이 없고 단위에 따라 크기가 달라집니다. 키를 cm로 재면 공분산이 커지고 m로 재면 작아집니다. 그래서 “공분산이 50이다”만으로는 관계가 강한지 알 수 없습니다.

피어슨 상관계수

• $s_{xy}$: 두 변수의 공분산
• $s_x, s_y$: 각 변수의 표본표준편차
• $r$: –1과 1 사이의 값

해석: 공분산을 두 표준편차로 나눠 단위를 지운 것이 상관계수입니다. 이제 어떤 단위로 재도 값이 같습니다.

상관계수 손계산 — 중간 단계 전부

자료가 다음 다섯 쌍이라고 합시다.

1단계 — 두 평균

2단계 — 편차. $x$ 의 편차는 –2, –1, 0, 1, 2이고 $y$ 의 편차는 –1, 0, –2, 1, 2입니다.

3단계 — 곱편차의 합. 같은 자리끼리 곱합니다.

곱편차: $(-2)(-1) = 2$, $(-1)(0) = 0$, $(0)(-2) = 0$, $(1)(1) = 1$, $(2)(2) = 4$

4단계 — 각 편차 제곱의 합

5단계 — 상관계수

검산 — 공분산 경로로도 같은 값이 나오는지 확인합니다.

해석: 두 경로가 같은 0.7을 줍니다. 분모의 $n-1$ 이 분자와 분모 양쪽에 들어가 상쇄되기 때문입니다. 그래서 상관계수 계산에서는 $n-1$ 을 나누는 단계를 건너뛰어도 됩니다. 이것이 실전에서 시간을 아끼는 요령입니다.

$r = 0.7$ 은 꽤 강한 양의 선형관계입니다. 다만 세 번째 쌍 $(3, 2)$ 가 추세에서 아래로 벗어나 1이 되지 않았습니다.

세 가지 상관계수 비교

기출에서 반드시 걸러야 할 오답: “피어슨 상관계수는 극단값의 영향을 거의 받지 않는 강건한 척도다”는 틀린 서술입니다. 피어슨은 평균과 표준편차, 곱편차를 모두 쓰므로 극단값 하나에 크기와 방향이 크게 달라집니다. 강건한 쪽은 순위를 쓰는 스피어만·켄달입니다.

상관계수 해석의 세 가지 함정

• 상관이 0이어도 관계가 없는 것은 아닙니다. U자 모양처럼 완벽한 곡선 관계가 있어도 피어슨 상관은 0에 가까울 수 있습니다. 공분산과 피어슨 상관은 선형 관계만 잡아냅니다
• 상관은 인과가 아닙니다. 아이스크림 판매량과 익사 사고는 함께 늘지만 서로의 원인이 아닙니다. 기온이라는 제3의 변수가 둘 다에 영향을 줍니다
• 상관계수는 개별 관측치의 속성이 아닙니다. 고객 한 명마다 한 행이 있는 자료에서, 나이와 구매액의 상관계수는 특정 고객에게 붙는 값이 아니라 표본 전체를 하나의 수로 요약한 통계량입니다. 나이·월 구매 횟수·가입 지역은 각 고객에게 관측된 변수이지만 상관계수는 그렇지 않습니다

세 번째 함정이 기출로 나왔습니다. “개별 고객에게 직접 관측된 변수가 아니라 두 변수의 관계를 전체적으로 요약한 통계량은?”의 답이 상관계수입니다.

6. 다변량 탐색

변수가 셋 이상이 되면 한 화면에 다 그릴 수 없으므로 도구가 달라집니다.

상관행렬 히트맵의 실전 용도: 서로 상관이 매우 높은 변수 쌍을 찾아냅니다. 이런 쌍을 그대로 회귀에 넣으면 다중공선성이 생겨 계수 해석이 불안정해집니다(16편). 즉 EDA 단계의 발견이 곧 모델링 단계의 조치로 이어집니다.

심슨의 역설 — 다변량 탐색이 필요한 이유: 전체로 보면 A가 B보다 낫지만, 집단을 나눠 보면 모든 집단에서 B가 A보다 나은 상황이 실제로 존재합니다. 집단 크기가 불균형할 때 생깁니다. 한 변수씩만 봐서는 절대 발견할 수 없습니다.

7. 시각적 함정

EDA는 그림에 의존하므로, 그림이 잘못 그려지면 결론도 잘못됩니다.

히스토그램 구간 폭 문제가 가장 실질적입니다. 폭을 아주 좁게 하면 모든 값이 따로 떨어져 봉우리가 여러 개로 보이고, 아주 넓게 하면 하나의 뭉텅이가 되어 두 봉우리가 합쳐집니다. 봉우리 개수는 그림 하나로 단정하면 안 됩니다.

8. EDA 결과를 전처리·모델링으로 잇기

핵심: EDA는 감상이 아닙니다. 발견 하나하나가 다음 단계의 구체적인 조치로 연결되어야 합니다. 시험에서도 “탐색 결과 이러이러했다. 다음 조치로 적절한 것은?” 형태로 이 연결을 묻습니다.

핵심 정리

• 품질 요소는 정확성·완전성·일관성·적시성·유일성·유효성이며, 완전성은 필요한 값이 빠짐없이 있는지를 뜻하지 분석자가 원하는 열만 고르는 것이 아니다.
• 유효성은 데이터만 보고 잡히고, 정확성은 현실과 대조해야 잡힌다. 키 중복에 값이 다른 경우는 자동 제거하면 안 된다.
• EDA의 네 원칙은 저항성·잔차 해석·자료 재표현·현시성이다.
• 히스토그램은 연속형, 막대그래프는 범주형이며, 상자그림은 봉우리 개수를 보여 주지 못한다.
• 이변량 도구는 조합으로 정해진다. 수치형 둘은 산점도, 범주형과 수치형은 집단별 상자그림, 범주형 둘은 교차표다.
• 상관계수는 공분산을 두 표준편차로 나눠 단위를 지운 값이며 –1과 1 사이다. 피어슨은 극단값에 민감하고 스피어만·켄달이 순위 기반으로 강건하다.
• 상관 0이 무관계를 뜻하지 않고, 상관은 인과가 아니며, 상관계수는 개별 관측치의 속성이 아니라 표본 전체의 요약 통계량이다.
• EDA의 발견은 반드시 전처리·모델링의 구체적 조치로 이어져야 한다.

마무리 복습

참고 자료

• 코리아IT아카데미 - 빅데이터 분석기사 
• Inflearn 가이드 - 빅데이터분석기사 어떻게 준비해야 할까? 
• 데이터캠퍼스 - 빅데이터분석기사 필기 교재 소개 
• Statistics Playbook - 빅데이터분석기사 완전 가이드