0. 앞 편에서 가져오는 것

15편(추론통계와 가설검정)에서 다룬 귀무가설(null hypothesis, 귀무가설), 유의수준(significance level, 유의수준), p값(p-value, 유의확률), F검정(F-test, F검정)은 이번 편의 회귀 유의성 판정에 그대로 쓰입니다. “p값이 유의수준보다 작으면 귀무가설을 기각한다”는 규칙만 기억하고 오면 됩니다. 자세한 내용은 15편을 참고하세요. 14편의 평균·분산·표준편차 정의도 그대로 씁니다.

1. 왜 두 변수의 관계를 재는가

지금까지는 변수를 하나씩만 봤습니다. 평균 키, 매출의 분산처럼요. 그런데 현장의 질문은 거의 항상 둘 이상의 변수 사이를 묻습니다. “광고비를 더 쓰면 매출이 오르나?”, “공부 시간과 성적은 얼마나 붙어 다니나?”, “나이가 많을수록 최대 심박수가 낮아지나?”

이 질문에 답하는 도구가 둘입니다.

• 상관분석(correlation analysis, 상관분석): 두 변수가 얼마나 같이 움직이는지 그 강도와 방향을 하나의 숫자로 요약합니다. 어느 쪽이 원인인지는 묻지 않습니다.
• 회귀분석(regression analysis, 회귀분석): 한 변수로 다른 변수를 예측하는 식을 세웁니다. 방향이 정해져 있습니다.

쉽게 말하면: 상관은 “둘이 얼마나 친한가”를 재고, 회귀는 “하나를 알면 다른 하나를 얼마로 예측할까”를 식으로 씁니다.

2. 공분산 — 함께 움직이는 정도

왜 필요한가

두 변수가 함께 움직이는 정도를 재려면, 각 변수가 자기 평균에서 얼마나 벗어났는지를 곱해서 살펴보면 됩니다. 광고비가 평균보다 높은 달에 매출도 평균보다 높다면, 두 편차의 곱은 양수(플러스 곱하기 플러스)입니다. 광고비가 평균보다 낮은 달에 매출도 낮아도 곱은 양수(마이너스 곱하기 마이너스)입니다. 반대로 움직이면 곱이 음수가 됩니다. 이 곱들을 평균 내면 “같이 움직이는 정도”가 나옵니다.

쉽게 말하면: 공분산은 두 변수의 편차를 곱해서 평균 낸 값으로, 부호가 방향을 알려 줍니다.

정의

공분산(covariance, 공분산)의 표본 공식은 다음과 같습니다.

• $x_i$, $y_i$ : $i$ 번째 관측치의 두 변수 값
• $\bar{x}$ (엑스바), $\bar{y}$ (와이바) : 각 변수의 표본평균
• $\sum$ (시그마) : 모두 더하라는 기호
• $n$ : 관측치 개수
• $n-1$ : 자유도. 표본평균을 이미 썼기 때문에 하나를 뺍니다

공분산의 부호가 양수면 같은 방향, 음수면 반대 방향, 0에 가까우면 선형 관계가 거의 없다는 뜻입니다.

공분산의 치명적 약점

공분산에는 단위가 그대로 붙어 있습니다. 광고비를 원 단위로 재면 공분산이 백만 배로 커집니다. 값이 커졌다고 관계가 강해진 것이 아닌데도 숫자만 커집니다. 그래서 공분산 값의 크기만으로는 관계의 강도를 비교할 수 없습니다. 이 문제를 없애려고 만든 것이 다음 절의 상관계수입니다.

또 하나. 공분산과 상관계수는 선형적인 관계만 잡아냅니다. U자 모양처럼 휘어진 관계는 편차의 곱이 양수 구간과 음수 구간에서 서로 상쇄되어 0에 가깝게 나옵니다. “상관계수가 0이면 아무 관계가 없다”는 말이 틀린 이유입니다.

3. 피어슨 상관계수 — 단위를 지운 관계의 강도

쉽게 말하면: 상관계수는 공분산을 두 표준편차로 나눠 단위를 지우고, 값을 –1과 1 사이로 눌러 담은 것입니다.

피어슨 상관계수(Pearson correlation coefficient, 피어슨 상관계수, 기호 $r$)의 공식입니다.

• $S_{xy}$ : 두 변수의 공분산
• $s_x$, $s_y$ : 각 변수의 표본표준편차

계산에 편한 형태로는 다음과 같이도 씁니다. 분모·분자의 $n-1$ 이 약분되기 때문입니다.

값의 의미는 이렇습니다.

4. 손계산 ① — 공분산·상관계수·회귀계수를 데이터 5점으로

한 카페가 5개월 동안 쓴 월 광고비와 그 달의 매출을 기록했습니다. 단위는 둘 다 백만원입니다.

1단계 — 광고비의 평균

2단계 — 매출의 평균

3단계 — 편차표 만들기

각 달의 편차와 그 곱, 그리고 제곱을 표로 펼칩니다. 여기서 한 칸이라도 틀리면 뒤의 모든 값이 틀어지니 천천히 채웁니다.

편차의 합이 둘 다 0이 되는지 반드시 확인하세요. 0이 아니면 평균 계산이 틀린 것입니다.

4단계 — 곱의 합

5단계 — 공분산

6단계 — 광고비의 분산

7단계 — 광고비의 표준편차

8단계 — 매출의 분산

9단계 — 매출의 표준편차

10단계 — 피어슨 상관계수

결론 해석: 상관계수가 약 0.95로 1에 매우 가깝습니다. 광고비가 많은 달에 매출도 확실하게 높았다는 뜻입니다. 다만 이 숫자는 광고가 매출을 올렸다는 증거가 아닙니다. 매출이 잘 나오는 달에 마케팅 예산을 더 쓴 것일 수도 있고, 성수기라는 제3의 요인이 둘을 동시에 밀어 올렸을 수도 있습니다.

이어서 회귀계수 구하기

최소제곱법(Ordinary Least Squares, OLS, 최소제곱법)은 잔차의 제곱합이 가장 작아지는 직선을 찾는 방법입니다. 그 해가 다음 두 식입니다.

• $b_1$ : 기울기(회귀계수). 설명변수가 1 늘 때 반응변수가 평균적으로 얼마나 변하는지
• 분자는 4단계에서 구한 곱의 합, 분모는 편차표의 $x$ 편차 제곱합

11단계 — 기울기

12단계 — 절편

13단계 — 회귀식 완성

• $\hat{y}$ (와이햇) : 모형이 예측한 매출값
• $4$ : 절편. 광고비가 0일 때의 예측 매출
• $2$ : 기울기. 광고비를 100만원 더 쓰면 매출이 평균 200만원 늘어난다고 추정

결론 해석: 광고비를 1백만원 늘리면 매출이 평균 2백만원 증가하는 관계로 추정되었습니다. 절편 4는 “광고비가 0인 달의 예상 매출 4백만원”이지만, 실제 데이터에 광고비 0인 달이 없다면 관측 범위 밖의 외삽이라 그대로 믿으면 안 됩니다. 절편 해석을 그대로 신뢰하게 만드는 보기가 시험 함정으로 자주 나옵니다.

5. 잔차 — 모형이 못 맞힌 부분

쉽게 말하면: 잔차는 실제값에서 예측값을 뺀 나머지, 즉 모형이 설명하지 못하고 남긴 오차입니다.

잔차(residual, 잔차)의 정의입니다.

• $y_i$ : 실제 관측된 값
• $\hat{y}_i$ : 회귀식이 예측한 값

앞의 회귀식 $\hat{y} = 4 + 2x$ 로 다섯 달의 예측값과 잔차를 구해 봅시다.

잔차의 합은 항상 0입니다. 최소제곱법이 직선을 데이터의 한가운데를 지나가게 맞추기 때문입니다. 그래서 잔차를 그냥 더해서는 모형의 나쁨을 잴 수 없고, 반드시 제곱해서 더합니다. 여기서 오차와 잔차를 구분해 둡시다. 오차(error, 오차)는 알 수 없는 참 모형과의 차이이고, 잔차(residual, 잔차)는 우리가 추정한 모형과의 차이입니다. 우리가 눈으로 볼 수 있는 것은 잔차뿐입니다.

6. 변동의 분해와 결정계수

왜 필요한가

기울기가 2라는 사실만으로는 “이 모형이 쓸 만한가”를 알 수 없습니다. 매출이 원래 들쭉날쭉하던 것 중에서 광고비로 설명해 낸 몫이 얼마나 되는지를 재야 합니다. 그 몫이 결정계수입니다.

쉽게 말하면: 결정계수는 매출이 흔들리던 전체 폭 중 회귀선이 설명해 낸 비율입니다.

매출의 총 변동은 다음처럼 정확히 두 조각으로 쪼개집니다.

• $SST$ (Total Sum of Squares, 총제곱합) : 실제값과 전체 평균의 차이를 제곱해 더한 값
• $SSR$ (Regression Sum of Squares, 회귀제곱합) : 예측값과 전체 평균의 차이를 제곱해 더한 값
• $SSE$ (Error Sum of Squares, 잔차제곱합) : 실제값과 예측값의 차이, 즉 잔차를 제곱해 더한 값

결정계수의 정의는 이렇습니다.

손계산 ② — 결정계수를 SSR 나누기 SST로 직접

1단계 — SST 구하기

편차표에서 이미 구한 매출 편차의 제곱합이 그대로 SST입니다.

2단계 — SSE 구하기

잔차표의 잔차 제곱합입니다.

3단계 — SSR 구하기

4단계 — 결정계수

5단계 — 검산: 단순회귀에서는 상관계수의 제곱과 같다

결론 해석: 매출이 가지는 총 변동의 약 90.9퍼센트를 광고비 하나로 설명했습니다. 나머지 약 9.1퍼센트는 이 모형이 설명하지 못한 부분입니다. 그리고 설명변수가 하나인 단순회귀에서만 결정계수가 상관계수의 제곱과 일치합니다. 설명변수가 여럿인 다중회귀에서는 개별 상관계수의 제곱을 더한다고 결정계수가 나오지 않습니다. 이것도 자주 나오는 함정입니다.

수정결정계수

결정계수에는 고약한 성질이 하나 있습니다. 아무 의미 없는 변수를 넣어도 결정계수는 절대 떨어지지 않고 오르기만 합니다. 변수를 넣을수록 직선이 데이터에 더 잘 붙기 때문입니다. 그래서 변수 개수가 다른 두 모형의 설명력을 비교할 때는 벌점을 매긴 수정결정계수(adjusted R-squared, 수정결정계수)를 씁니다.

• $n$ : 관측치 개수
• $p$ : 설명변수의 개수
• $R^2$ : 원래의 결정계수

앞 예시에 넣어 보면 $n = 5$, $p = 1$ 이므로 다음과 같습니다.

수정결정계수는 쓸모없는 변수를 넣으면 오히려 내려갑니다. 정리하면 다음과 같습니다.

7. 회귀모형 전체의 유의성 — ANOVA F검정

회귀선이 그럴듯해 보여도, 그것이 우연히 그렇게 보이는 것일 수 있습니다. 그래서 15편의 가설검정을 그대로 가져와 모형 전체를 검정합니다.

• 귀무가설: 모든 회귀계수가 0이다. 즉 이 모형은 아무것도 설명하지 못한다.
• 대립가설: 적어도 하나의 회귀계수는 0이 아니다.

검정통계량은 평균제곱의 비율입니다.

• $MSR$ (Mean Square Regression, 회귀평균제곱) : $SSR$ 을 설명변수 개수 $p$ 로 나눈 값
• $MSE$ (Mean Squared Error, 평균제곱오차) : $SSE$ 를 $n - p - 1$ 로 나눈 값

앞 예시로 계산하면 이렇습니다.

결론 해석: F값이 30으로 충분히 크므로, 유의수준 0.05에서 “모든 회귀계수가 0”이라는 귀무가설을 기각합니다. 즉 광고비는 매출을 설명하는 데 통계적으로 의미가 있습니다.

한편 개별 변수의 유의성은 각 계수의 t통계량과 그 유의확률로 판정합니다. 귀무가설은 “해당 계수가 0이다”입니다. F검정과 t검정의 역할을 구분해 두세요.

8. 다중회귀 — 변수가 여럿일 때

다중회귀(multiple regression, 다중회귀)는 설명변수가 둘 이상인 회귀입니다.

• $b_0$ : 절편
• $b_1 \sim b_p$ : 각 설명변수의 회귀계수
• $x_1 \sim x_p$ : 설명변수들

여기서 계수 해석이 단순회귀와 결정적으로 달라집니다. 다중회귀의 $b_1$ 은 다른 설명변수들의 값이 모두 일정하게 고정되었을 때 $x_1$ 이 1 늘면 $y$ 가 평균적으로 얼마나 변하는지를 뜻합니다. 이 조건을 빼먹은 해석이 시험 오답 보기로 늘 등장합니다.

예를 들어 카페 매출을 좌석수, 역까지거리, 사무실수, 광고비로 설명한 회귀 출력이 있다고 합시다. 2023년 06회차 기출에 나온 형태입니다.

이 표를 읽을 때 함정은 세 가지입니다.

• 계수의 크기로 중요도를 비교하면 안 됩니다. 변수마다 단위가 다르기 때문입니다. 좌석수는 석 단위, 광고비는 백만원 단위라서 0.85와 1.60을 직접 비교할 수 없습니다.
• 개별 변수가 유의하지 않다고 해서 그 변수군 전체가 무의미한 것은 아닙니다. “역까지거리와 사무실수는 둘 다 입지 변수이므로 입지 요인 전체가 유의하다” 같은 진술은 근거 없는 비약입니다.
• 유의확률이 크다고 계수가 정확히 0인 것은 아닙니다. 0이라는 주장을 기각할 증거가 부족할 뿐입니다.

9. 다중공선성과 VIF

왜 문제인가

설명변수끼리 서로 강하게 상관되어 있으면, 회귀는 “이 효과가 어느 변수 때문인지” 구분하지 못합니다. 키와 팔길이를 동시에 넣고 몸무게를 예측한다고 상상해 보세요. 둘은 거의 같은 정보를 담고 있어서, 모형은 키에 큰 양수 계수를 주고 팔길이에 큰 음수 계수를 주는 식으로 아무렇게나 균형을 맞출 수 있습니다.

쉽게 말하면: 다중공선성은 설명변수끼리 너무 닮아서 누구 공인지 가릴 수 없게 된 상태입니다.

다중공선성(multicollinearity, 다중공선성)이 심하면 나타나는 증상은 다음과 같습니다.

• 회귀계수의 표준오차가 커지고 계수 추정치가 불안정해집니다. 데이터가 조금만 바뀌어도 부호가 뒤집힙니다.
• 모형 전체의 F검정은 유의한데 개별 변수는 아무것도 유의하지 않은 이상한 결과가 나옵니다.
• 상식과 반대 부호의 계수가 나옵니다.
• 다만 예측 자체의 정확도는 크게 손상되지 않을 수도 있습니다. 문제는 계수 해석입니다.

VIF로 진단하기

분산팽창요인(Variance Inflation Factor, VIF, 분산팽창요인)은 각 설명변수를 나머지 설명변수들로 회귀했을 때의 설명력을 이용해 계산합니다.

• $VIF_j$ : $j$ 번째 설명변수의 분산팽창요인
• $R_j^2$ : $j$ 번째 변수를 나머지 설명변수들로 회귀했을 때의 결정계수

예를 들어 어떤 변수가 다른 변수들로 90퍼센트 설명된다면 다음과 같습니다.

관례상 VIF가 10을 넘으면 다중공선성이 심각하다고 보고, 5를 넘으면 주의합니다. 대처 방법은 상관이 높은 변수 중 하나를 제거하거나, 주성분분석(PCA)으로 변수를 합치거나, 뒤에서 볼 릿지 회귀 같은 규제를 쓰는 것입니다.

자주 틀리는 점: 기존 변수와 비슷한 변수를 하나 더 추가하면 다중공선성은 완화되는 것이 아니라 심해집니다. 2025년 10회차 기출에 그대로 출제되었습니다.

10. 회귀분석의 네 가지 가정과 진단 방법

회귀 결과를 믿으려면 모형이 전제한 조건이 지켜져야 합니다. 시험은 가정 이름과 진단 방법의 짝을 그대로 물어봅니다. 표를 통째로 외우는 편이 빠릅니다.

각 항목을 감각적으로 붙잡아 둡시다.

• 선형성(linearity, 선형성): 잔차를 예측값에 대해 그렸을 때 곡선 패턴이 보이면 위반입니다. 곡선이 보이면 로그 변환이나 제곱항 추가를 검토합니다.
• 등분산성(homoscedasticity, 등분산성): 잔차 그림이 오른쪽으로 갈수록 부채꼴로 벌어지면 위반입니다. 매출처럼 규모가 커질수록 오차도 커지는 자료에서 흔합니다.
• 독립성(independence, 독립성): 시계열 자료에서 잔차가 오늘과 어제 서로 닮아 있으면 위반입니다. 이를 자기상관(autocorrelation, 자기상관)이라고 합니다.
• 정규성(normality, 정규성): 오차가 정규분포를 따라야 t검정과 F검정의 유의확률을 믿을 수 있습니다.

더빈–왓슨 통계량(Durbin–Watson statistic)에는 시험이 좋아하는 특징이 있습니다.

• 값의 범위가 0에서 4 사이입니다.
• 2에 가까우면 자기상관이 없다고 봅니다. 0에 가까우면 양의 자기상관, 4에 가까우면 음의 자기상관입니다.
• 다른 검정과 달리 유의확률이 따로 나오지 않습니다. 상한과 하한 표를 보고 판정합니다.

또 하나 자주 나오는 함정. Shapiro–Wilk 검정과 Kolmogorov–Smirnov 검정은 정규성 진단 도구이고, 독립표본 t검정은 두 집단 평균 비교 도구입니다. 2025년 10회차 기출에서 “정규성 평가를 주된 목적으로 하지 않는 것”을 고르는 문항으로 나왔습니다.

그리고 지레점(leverage point, 지레점)과 영향점(influential point, 영향점)도 함께 정리해 둡니다. 지레점은 설명변수 값이 다른 관측치들에서 멀리 떨어진 점이고, 영향점은 그 점 하나를 빼면 회귀 추정 결과가 크게 달라지는 점입니다. 지레점이라고 항상 영향점인 것은 아닙니다.

쿡의 거리(Cook’s distance)는 이 영향점을 숫자 하나로 재는 대표 지표입니다. 관측치 하나를 뺐을 때 나머지 자료로 다시 적합한 회귀식의 적합값 전체가 얼마나 달라지는지를 계산합니다. 값이 크게 튀는 관측치가 있으면 그 하나가 계수 추정을 과도하게 흔들고 있다는 신호이므로, 제거·재조사 여부를 검토합니다. 자주 틀리는 점: 다중공선성을 재는 분산팽창지수(VIF)나 모형 간 비교에 쓰는 아카이케 정보기준(AIC)을 쿡의 거리와 헷갈리는 보기가 나옵니다. VIF는 변수끼리의 관계, AIC는 모형 전체의 적합도-복잡도 균형을 재는 것이지 개별 관측치의 영향력을 재는 지표가 아닙니다.

11. 스피어만·켄달 — 순위로 재는 상관

피어슨 상관계수는 평균과 편차의 곱에 기반하기 때문에 극단값 하나에도 크게 흔들립니다. 2025년 10회차 기출에도 “피어슨 상관은 극단값의 영향을 거의 받지 않는 강건한 척도다”가 틀린 진술로 나왔습니다. 또한 피어슨은 등간척도 이상에서만 쓸 수 있고, 관계가 직선일 때만 제대로 작동합니다.

그래서 순위를 쓰는 상관계수가 있습니다.

스피어만이 빛나는 상황

학생 5명의 공부시간과 성적이 다음과 같다고 합시다.

성적이 폭발적으로 휘어져 오르기 때문에 피어슨 상관계수는 1보다 꽤 작게 나옵니다. 직선이 아니니까요. 그러나 순위는 완벽하게 일치하므로 스피어만 상관계수(Spearman rank correlation, 스피어만 순위상관)는 정확히 1이 됩니다. 관계의 방향이 한결같이 증가하기만 하면(이를 단조 관계, monotonic relationship이라고 합니다) 스피어만은 1을 돌려줍니다.

켄달 타우(Kendall tau, 켄달 타우)는 모든 쌍을 훑어 순서가 일치하는 쌍(일치쌍)과 뒤집힌 쌍(불일치쌍)의 개수를 세는 방식입니다.

• $C$ : 순서가 일치하는 쌍의 개수
• $D$ : 순서가 뒤집힌 쌍의 개수
• $n(n-1)/2$ : 만들 수 있는 전체 쌍의 개수

위 표에서는 모든 쌍이 일치하므로 $D = 0$ 이고 타우는 1입니다.

시험에서는 계산보다 선택 문제로 나옵니다. “두 서열척도 변수의 단조 관계를 측정하기에 가장 적절한 상관계수는?”이면 스피어만입니다. 2024년 08회차 기출 그대로입니다. 참고로 편상관계수(partial correlation coefficient, 편상관계수)는 제3의 변수 영향을 통제한 뒤 남는 선형 연관을 재는 것으로, 같은 회차에 별도 문항으로 출제되었습니다.

12. 변수선택 — 어떤 변수를 넣을 것인가

변수를 많이 넣을수록 결정계수는 오르지만 과적합이 심해지고 다중공선성도 늘어납니다. 그래서 변수를 골라야 합니다.

선택 기준으로는 유의확률, 수정결정계수, AIC(Akaike Information Criterion, 아카이케 정보기준), BIC(Bayesian Information Criterion, 베이즈 정보기준) 등을 씁니다. AIC와 BIC는 값이 작을수록 좋은 모형입니다. 결정계수와 방향이 반대라서 헷갈리기 쉽습니다.

13. 규제 — 과적합을 벌점으로 누르기

왜 필요한가

관측치 수에 비해 설명변수를 너무 많이 넣으면, 모형이 훈련 데이터의 잡음까지 외워 버립니다. 이것이 과적합(overfitting, 과대적합)입니다. 규제는 회귀계수가 커지는 것 자체에 벌점을 매겨 모형을 얌전하게 만듭니다.

쉽게 말하면: 규제는 “틀리지 않게 맞춰라, 단 계수를 함부로 키우지는 마라”는 조건을 하나 더 거는 것입니다.

규제(regularization, 규제 또는 정규화)의 세 가지 방식입니다.

일반 선형회귀는 잔차제곱합 $SSE$ 만 최소화하지만, 규제 회귀는 여기에 벌점 항을 더한 값을 최소화합니다. 라쏘의 목적함수는 다음과 같습니다.

• $\lambda$ (람다) : 벌점의 세기를 조절하는 하이퍼파라미터
• $|b_j|$ : $j$ 번째 회귀계수의 절댓값

릿지는 절댓값 대신 제곱을 씁니다.

$\lambda$ 가 0이면 일반 회귀와 같아지고, $\lambda$ 가 커질수록 계수들이 강하게 눌립니다. 라쏘는 변수를 골라 주고, 릿지는 골고루 줄인다는 한 줄만 확실히 잡아 두면 시험에서는 충분합니다.

14. 시험에서 어떻게 물어보나

이 단원은 2과목(빅데이터 탐색)의 상관분석과 3과목·4과목의 회귀 모형 해석에 걸쳐 매 회차 여러 문항이 나옵니다. 유형은 여섯 가지입니다.

유형 1 — 상관계수 성질의 옳고 그름

“상관계수에 관한 설명으로 옳지 않은 것은?”이 대표 형태입니다. 함정 보기는 정해져 있습니다. 피어슨이 극단값에 강건하다, 상관계수가 0이면 아무 관계가 없다, 상관계수가 크면 인과관계가 있다, 상관계수는 단위에 따라 달라진다 — 네 가지 모두 틀린 진술입니다.

유형 2 — 상황을 주고 상관계수 고르기

서열척도 두 변수면 스피어만, 제3의 변수를 통제하면 편상관계수, 등간척도의 직선 관계면 피어슨입니다. “나이가 많을수록 최대 심박수가 낮아진다”처럼 방향만 주고 타당한 값을 고르게 하는 문항도 있습니다. 이때는 부호가 음수이고 절댓값이 1을 넘지 않는 값을 고르면 됩니다.

유형 3 — 회귀 출력표 해석

계수·표준오차·t값·유의확률이 담긴 표를 주고 옳은 진술을 고르게 합니다. 판정 순서를 이렇게 잡으세요.

유형 4 — 결정계수 계산과 의미

$SSR$, $SSE$, $SST$ 중 두 개를 주고 결정계수를 구하게 하거나, 결정계수의 성질을 묻습니다. “결정계수는 변수를 추가하면 감소할 수 있다”는 보기는 틀렸습니다. 감소할 수 있는 것은 수정결정계수입니다.

유형 5 — 가정과 진단 방법 짝짓기

“잔차의 시계열 자기상관을 진단하는 통계량은?”이면 더빈–왓슨, “정규성 검정은?”이면 샤피로–윌크, “다중공선성 진단은?”이면 VIF입니다. 2024년 08회차와 2025년 10회차에 모두 나왔습니다.

유형 6 — 규제와 변수선택

“계수를 정확히 0으로 만들어 변수 선택 효과가 있는 규제 기법은?”이면 라쏘입니다. “회귀 ANOVA 표에서 F 통계량을 구하는 식은?”이면 회귀평균제곱을 잔차평균제곱으로 나눈 값입니다.

15. 헷갈리는 짝 정리

핵심 정리

• 공분산은 두 변수 편차의 곱의 평균으로 방향을 알려 주지만 단위가 남아 강도 비교가 불가능하다. 이를 두 표준편차로 나눠 –1에서 1로 표준화한 것이 피어슨 상관계수다. 서열척도이거나 단조 관계면 스피어만·켄달을 쓴다.
• 최소제곱 회귀의 기울기는 곱편차합을 $x$ 편차제곱합으로 나눈 값이고, 절편은 $\bar{y}$ 에서 기울기 곱하기 $\bar{x}$ 를 뺀 값이다. 잔차의 합은 항상 0이므로 모형의 나쁨은 반드시 제곱해서 잰다.
• 총변동 $SST$ 는 회귀변동 $SSR$ 과 잔차변동 $SSE$ 로 정확히 분해되고, 결정계수는 $SSR$ 을 $SST$ 로 나눈 값이다. 단순회귀에서는 상관계수의 제곱과 같다. 변수 수가 다른 모형 비교에는 수정결정계수를 쓴다.
• 다중회귀 계수는 다른 변수를 고정했을 때의 효과이며, 단위가 달라 계수 크기로 중요도를 비교할 수 없다. 설명변수끼리 닮으면 다중공선성이 생기고 VIF가 10을 넘으면 심각하다고 본다.
• 회귀 가정은 선형성·등분산성·독립성·정규성이며, 각각 잔차그림, Levene 검정, Durbin–Watson 검정, Shapiro–Wilk 검정으로 진단한다. 과적합은 라쏘(L1), 릿지(L2), 엘라스틱넷으로 억제한다.

마무리 복습

참고 자료

• 한국데이터산업진흥원 - 빅데이터분석기사 자격시험 안내 
• 이패스코리아 - 빅데이터분석기사 시험정보 
• Statistics Playbook - 빅데이터분석기사 완전 가이드 
• Inflearn 가이드 - 빅데이터분석기사 어떻게 준비해야 할까? 
• SQLDpass - 빅데이터분석기사 필기 기출·복원