방법론이 왜 필요한가

왜 필요한가

데이터분석 프로젝트를 처음 맡은 담당자를 떠올려보자. “매출을 늘리고 싶다”는 막연한 요청만 받고 곧바로 R 코드부터 짜기 시작하면 어떤 일이 벌어질까. 어떤 데이터를 모아야 할지 기준이 없어 이것저것 긁어모으고, 분석 중간에 “애초에 무엇을 풀려던 거였지”를 잊어버리고, 결과가 나와도 그게 정말 처음 목표에 맞는 답인지 확신할 수 없다. 개인의 감(感)에 의존한 분석은 특정 담당자가 바뀌면 다시 처음부터 시작해야 하고, 프로젝트마다 품질이 들쭉날쭉해진다.

방법론(methodology)이란 어떤 일을 할 때 “무엇을, 어떤 순서로, 어떤 기준으로 해야 하는가”를 체계적으로 정리해 둔 절차와 지침의 집합이다. 데이터분석 방법론은 이 문제를 해결하기 위해 등장했다. 분석의 시작부터 끝까지를 몇 개의 단계로 표준화해 두면, 담당자가 바뀌어도 같은 절차를 따라갈 수 있고, 지금 어느 단계에 있는지 항상 점검할 수 있으며, 앞 단계에서 놓친 부분을 뒤 단계에서 알아챘을 때 되돌아가 보완할 수 있다.

쉽게 말하면: 방법론은 데이터분석이라는 요리를 만들 때 따르는 “레시피”다. 재료 손질(데이터 준비) 순서를 건너뛰고 바로 굽기(모델링)부터 하면 요리를 망치듯, 분석도 정해진 순서를 지켜야 실패 확률이 줄어든다.

정의

ADsP 시험 범위에서 가장 자주 등장하는 데이터분석 방법론은 세 가지다.

1. KDD(Knowledge Discovery in Databases, 데이터베이스에서의 지식 발견)
2. CRISP-DM(Cross Industry Standard Process for Data Mining, 산업 간 표준 데이터마이닝 프로세스)
3. 빅데이터 분석 방법론(국내 데이터거버넌스 표준교재 기준의 5단계 방법론)

셋 다 “분석 프로젝트를 몇 개의 큰 단계로 나누고, 각 단계에서 무엇을 하는지 정의한다”는 목적은 같지만, 단계 수와 이름, 강조점이 다르다. 이 차이를 정확히 구분하는 문항이 회차마다 빠지지 않고 출제되므로, 세 방법론을 각각 외우는 것보다 서로 대응시켜서 이해하는 것이 훨씬 오래 기억에 남는다.

KDD: 데이터베이스에서 지식을 캐내는 5단계

왜 필요한가

KDD는 1996년 파야드(Fayyad) 등이 제안한 방법론으로, 이름 그대로 “데이터베이스(Database, 자료를 저장·관리하는 체계)에 파묻힌 지식을 발견(Discovery)하는 과정”에 초점을 둔다. 데이터마이닝(Data Mining, 대량의 데이터에서 유용한 패턴을 찾아내는 작업)이라는 용어가 KDD의 한 단계로 등장한다는 점에서, KDD는 “데이터마이닝을 포함하는 더 큰 지식 발견 프로세스”라고 이해하면 된다.

쉽게 말하면: KDD는 “원석(데이터)에서 보석(지식)을 캐내는 다섯 단계의 채굴·가공 공정”이다.

정의: KDD의 5단계

CRISP-DM: 산업 표준 데이터마이닝 프로세스의 6단계

왜 필요한가

CRISP-DM은 1996년 유럽연합의 지원을 받아 여러 기업이 공동으로 만든 방법론으로, 이름의 “Cross Industry”(산업 간)가 뜻하듯 특정 업종에 국한되지 않고 널리 쓰이도록 설계됐다. KDD가 “지식 발견”이라는 학술적 관점에 가깝다면, CRISP-DM은 비즈니스 문제 해결이라는 실무 관점에서 출발한다는 점이 가장 큰 차이다. 그래서 첫 단계 이름부터 “업무 이해”로 시작한다.

쉽게 말하면: CRISP-DM은 “우리 회사의 어떤 문제를 풀 것인가”부터 시작해 실제로 그 해법을 현장에 심는 데까지 이어지는 여섯 걸음이다.

정의: CRISP-DM의 6단계

CRISP-DM은 왜 순환 구조인가

CRISP-DM의 6단계는 숫자가 매겨져 있어 얼핏 1번부터 6번까지 순서대로만 흘러가는 것처럼 보이지만, 실제로는 단방향이 아니다. 예를 들어 데이터 이해 단계에서 데이터를 살펴보다가 애초에 업무 이해 단계에서 정의한 문제 자체가 잘못됐다는 것을 깨달으면, 업무 이해 단계로 돌아가 문제 정의를 다시 다듬는다. 모델링 단계에서 모델 성능이 기대에 못 미치면 데이터 준비 단계로 돌아가 변수를 추가하거나 정제 방식을 바꾼다. 평가 단계에서 비즈니스 목표에 못 미친다고 판단되면 업무 이해로 돌아가 목표 자체를 재검토하기도 한다. 전개 이후에도 실제 운영 데이터로 다시 데이터 이해 단계를 시작하는 새로운 프로젝트 사이클이 열릴 수 있다.

이렇게 이전 단계로 되돌아가 다시 다듬는 것을 피드백(feedback, 결과를 이전 단계에 되돌려 반영하는 것)이라 부르며, CRISP-DM은 이 피드백을 전제로 설계된 순환형(iterative) 프로세스다.

위 다이어그램에서 실선 양방향 화살표(<-->)는 인접한 두 단계 사이를 자유롭게 오갈 수 있음을, 점선 화살표는 멀리 떨어진 단계로 되돌아가는 큰 피드백 루프를 나타낸다. 이 구조 때문에 CRISP-DM을 도식화할 때 흔히 원(circle) 모양으로 그려 “끝없이 돌아가는 순환”이라는 이미지를 강조한다.

KDD와 CRISP-DM 단계 대조

두 방법론은 단계 수 자체가 다르다(KDD 5단계, CRISP-DM 6단계). 그래서 1대1로 완벽히 맞아떨어지지는 않지만, “무엇을 하는 단계인가”를 기준으로 보면 대략 다음처럼 대응된다. 이 대응 관계 자체를 묻는 문항(모의고사 117번 유형: “각 방법론과 단계의 연결이 옳지 않은 것은?”)이 자주 나오므로 표로 정리해 둔다.

이 표에서 눈여겨볼 점은 두 가지다. 첫째, KDD의 전처리와 변환 두 단계가 CRISP-DM에서는 데이터 준비 한 단계로 합쳐진다. 둘째, CRISP-DM의 업무 이해와 전개는 KDD에 대응하는 단계가 없다. KDD는 “이미 데이터베이스가 있고 그 안에서 지식을 캐낸다”는 데이터 중심 출발점을 가정하는 반면, CRISP-DM은 “비즈니스 문제가 무엇인지부터 정의하고, 해법을 실제 현장에 심는 것까지”를 범위에 포함하기 때문이다. 그래서 CRISP-DM이 KDD보다 실무 프로젝트의 전체 생애주기를 더 폭넓게 다룬다고 이해하면 된다.

빅데이터 분석 방법론의 5단계

왜 필요한가

KDD와 CRISP-DM이 국제적으로 통용되는 일반 데이터마이닝 방법론이라면, 국내 ADsP 표준교재는 이를 바탕으로 국내 기업 환경에 맞춘 빅데이터 분석 방법론을 별도로 제시한다. 시스템 구축까지 명시적으로 단계에 포함한다는 점이 특징이다.

정의: 5단계

CRISP-DM과 비교하면, “시스템 구현”이라는 단계를 별도로 명시해 분석 결과를 실제 IT 시스템으로 만드는 공학적 작업을 강조한다는 점이 특징이다. CRISP-DM의 전개(Deployment)가 이 시스템 구현과 평가 및 전개 두 단계에 걸쳐 나뉘어 들어 있다고 이해하면 된다.

핵심 정리

• 방법론은 분석 프로젝트를 표준 절차로 만들어 담당자가 바뀌어도 일관된 품질을 유지하게 한다.
• KDD는 데이터셋 선택 → 전처리 → 변환 → 데이터마이닝 → 해석 및 평가의 5단계로, 데이터베이스 중심의 지식 발견에 초점을 둔다.
• CRISP-DM은 업무 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개의 6단계로, 비즈니스 문제 해결에 초점을 두며 단계 간 피드백을 허용하는 순환형 프로세스다.
• KDD의 전처리·변환은 CRISP-DM의 데이터 준비에 대응하지만, CRISP-DM의 업무 이해·전개는 KDD에 대응 단계가 없다.
• 국내 빅데이터 분석 방법론은 분석 기획 → 데이터 준비 → 데이터 분석 → 시스템 구현 → 평가 및 전개의 5단계로, 시스템 구현을 별도 단계로 강조한다.

마무리 복습

참고 자료

• CRISP-DM 1.0 공정 가이드 
• 데이터자격시험 - ADsP 출제기준