Q. 전공 데이터 분석에서 학습용과 평가용 자료는 언제 나누는 게 좋을까요?

답변 1

• 

  채택스포스코

  코부사장 ∙ 채택률 71%

  ---

  안녕하세요. 멘티님. 반갑습니다. 전공 데이터 분석에서는 학습용과 평가용 자료는 처음부터 나누는 것이 맞습니다. 먼저 사람 단위나 시간 단위로 섞이면 안 되는 묶음이 있는지 확인하시고 그 기준대로 먼저 분리한 뒤 학습용 자료 안에서만 결측값 처리 변수 정리 변수 선택을 진행하시면 됩니다. 전체 자료를 먼저 만지고 나누면 평가용 정보가 앞단계에 섞여 들어가서 결과가 실제보다 좋게 나올 수 있습니다. 특히 같은 사람의 반복 측정 자료는 한 사람의 데이터가 학습과 평가에 동시에 들어가면 안 되고 시간 순서가 있는 자료는 미래 정보가 과거 학습에 들어가지 않게 앞 시점은 학습 뒤 시점은 평가로 두는 방식이 안전합니다. 실무에서도 저는 항상 먼저 분리 기준부터 잡고 들어갑니다. 대상이 사람인지 거래인지 장비인지 확인한 다음 동일 개체가 양쪽에 걸리지 않게 보고 시간 흐름이 있는 경우에는 뒤 시점 자료를 평가용으로 둡니다. 전처리는 학습용 기준으로 맞추고 평가용에는 같은 기준만 적용하는 방식이 가장 깔끔합니다. 이런 흐름으로 잡아두시면 정보가 새는 문제를 줄일 수 있고 결과 해석도 훨씬 안정적으로 하실 수 있습니다. 모쪼록 도움이 되셨다면 채택부탁드립니다. 감사합니다.

  ---