신한카드 데이터엔지니어 현직자의 직무소개
저는 현재 대형 카드사에서 머신러닝 엔지니어로 일하고 있습니다. 제가 속해있는 데이터 사이언스 직군은 크게 데이터 애널리스트, 데이터 엔지니어, 머신러닝 엔지니어로 나눌 수 있습니다.
데이터 애널리스트는 데이터로부터 비즈니스에 도움이 되는 인사이트를 얻기 위한 인사이트 분석을 주로 합니다. 주요 지표 정의와 추출, 대시보드 관리, 서비스 퍼널 분석, A/B 테스트, 마케팅 효과 분석 등이 일반적으로 데이터 애널리스트가 주로 하는 업무들이고, 이는 각 기업이나 산업군마다 차이가 있을 수 있습니다. 기본적으로 다양한 데이터를 다양한 목적에 맞게 다루기 때문에 다양한 분석 방법, 알고리즘을 두루 알고 있어야 하고, 문제에 맞게 적절한 방법을 사용할 수 있어야 하며, 데이터 사이언스 지식 뿐 아니라 비즈니스에 대한 이해와 경험도 중요합니다.
데이터 엔지니어는 데이터 파이프라인을 관리합니다. 데이터 파이프라인이란 목적에 맞게 데이터를 저장하고, 가공하는 일련의 과정을 말합니다. 과거에는 주로 정형화된 RDB에 데이터를 쌓았다면 최근에는 방대한 빅데이터를 잘 활용하기 위해 여러 기술을 활용한 데이터 파이프라인을 구축하는 것이 일반적입니다. RDB가 주류이던 시절의 DBA가 빅데이터 시대에 와서 데이터 엔지니어로 그 이름과 역할이 변했다고 볼 수 있습니다. 이렇게 다양한 시스템과 툴을 다룰 수 있어야 하기 때문에 기본적으로 기술적 전문성이 높고 개발자에 가까운 역할이기도 합니다. 데이터 애널리스트나 머신러닝 엔지니어와 협업하며 원하는 형태로 데이터를 가공하고, 분석한 결과를 다시 실제 운영에 반영하는 역할도 담당합니다. 이렇게 데이터 애널리스트나 머신러닝 엔지니어가 데이터 분석과 모델 개발에만 집중할 수 있도록 지원하는 역할을 하기 때문에 데이터 엔지니어의 역할이 전체 데이터 사이언스 팀의 성과에도 큰 영향을 미칩니다.
머신러닝 엔지니어는 주로 모델링을 합니다. 모델링이란 어떤 문제를 풀기 위해 데이터로 부터 패턴을 찾아내고 그 패턴으로 부터 원하는 답을 얻는 로직을 만드는 일입니다. 예를 들어 월매출을 예측하는 모델을 만든다고 한다면 과거 매출 추이는 어땠는지, 매출에 영향을 주는 다른 변수들은 무엇이 있고 이들의 관계는 어떻게 되는지 등을 파악하고, 그 변수를 조합해 예측 로직을 만들게 됩니다. 이런 과정을 기계를 통해 하기 때문에 기계학습, 머신러닝이라고 부르며, 딥러닝, 부스팅 등 다양한 머신러닝 알고리즘들이 있습니다. 데이터 애널리스트도 모델링을 하지만 주로 데이터를 분석하고 인사이트를 뽑아내는 데에 초점을 맞춘다면, 머신러닝 엔지니어는 주로 모델링 자체에 집중하는 경우가 많습니다. 그래서 모델링 자체에 좀더 전문성을 가지고 좀더 최신의 머신러닝, AI 기술을 주로 다룹니다.
이외에도 많이 사용되는 데이터 사이언티스트라는 용어는 넓은 범위로는 위에서 언급한 데이터 사이언스 분야의 다양한 직무를 아우르는 말로 쓰이기도 하고 , 좁은 범위로는 데이터 애널리스트에 가까운 의미로 쓰이는 경우가 많습니다.
저는 운이 좋게도 이런 데이터 사이언스 분야의 다양한 직무를 두루 경험해 본 편입니다. 현재는 머신러닝 엔지니어로서 주로 타겟팅 모형, 분류 예측 모형 등을 개발하고 있고, 이전 회사에서는 시기에 따라서 데이터 애널리스트와 데이터 엔지니어에 가까운 업무를 모두 했습니다. 또 대학원에서 데이터 사이언스를 공부하고 석사 학위를 받기도 했습니다. 그래서 커리어 전체를 놓고보면 현업과 학문 분야, 그리고 데이터 사이언스 안에서도 다양한 직무를 두루 경험해 본 편입니다.
