알고리즘 연구소내의 데이터 분석팀에서 일을 하고 있습니다. 연초에 데이터 분석과 관련된 과제를 제안하게 되고, 채택된 과제를 과제원 들과 수행하게 됩니다. 과제는 보통 신기술을 활용하는 일, 혹은 타팀, 또는 타 관계사의 제안을 수행하기도 합니다. 일반적인 개발 방법론보다는 빠르게 프로트타입을 만들게 만드는데 포커싱을 맞추어서 개발을 하게 됩니다.
프로젝트가 결정되면 처음부터 끝까지 모든 업무에 참여하신다고 보시면 됩니다. 환경을 잡고, 아키텍쳐를 잡아가는 부분부터, 오픈 소스를 활용하게 될 경우 해당 오픈소스에 대한 조사 및 테스트도 수행합니다. 연구소의 분위기이기에 직급, 직책에 무관하게 자기 의견을 낼 수가 있습니다. 또한 자기의 의견을 내어야 합니다. 그래서 많은 인원들이 업무 후에 공부를 게을리 하지 않습니다.(그래야 뒤쳐지지 않을수가 있으니까요)
팀내에는 크게 DE, DS가 있습니다. DE는 데이터 엔지니어로, 빅데이터를 컨트롤 할 IT적 능력이 있는 엔지니어입니다. DS는 데이터 사이언티스트로 수학 함수를 통한 데이터를 분석에 조금 더 포커싱되어 있습니다. 완전 분리되어 있는 것은 아니며, DE도 함수명과 함수에 대한 대략적인 내용은 숙지하고 있으며, DS도 DE의 역량을 약간은 가지고 있습니다. 대다수의 과제는 DS, DE가 함께 수행을 하게 되구요.
| 필요한 역량
데이터 사이언티스트는 수학, 통계를 전공한 분들이 많습니다. 전통적인 수학 통계 함수에 대한 지식이 있어야 합니다. 데이터에서 의미있는 가치를 도출할 수 있을 정도의 능력자이면 좋구요. 몇 년전부터 떠오르고 있는 machine learning이나 deep learning으로의 지식도 있어야 합니다.
데이터 엔지니어는 IT 역량이 베이스가 되어야 합니다. 분산처리, 메모리 최적화(빅데이터를 다루는 경우가 많아서 메모리 이슈는 항상 있지요), 자료구조론 또한 익혀야 합니다. 그리고 빅데이터용 오픈소스(hadoop, spark, flink, storm등등)에 대하여 알아야 합니다. 물론 데이터 사이언티스트와 대화가 가능한 수준으로 수학적 지식도 필요로 합니다.
공통적으로 새로운 기술에 대한 거부감이 전혀 없어야 합니다. 또한, 자기가 스스로 공부할 수 있어야 하며, 해당 분야에 항상 관심을 가지고 있어야 합니다. 새로운거 익히는 싫어하시면, 솔직하게 말씀드리면 도전 하지 않는것이 맞습니다.
| 장점
해당 직무의 가장 큰 장점은 미래가 아닐까 싶네요. 미국 조사에서 최근 몇년동안 최고 유망 직종, 최고 연봉 직종에 항상 빅데이터 관련 직업들이 자리 하고 있습니다. 한국에서 사실 빅데이터를 다룰 수 있는 분이 많이 없고, 그래서 미래가 밝지 않을까 싶네요. 또한 연구직이기에, 눈치 안보고 공부를 할 수가 있는 점도 좋은 점이구요.
| 단점
단점을 생각해보았지만, 딱히 생각이 나지 않네요. 그나마 생각 나는건 평생 공부를 해야 한다는 점 정도 인듯 하네요.