데이터의 중요성

여러분들이 바라보는 데이터 엔지니어와 데이터 분석가 왜 최근들어서 크게 주목받고 성장하고 있는지 생각해보신적 있으신가요?

제가 느끼기로는 데이터의 중요성이 더욱 커져가는 시대를 직면했기 때문입니다. 특히, 반도체 공정에서 점점 미세화가 일어나고 고성능 반도체를 구현하기 위해 수많은 공정들이 추가되고 복잡한 프로세스가 더해지게 됩니다. 이러한 과정들이 한 단계씩 수행 해나갈 때 발전된 센서기술로부터 나오는 수많은 데이터들이 나오고, 그 데이터들을 바탕으로 공정 품질 및 수율을 개선을 해야합니다. 어떤 단계에서 불량원인이 발생했고, 어떤 공정변수가 수율에 어떤 영향을 미치는지 등을 분석하고 해결하는 일이 엄청나게 중요해졌습니다. 따라서 데이터 엔지니어와 데이터 분석가들이 수많은 반도체 Data에서 Information으로, Information에서 Knowledge로 바꾸기 위한 역량이 그 무엇보다도 중요해졌다고 볼 수 있습니다.

반도체 데이터 엔지니어가 가져야 할 역량

제가 생각하는 회사에서 데이터 분석가가 가져야 할 역량은 5가지입니다.

먼저, 회사에서는 숨은 문제와 눈에 보이는 문제가 있다고 생각합니다. 눈에 보이는 문제는 지금 당장 해결해야 하고 즉각적인 처리가 필요한 문제입니다. 이는, 대부분 엔지니어들이 인지하고 있으며 많은 인원과 긴 호흡으로 해결해야 하는 문제들입니다.

반면 숨은 문제는 여러분이 배정받은 공정 혹은 설비에서 일어나는 아주 작고, 구체적인 문제일 것입니다. 이는 여러분만 접근하여 알아낼 수 있는 문제입니다. 따라서 이러한 문제를 해결하는 게 진정한 데이터 분석가가 가져야 할 역량일 것입니다. 요약하자면 문제를 발견하고 정의하는 능력입니다. 이러한 능력은 평소 데이터에 대한 관심과 꼼꼼함을 통해 길러질 것입니다.

두 번째는 문제발견 및 정의를 했을 때 어떤 데이터를 활용할지 data boundary 및 feature를 이해하는 것입니다. 올바른 결과가 나오려면 올바른 데이터를 수집해서 다루어야 하기 때문입니다. 따라서 어떤 종류의 데이터를 다룰지, 데이터 수집 기간과 데이터 수집 기준은 어떻게 되는지 등을 파악하고 적용하는 게 중요할 것입니다.

세 번째는 당연히 데이터 분석 능력일 것입니다. 어떤 데이터를 활용하고 분석할지 파악했다면 주어진 데이터를 어떤 기법으로 처리해 나갈지 결정하는 것입니다. 이 부분은 많은 경험을 통해 역량이 길러지며, 앞으로 데이터 분석 관련 기술이 발달함에 따라 지속적인 학습이 이루어져야 할 것입니다.

네 번째는 데이터 수집 및 처리가 끝마쳤다면 유의미한 결과물을 만드는 데이터 해석 능력이 필요합니다. 

아무리 데이터를 잘 처리했다고 하더라도 거기에서 의미 있는 결과 해석을 도출하지 못하면 실제 발생한 문제를 해결하기 위한 통찰을 제시할 수 없습니다. 따라서 말하고 싶은 부분을 잘 표현할 수 있는 데이터 시각화 능력과 더불어서 유의미한 해석을 말할 수 있는 역량이 필요합니다.

마지막 다섯 번째는 협업 능력입니다. 데이터 분석가는 Domain 지식을 갖추고 있는 엔지니어와 문제 정의 및 필요성부터 유의미한 결과를 도출하는 해석 단계까지 끊임없이 소통하며 회의합니다.

이러한 과정에서 실제 반도체 설비를 구동하는 엔지니어들이 무엇을 원하고 반도체 지식을 바탕으로 공정변수를 바라보는지 등을 잘 파악하고, 의미 있는 데이터 처리 및 해석을 도출해 주어야 할 것입니다.