[내용] 데이터 엔지니어의 가장 큰 역할은 회사에서 필요하거나 생산되는 다양한 데이터들을 사용자에게 신속하고 원활하게 공급하는 것입니다. 모든 데이터는 `수집 -> ETL(Extrat-Transform-Load) -> 공급`의 라이프 사이클을 거치게 됩니다. 데이터를 신속하게 공급하기 위해서는 위의 라이프 사이클 과정을 간소화 시켜야하고, 데이터를 안정적으로 공급하기 위해서는 데이터 파이프라인을 잘 설계&구축 하여야 합니다. 이러한 측면을 모두 개선시키기 위해서 데이터팀에 필요한 API들을 고민하고 설계해주세요.

요구사항은 아래와 같습니다.

 1) 일관성 있는 표준 로그 API 설계

 2) 각 라이프 사이클 작업(Task)을 메신저(Slack)로 전송하는 API 설계

 3) 데이터 베이스 접근&제어 API 설계

[내용] 최초 개발 된 API를 데이터팀에서 사용하다보니 다양한 문제점이 발생했습니다.

문제1) 로그 시스템을 이용해서 로깅이 가능해 졌지만, 특정 주기와 경로에 로그를 쌓기 위해서는 추가적인 개발이 필요했습니다. 데이터팀의 구성원마다 각자 다른 API를 개발해서 작업에 추가하였고, 로그 시스템의 일관성이 깨져 분석 및 유지보수가 어려워졌습니다.

문제2) 메시지를 전송하는 API를 만들었지만 각 Task 및 로직마다 작업 상태를 전송하는 API를 사용해야 했습니다.

문제3) 데이터 베이스 접근&제어 API를 사용해서 수많은 코드가 다양한 리소스에서 사용되었습니다. 사내에서 보안상의 문제로 데이터베이스를 이전하기로 하였습니다. 데이터베이스를 이전하면 접속 host가 바뀌게 되는데 이 경우, 모든 리소스의 코드에 host를 변경해주어야 하는 상황입니다.

 1) 데이터팀의 모든 구성원들이 동일하게 사용할 수 있는 저장 API를 추가해주세요.

 2) 작업(Task)의 완료/실패 상태만 전송할 수 있는 더 간편한 high level wrapper를 고민하고 만들어주세요.

 3) 데이터베이스 정보들을 어떻게 보관하는게 좋을 지 고민하고 방법을 설계해주세요.(현업에서는 AWS를 사용하고 있다고 가정)

[내용] 고생해서 만든 API들을 팀에 배포를 했지만 팀원들이 잘 사용하지 않습니다. 이유는 레퍼런스가 없기 때문입니다. 모든 개발자가 API 레퍼런스를 보고 개발 하듯이 사내에서 개발 된 API에도 레퍼런스가 반드시 필요합니다. 하지만 레퍼런스 문서를 만드려면 정적 웹 페이지 개발과 API 업데이트 시 마다 해당 레퍼런스도 같이 업데이트 해야 합니다. 레퍼런스에서 가장 중요한 부분들과 Python 기반의 레퍼런스를 작성할 수 있는 방법에 대해서 고민해보고 가장 효율적인 방법으로 레퍼런스를 작성해주세요.(레퍼런스는 지속적으로 관리/업데이트 되어야 합니다)

 1) Reference에서 가장 중요한 것(1가지 이상)

 2) Python API Reference 작성

[내용] API 문서는 만들었지만 API 수정이나 추가 개발을 할 때마다 레퍼런스를 수정하고, 다시 배포하는 아래의 과정이 반복되어야 합니다. 

또 데이터팀의 인프라가 확장되어 사용하는 리소스가 아주 많아졌습니다.

이러한 리소스들 각각에 최신화 된 소스코드가 배포되어야 합니다.

(리소스가 n개라면 n번의 코드 배포 과정을 거쳐야 합니다)

소스코드 배포 사이클

 1) 코드 개발&수정 

 2) 코드 업로드(commit)

 3) 코드 배포(리소스 n개 만큼)

 4) API 문서 수정&업데이트

 5) API 문서 배포

 6) 다시 1)부터 반복

이러한 작업은 불필요 한 작업일 뿐만아니라 시간도 아주 많이 듭니다.(작업이 많을 수록 실수할 확률이 매우 높아집니다)

다음 작업들을 자동화 할 수 있는 방법에 대해서 고민해보고 인프라를 설계해주세요.

 1) 위 소스코드 배포 사이클 자동화 인프라 설계