직무부트캠프 배너 배경 이미지
2차 앵콜

데이터 엔지니어가 실제로 하는 API 개발 전체 과정, 이슈 및 해결방안

현직자와 함께하는 데이터직무 5주 인턴

직접 경험하는 것보다 잘 이해할 수 있는 방법은 없습니다.

‘직무부트캠프: 5주 인턴’에 참여하면 어려운 인턴 지원 프로세스 없이
5주간 현직자와 제대로 데이터 직무 경험 을 만들 수 있습니다.

엄지손가락을 치켜 든 아이콘 멘티님도 할 수 있어요.
  • 현직자의 진짜 실무를 멘토의 도움을 받아 수행합니다.

  • 업무에 대한 1:1 피드백과 코칭이 매주 제공됩니다.

  • 5주간 3회의 세션을 가지게 되며, 학업/현업과 병행 가능합니다.

데이터 3~5년차 현직자 이OO 멘토입니다. 저와 함께 5주 동안 데이터 실무를 체험하시겠어요?

안녕하세요, 4년차 데이터 엔지니어입니다.

저는 소프트웨어 공학을 전공 후에 처음에는 단순히 소프트웨어 개발자로 커리어를 계속 쌓아나가고 싶었습니다. 하지만 정말 다양하고 세분화 된 많은 개발 직무들이 있다는 것을 알고 난 뒤로 커리어의 방향성을 잡기가 어려웠습니다. 어려웠던 이유는 현업을 경험해 본 적이 없어 내가 어떤 개발을 잘하는지 몰랐고, 직무에 대한 지식이 부족했기 때문에 판단하고 결정하기가 어려웠습니다. 그러다 처음 취업한 회사가 데이터 관련 업무들을 주로하는 회사라 자연스럽게 데이터 엔지니어로의 커리어를 쌓게 되었습니다. (이 때, 데이터 엔지니어로의 커리어를 선택한 것이 현재까지 정말 만족스럽고 잘 선택했다고 생각합니다)


첫 회사에서는 흔하지 않은 기상&해양 데이터들을 다루면서 정말 다양한 문제들을 겪고, 해결해 나가면서 데이터 엔지니어링에 대한 노하우들을 습득했고, 현재 다니고 있는 회사에서는 사내에 데이터를 원활하게 공급하기 위한 데이터 및 인프라 엔지니어링 기술을 습득하였습니다. 현재 제가 하고 있는 데이터 엔지니어링 업무들은 주도적으로 개발을 하지만 타인에게 큰 도움이 되는 경우가 많아 직무 만족도가 굉장히 높고, 매력적인 직무라고 생각해서 다양한 분들께 소개드리고 싶습니다. 제가 겪었던 커리어 방향에 대한 고민을 가지고 계신 분들, 데이터 엔지니어 직무에 대해서 궁금하신 분들, 현업에서 습득한 노하우들에 대해 관심있는 다양한 분들과 정보들을 공유하면서 함께 성장하고 싶습니다.

직무부트캠프에서 쌓은 직무경험은 취업에 도움이 됩니다.

“직무부트캠프에서 했던 경험과 배웠던 직무 전문 단어를 면접에서 활용 하였더니 면접관들이 흥미를 보였고, 결국 최종 합격했어요.” - 수료생 남00님
수료증을 토대로 이력서에 직무 관련 경험으로 작성했고 임원 면접시 무슨 경험인지 질문이 들어와 직무 관련한 관심이 많다는 것으로 어필 했고, 좋은 평가를 받을 수 있었어요.” - 수료생 강00님

멘토 사진
멘토 연차 정보
3~5년차 현직자
멘토 닉네임
이OO
인증 멘토
인증 멘토

현 스타트업(2년)

- 데이터 엔지니어링

- 인프라 엔지니어링

- 고객 데이터 분석

- 인프라 보안


전 기상&해양 중소기업(2년)

- 기상&해양 시뮬레이션 프레임워크 개발

- AI(딥러닝) 개발

- 딥러닝 강의

- 데이터 분석&엔지니어링

데이터 엔지니어가 실제로 하는 API 개발 전체 과정, 이슈 및 해결방안 주제로 5주 동안 실무자가 될 수 있게 도와드리겠습니다.

데이터 3년차 실무자인 멘티님은 팀장님에게 아래와 같은 업무를 부여받게 됩니다.
직무부트캠프 과제 예시 멘토님 프로필
이상원 데이터 팀장님
데이터팀
담당자
홍길동
중요도
높음
마감일
2024. 12. 27

올해 판매자 월별 통계 데이터를 보고 싶은데 빠르게 뽑아 줄 수 있나요?

판매자 등급별로, 매출 순위를 그래프로 보여주세요.


아참, 데이터 뽑히면 제가 직접 월별로 뽑아 볼 수 있게 만들어 줬으면 좋겠는데 가능할까요?


그리고 통계 항목들도 조정할 수 있었으면 좋겠어요.



코로나 전후 변동을 빠르게 보고 싶으니 다음 주 까지 부탁드릴게요!

과제 소개

데이터 엔지니어가 실제로 팀 전체를 위한 API 개발에 대한 전체 과정과 그 과정속에서 발생하는 많은 이슈들, 해결 방법들을 자연스럽게 체득하도록 하였습니다. 실제로 경험하지 않으면 왜 그렇게 해야하는지 알기 어려운 부분들을 구체적 상황 제시를 통해 경험하고 풀어나갈 수 있도록 과제를 구성하였습니다.


과제를 통해 얻어갈 수 있는 것

과제를 진행하면서 자연스럽게 데이터 엔지니어라는 직무가 구체적으로 어떤 목적과 방향성을 가지고 일을 하는지, 실제로 어떤 일들을 하는지와 실무적인 부분에서의 노하우들을 얻을 수 있을 것 입니다.


  1. 데이터 엔지니어링의 목적
  2. 데이터 엔지니어가 필요한 이유
  3. 데이터 팀에 API가 필요한 이유 
  4. API 작성 시 고려해야 하는 것
  5. API를 사용함으로써 얻을 수 있는 것들
  6. API 사용에서 발생할 수 있는 문제점과 개선점
  7. 인프라 설계 시 고려해야 하는 것
  8. Python 프로그래밍 스킬 등


이 외에도 소개드리고 싶은 직무 내용이 너무나도 많지만 멘토링 기간을 고려해서 단편적이지만 직무에 대해 잘 설명할 수 있는 실무로 구성을 했습니다. 해당 과제를 모두 수행하고 나면 데이터 엔지니어라는 직무에 대해 좀 더 흥미를 느끼고 진로 선택에 도움이 되실 것 같습니다.


*주로 Python을 사용하고 기본적인 문법정도만 알고있으면 수강하는데 어려움이 없습니다.

상세한 스케쥴을 설명드리겠습니다.

3회의 강의와 4회의 업무를 통해 현업자 수준의 직무 이해도를 얻게됩니다.

캠프 시작일
1주차

12월 1일(화) 19:00~21:00
세션
현직자 직무 에센스 강의 및 Q&A
- 직무 입문 방법
- 직무담당자가 실제로 하는 일
- 직무담당자로 일하는 장, 단점과 요구 역량
- 주차 별 프로젝트 소개 및 선정 이유
12월 6일(일) 00:00까지
1차 업무
 데이터팀의 생산성 향상을 위한 API 설계하기

데이터 엔지니어의 가장 큰 역할은 회사에서 필요하거나 생산되는 다양한 데이터들을 사용자에게 신속하고 원활하게 공급하는 것입니다. 모든 데이터는 `수집 -> ETL(Extrat-Transform-Load) -> 공급`의 라이프 사이클을 거치게 됩니다. 데이터를 신속하게 공급하기 위해서는 위의 라이프 사이클 과정을 간소화 시켜야하고, 데이터를 안정적으로 공급하기 위해서는 데이터 파이프라인을 잘 설계&구축 하여야 합니다. 이러한 측면을 모두 개선시키기 위해서 데이터팀에 필요한 API들을 고민하고 설계해주세요.


요구사항은 아래와 같습니다.

  1. 일관성 있는 표준 로그 API 설계
  2. 각 라이프 사이클 작업(Task)을 메신저(Slack)로 전송하는 API 설계
  3. 데이터 베이스 접근&제어 API 설계
2주차

12월 9일(수) 00:00까지
피드백
리드멘토 개별 리뷰 및 1차 업무 피드백
12월 13일(일) 00:00까지
2차 업무
 기 개발 된 API 고도화하기

최초 개발 된 API를 데이터팀에서 사용하다보니 다양한 문제점이 발생했습니다.


문제1. 로그 시스템을 이용해서 로깅이 가능해 졌지만, 특정 주기와 경로에 로그를 쌓기 위해서는 추가적인 개발이 필요했습니다. 데이터팀의 구성원마다 각자 다른 API를 개발해서 작업에 추가하였고, 로그 시스템의 일관성이 깨져 분석 및 유지보수가 어려워졌습니다.


문제2. 메시지를 전송하는 API를 만들었지만 각 Task 및 로직마다 작업 상태를 전송하는 API를 사용해야 했습니다.


문제3. 데이터 베이스 접근&제어 API를 사용해서 수많은 코드가 다양한 리소스에서 사용되었습니다. 사내에서 보안상의 문제로 데이터베이스를 이전하기로 하였습니다. 데이터베이스를 이전하면 접속 host가 바뀌게 되는데 이 경우, 모든 리소스의 코드에 host를 변경해주어야 하는 상황입니다.


  1. 데이터팀의 모든 구성원들이 동일하게 사용할 수 있는 저장 API를 추가해주세요.
  2. 작업(Task)의 완료/실패 상태만 전송할 수 있는 더 간편한 high level wrapper를 고민하고 만들어주세요.
  3. 데이터베이스 정보들을 어떻게 보관하는게 좋을 지 고민하고 방법을 설계해주세요.(현업에서는 AWS를 사용하고 있다고 가정)
3주차

12월 15일(화) 19:00~21:00
세션
업무 발표 및 리드멘토 2차 업무 피드백
*참여자가 2명 이하인 경우, 3/5주차 캠프 시간은 1시간으로 조정 운영됩니다.
12월 20일(일) 00:00까지
3차 업무
기 개발 된 API의 레퍼런스 작성하기

고생해서 만든 API들을 팀에 배포를 했지만 팀원들이 잘 사용하지 않습니다. 이유는 레퍼런스가 없기 때문입니다. 모든 개발자가 API 레퍼런스를 보고 개발 하듯이 사내에서 개발 된 API에도 레퍼런스가 반드시 필요합니다. 하지만 레퍼런스 문서를 만드려면 정적 웹 페이지 개발과 API 업데이트 시 마다 해당 레퍼런스도 같이 업데이트 해야 합니다. 레퍼런스에서 가장 중요한 부분들과 Python 기반의 레퍼런스를 작성할 수 있는 방법에 대해서 고민해보고 가장 효율적인 방법으로 레퍼런스를 작성해주세요.(레퍼런스는 지속적으로 관리/업데이트 되어야 합니다)


  1. Reference에서 가장 중요한 것(1가지 이상)
  2. Python API Reference 작성
4주차

12월 23일(수) 00:00까지
피드백
리드멘토 개별 리뷰 및 3차 업무 피드백
12월 27일(일) 00:00까지
4차 업무
기 개발 된 API 레퍼런스 배포 자동화하기(Github, AWS 인프라 사용)

API 문서는 만들었지만 API 수정이나 추가 개발을 할 때마다 레퍼런스를 수정하고, 다시 배포하는 아래의 과정이 반복되어야 합니다. 또 데이터팀의 인프라가 확장되어 사용하는 리소스가 아주 많아졌습니다. 이러한 리소스들 각각에 최신화 된 소스코드가 배포되어야 합니다. (리소스가 n개라면 n번의 코드 배포 과정을 거쳐야 합니다)


소스코드 배포 사이클

  1. 코드 개발&수정 
  2. 코드 업로드(commit)
  3. 코드 배포(리소스 n개 만큼)
  4. API 문서 수정&업데이트
  5. API 문서 배포
  6. 다시 1)부터 반복

이러한 작업은 불필요한 작업일 뿐만 아니라 시간도 아주 많이 듭니다.(작업이 많을 수록 실수할 확률이 매우 높아집니다)


다음 작업들을 자동화 할 수 있는 방법에 대해서 고민해보고 인프라를 설계해주세요.


*위 소스코드 배포 사이클 자동화 인프라 설계

5주차

12월 29일(화) 19:00~21:00
세션
업무 발표 및 리드멘토 4차 업무 피드백
*참여자가 2명 이하인 경우, 3/5주차 캠프 시간은 1시간으로 조정 운영됩니다.

캠프는 5주간 아래와 같이 진행됩니다.

2-3년차 실무자의 업무를 다룹니다.

매주 현업의 문제와 문제 해결에 필요한 정보가 업무 요청서로 전달됩니다.
업무 요청서
직무부트캠프 과제 안내서 샘플 - 1주차 과제 안내 직무부트캠프 과제 안내서 샘플 - 프로젝트 과제 선정 이유

성공적인 완수를 도와드립니다.

1:1 업무 피드백이 제공되며, 어려운 점은 언제든 답변 드립니다.

직무경험을 증명할 자료를 받아가세요.

이력서 활용

검증 가능한 직무경험을 이력서에 추가하세요.
교과 외 활동 항목에 직무부트캠프 수료 경험을 활용할 수 있습니다.

직무부트캠프 수료증 샘플
수료증 발급

캠프를 수료하면 직무경험을 증명할 수 있는 수료증이 제공됩니다.

데이터 직무부트캠프
코인턴
데이터 엔지니어가 실제로 하는 API 개발 전체 과정, 이슈 및 해결방안
2020년 8월 4일 ~ 2020년 8월 5일
2020년 8월 5일
채용지원 마감일과 캠프 종료일 차이로 수료증 활용이 어려운 경우, 수료예정증명서를 발급해드립니다.
* 3주차 이상 경과된 경우에 한하여 고객센터를 통해 신청 가능
포트폴리오 활용
저와 5주간 함께 수행한 업무는 직무경험을 증명할 결과물이 됩니다.
*아래는 수강생들이 5주간 만든 실제 포트폴리오입니다.
직무부트캠프 과제를 활용한 포트폴리오 예시1 직무부트캠프 과제를 활용한 포트폴리오 예시2
직무부트캠프 과제를 활용한 포트폴리오 예시3 직무부트캠프 과제를 활용한 포트폴리오 예시4

5주 뒤에는 성공확률이 높아집니다.

직무부트캠프를 통해 얻은 자신감과 직무 경험은 차별적인 경쟁력이 됩니다.
직무부트캠프 카카오톡 오픈채팅방 예시 - 1 직무부트캠프 카카오톡 오픈채팅방 예시 - 2 직무부트캠프 카카오톡 오픈채팅방 예시 - 3 직무부트캠프 카카오톡 오픈채팅방 예시 - 4
직무 경험부터 취업 준비까지
수료 후에도, 끝까지 지원해드려요.

직무부트캠프에 참여하면
이런 점이 좋습니다.

실무자 관점에서
자소서와 면접 준비

서류와 면접에 직접적으로 활용 가능한 직무 경험으로 취업 성공 확률을 높일 수 있습니다.

실무자 관점에서 <br/>자소서와 면접 준비

실무 용어와
업무 프로세스 이해

직무가 요구하는 역량 및 수준을 확인하여, 취업 준비 전반의 계획을 수립할 수 있습니다.

실무 용어와<br/> 업무 프로세스 이해

내 적성과
직무 적합도 판단

입사 전, 직무 경험을 통해 나와 잘맞는지 확인하여 실패 비용을 현저히 줄일 수 있습니다.

내 적성과 <br/>직무 적합도 판단

직무부트캠프는 왜 만들어졌나요?

온라인은 더 특별합니다.

직무부트캠프 온라인 수업 화면
소통은 편안하게

온라인 진행으로 멘토와 멘티가 더 편안하고 자유롭게 소통할 수 있습니다.

말풍선 아이콘
누구나 적극적으로

내성적인 분도 적극적으로 소통할 수 있어 더 뛰어난 학습 효과를 얻을 수 있습니다.

스피커 아이콘
익명으로 솔직하게

얼굴과 개인 정보가 드러나지 않아 현업의 더 솔직한 이야기를 들을 수 있습니다.

손 아이콘

저와 함께 데이터 직무를 깊게 경험해 보실래요?

직무부트캠프 오프라인 수업 모습 - 1
직무부트캠프 오프라인 수업 모습 - 2
직무부트캠프 오프라인 수업 모습 - 3
직무부트캠프 오프라인 수업 모습 - 4

5주 뒤,
직무 고민이 완전히 해결됩니다!

지금 가장 저렴하게 참여할 수 있어요.

수강료 할인 및 지원 정책
돈이 꿈의 허들이 되지 않도록 지원 정책을 소개합니다.
할인 혜택
올인원패키지 무료로 사용하기 >
선물 아이콘
지원 정책
활용 가능한 청년지원금 보기 >
무제한 수강료 환급 이벤트!
친구 초대하고, 친구와 함께 3만원 혜택을 받아 보세요.
추천 이벤트 일러스트

수강생 후기

후기수
6
별점
4.8 /5
  • 1주차

    - 추천해요!

    전체적인 설명과 내용은 괜찮았습니다.
    멘토님도 본인 업무에 연관지어 잘 설명해주셨습니다.
    다만 과제에 대해 예제가 하나 있으면 좀 더 좋았을것 같습니다.

    안**|2020.12.03

  • 5주차

    - 매우 추천해요!

    4주일로 끝나는 게 아쉬울만큼 알찬 캠프다. 맘 같아선 다음 캠프에 한 번 더 지원해서라도 이어나가고 싶은 보람찬 시간이었다

    남**|2020.11.04

  • 5주차

    - 매우 추천해요!

    평소 만들고자 하는 건 만들 수 있었지만, 혼자서는 알 수 없는 실제 필드에서 발생하는 요구와 문제상황을 이번 부트캠프를 통해 배울 수 있어서 좋았습니다.

    양**|2020.11.03

  • 3주차

    - 매우 추천해요!

    실무적으로 굉장히 공부가 많이된다. 여기저기 퍼져있던 어설프게 익힌 지식들이 피드백을 통해 정리되는걸 실시간으로 느낄 수 있는 좋은 캠프이다.

    정**|2020.10.22

  • 2주차

    - 매우 추천해요!

    상세하게 피드백해주십니다.

    황**|2020.10.16

추천 캠프

자주 묻는 질문

  • Q.

    직무부트캠프를 왜 들어야 하나요?

    직접 경험하는 것이 직무를 이해하는 가장 좋은 방법이기 때문입니다.

    직무부트캠프는 누구나 원할 때 원하는 직무를 직무를 경험할 수 있도록 만들었습니다. 현직자 멘토님들이 실제로 회사에서 하고 있는 일을 5주간 체험하면서 직무 이해는 물론 입증가능한 직무경험을 쌓을 수 있습니다.

    코멘토 직무부트캠프는 300종 이상의 산업과 직무의 전 분야를 제약없이 경험할 수 있는 유일한 수단입니다.

  • Q.

    직무부트캠프 수강 대상의 레벨이 어떻게 되나요?

    직무부트캠프는 나이, 학벌과 관계 없이 사회경험이 없거나, 2년 이하의 경력을 가진 분들을 대상으로 설계되었습니다. 업무 수행 과정에서 어려운 부분은 수준에 맞게 따라올 수 있도록 멘토님에게 지원받을 수 있습니다.

  • Q.

    궁금한 것이 있으면 아무 때나 물어볼 수 있나요?

    캠프 기간 동안 채팅방을 통해서 수강생분들은 언제든지 멘토님과 대화할 수 있습니다. 다만 실제 회사에 재직 중인 현직자 분들이시기 때문에, 실시간 답변은 제한될 수 있습니다. 질문은 캠프나 취업에 대한 일반적인 내용은 어떤 것이든 가능하지만, 기업의 규정상 답하기 어려운 비밀이 포함된 질문이나 자기소개서 첨삭 등 캠프 범위 밖의 질문은 할 수 없습니다.

  • Q.

    자기소개서 같은 것도 첨삭 받을 수 있어야 하는 거 아닌가요?

    직무부트캠프는 직무 이해를 하고, 2-3년차 실무자의 업무를 체험에 집중이 되어있어서 해당 부분을 기대하실 수는 없습니다. 다만, 직무에 대한 이해를 잘 하시게 되면 자기소개서 작성 등에도 도움받으실 수 있습니다. 또, 자기소개서 첨삭은 코멘토의 자기소개서 첨삭 서비스를 받으시면 별도로 도움 받으실 수 있으며 이용권과 관계없이 매일 500자까지 3개의 자기소개서 멘토링을 요청할 수 있습니다.

  • Q.

    수강신청을 위해서 바로 결제를 해야 하나요?

    직무부트캠프는 먼저 결제하시는 분들에게 추가 할인을 제공하는 얼리버드 정책을 운영 중입니다. 수강 시작 이틀 전까지는 언제든지 취소할 수 있으며 수수료 없이 100% 환불 됩니다.

  • Q.

    혹시 할부로 결제할 수 있나요?

    PC에서 결제하시는 경우 신용카드로 결제하시면 12개월 무이자 할부를 제공해 드립니다. 표준 얼리버드 기준 18만원 캠프를 12개월 무이자 할부로 결제하면, 월 15,000원의 비용으로 캠프에 참여할 수 있습니다.

  • Q.

    정부지원금을 통해 캠프에 참여할 수 있나요?

    직무부트캠프는 수료증을 통해 취업활동 증빙을 제공합니다. 구직활동에 자유롭게 사용할 수 있는 국민취업제도 구직촉진수당 (구 청년구직활동지원금 클린카드)이나 지방정부의 청년수당 등으로 참여할 수 있습니다. 다만 내일배움카드는 사용이 불가능합니다.

환불규정

코멘토는 아래와 같은 경우에 환불을 해드리고 있습니다.

  • 신청자가 본인의 의사로 캠프참여를 포기한 경우

  • 코멘토가 캠프진행을 할 수 없게 된 경우

직무부트캠프 환불규정

  • 캠프 시작전 취소(D-1일까지): 결제금액 전액 환불

  • 1주차 시작일 ~ 2주차 시작일 D-1 : 결제금액의 2/3 환불

  • 2주차 시작일 ~ 3주차 시작일 D-1: 결제금액의 1/2 환불

  • 3주차 시작일 ~ 캠프 종료일: 환불 불가

자율일정 직무부트캠프 환불규정

  • 1차 VOD강의 수강전 취소: 결제금액 전액 환불

  • 1차 VOD 수강후 ~ 1차 과제 제출 전: 결제 금액의 2/3 환불

  • 1차 과제 피드백 제공 후 ~ 2차 과제 제출 전: 결제금액의 1/2 환불

  • 2차 과제 피드백 제공 후 ~ : 환불 불가

  • 90일 만료 후 : 환불 불가

직무부트캠프 이용권(쿠폰) 취소규정

  • 캠프 시작전 취소(D-2일까지): 쿠폰 재사용 가능

  • 1주차 시작일 D-1 ~ 캠프 종료일: 쿠폰 재사용 불가

환불준수사항

  • 수강 취소 및 환불 의사를 표시하지 아니하고 무단결석 시는 교습시간으로 인지하며, 환불 요구시점 기준으로 반환합니다.

  • 과제를 미제출하여 다음 번 캠프에 강제 참여하지 못하는 경우에는 해당차수 교습시간은 경과한 것으로 간주합니다.

유의사항

  • 캠프 참여율 80% 이상시 (세션 참여 3회 + 업무 제출 4회 중 총 6회 이상), 교육 수료증이 발급됩니다.

  • 주차 별 업무를 기한 내 제출하지 않은 분들은 개별 업무 피드백을 받을 수 없습니다.

  • 직무부트캠프는 현직자 리드멘토와 스터디메이트가 함께 만들어가는 프로그램입니다.
    프로그램 분위기를 흐리거나 불성실하게 행동하는 분이 있을 시 참여 제재 조치를 받을 수 있습니다.

  • 업무는 모두 개인 업무로 진행되며, 업무 수행과 학업 및 취업준비의 병행이 가능합니다.( 1주 평균 2~3시간 소요)

  • 최소 인원 모집 미달 시 캠프 일정이 조정될 수 있습니다.

  • 오프라인 수업의 경우, 불가항력적인 이유(천재지변, 전염병 발생, 지진 등)로 오프라인 세션이 불가능할 경우에는 안전을 위해 온라인 수업으로 대체하여 진행될 수 있습니다.