백엔드 개발의 기본기를 잡아가는 크롤링 마스터하기
직접 경험하는 것보다 잘 이해할 수 있는 방법은 없습니다.
5주간 현직자와 제대로 웹개발 직무 경험을 만들 수 있습니다.
현직자의 진짜 실무를 멘토의 도움을 받아 수행합니다.
업무에 대한 1:1 피드백과 코칭이 매주 제공됩니다.
5주간 3회의 세션을 가지게 되며, 학업/현업과 병행 가능합니다.
안녕하세요 멘티 여러분, 백엔드 개발 직무를 수행하고 있는 리드멘토입니다.
저는 첫 취업을 위해 50곳을 지원했으나 49군데에서 떨어진 경험이 있습니다.
지금 생각해보면, 프로그램에 대한 이해 및 백엔드 전반의 지식이 부족했던 것이 문제였습니다. 이는 제가 우연히 크롤링 업무를 맡으면서 극복할 수 있었습니다.
부족했던 컴퓨터에 대한 전반적인 지식을 얻었고, 개발자로서 프로그램을 어떻게 만들어야 하는 지에 대한 자세를 배웠기 때문입니다.
크롤링에 대한 편견 중에는 프론트 및 백엔드와 다른 분야라고 생각하거나 노가다 작업이라는 것들이 있습니다.
그러나, 크롤링 작업에는 백엔드 전반적인 지식 뿐만 아니라 브라우저의 작동원리, 네트워크 등 많은 지식이 필요합니다.
기초적인 크롤링부터 심화 크롤링까지 배우고 나면 개발자로서의 실무에 대한 접근 방법 및 시각이 달라질 것입니다.
이런 고민을 가진 분들에게
직무부트캠프를 추천합니다.
직무경험이 없어요.
직무경험이 없어요.
직무경험이 없어요.
직무부트캠프는
실제 취업에 도움이 됩니다.
직무부트캠프에서 했던 경험과 배웠던 직무 전문 단어를 면접에서 활용하였더니 면접관들이 흥미를 보였고, 결국 최종 합격했어요.
남00님
수료증을 토대로 이력서에 직무 관련 경험으로 작성했고 임원 면접시 경험에 대한 질문에 직무 관련한 관심이 많다는 것으로 어필 했고, 좋은 평가를 받을 수 있었어요.
강00님
현) 입시관련 스타트업 코파운더
전) IT 스타트업 크롤링 및 툴 백엔드 매니저
전) H사 데이터 크롤링 및 백엔드 리드
전) 스타트업 CTO 창업
기타
- 크롤링 및 데이터베이스 벤치마크 관련 글로벌 학회 논문 게재
멘티님 이번에 쇼핑몰과의 협업이 있을 예정이에요. 상품 수집 및 주문 수집 태스크는 어떻게 진행 되어가고 있나요?
(멘티) 네 잘 진행 되고 있습니다. 상대 서버에 무리가 가지 않고 크롤링 프로그램에도 문제가 생기지 않도록 개발하고 있습니다.
네 저번에 서버가 한번 터졌었는데 잘 부탁 드려요
과제 소개
전반적으로 데이터를 크롤링하는 방법에 대해 배우고 연습할 예정입니다. 어떻게 데이터를 크롤링 하며, 저장하는 지를 체험해보고 응용 사례를 통해 기본기를 다질 수 있도록 캠프를 진행하고자 합니다.
1차 과제 - 크롤링 환경 세팅 및 테스트 크롤링
2차 과제 - 쿠팡 data 크롤링
3차 과제 - storing crawling data
4차 과제 - 셀레니움으로 인스타 크롤링하기
권장 수강 대상
- 아직 웹개발을 시작해보지 않은 주니어
- python과 함께 크롤링에 입문해보고 싶은 분
- 크롬 네트워크 탭 분석과 함께 자동화 프로그램까지 배우고 싶으신 분
이 업무를 선정한 이유를
알려드릴게요!
해당 과제가 백엔드 개발 직무의 필요 역량과 실제 일을 체험하기에 좋은 이유
크롤링이란 분야는 웹개발을 하는데 있어서 좋은 베이스가 되는 분야 입니다.
크롤링을 통해 백엔드 개발에 도움이 되는 브라우저 작동 원리, 서버와의 관계, 네트워크, data ingestion 등을 알 수 있습니다. 더불어 자체 크롤링 프로그램이 상대방 서버에도 영향을 미치기 때문에 전체적인 상황에 대한 파악 능력이 필요합니다. 따라서 이 과정을 통해 백엔드에 대한 이해를 넓히고 프로그램을 end to end로 개발 할 수 있다는 자신감을 키울 수 있을 것입니다.
뱅크샐러드, 토스, 그 이외의 수많은 스타트업과 회사가 데이터를 수집하거나 다른 서버와의 연동을 하기 위해 크롤링을 사용하고 있습니다. 점점 BigData를 다루는 사회에서 크롤링은 필수적인 역량으로 다뤄질 것입니다. 이번 크롤링 캠프를 통해서 멘티분들이 데이터가 주가 되는 사회에서 리드하는 개발자가 되셨으면 좋겠습니다.
상세한 스케줄을 설명드리겠습니다.
현업자 수준의 직무 이해도를 얻게됩니다.
⋅ 직무담당자가 실제로 하는 일
⋅ 직무담당자로 일하는 장, 단점과 요구 역량
⋅ 주차 별 프로젝트 소개 및 선정 이유
크롤링을 하기 위해서는 크롤링을 위한 언어를 쓸 수 있도록 환경 세팅을 해야 됩니다. linux 환경에서 하는 것이 제일 좋기 때문에 윈도우에서는 WSL2 환경을, macos에서는 iterm2를 이용한 터미널을 구성해보아요!
1차 과제 - python, linux 환경 세팅하기
- windows, macos에 맞춘 환경 세팅
- 당근마켓에 크롤링 테스트
*과제 결과물 : pdf / markdown (편하신 옵션으로 선택) 진행한 캡쳐화면 및 코드 block 첨부
이번엔 제대로 크롤링을 해봅시다. 한 페이지가 아닌 여러페이지를 한번에 크롤링 할 수 있게 해보아요.
*2차 과제 - 쿠팡 data 크롤링
- 쿠팡 data pagination을 이용한 크롤링
- data pagination을 이용한 당근마켓 크롤링 확장
*과제 결과물 : pdf / markdown (편하신 옵션으로 선택) 진행한 캡쳐화면 및 코드 block 첨부
크롤링한 데이터를 저장하지 않는다면 의미가 없겠죠? 데이터를 저장해보아요!
*3차 과제 - storing crawling data
- 엑셀로 저장하기
- pandas 사용법
- 쿠팡 크롤링 data 엑셀에 저장하기
*과제 결과물 : pdf / markdown (편하신 옵션으로 선택) 진행한 캡쳐화면 및 코드 block 첨부, 만든 csv, 엑셀파일 첨부
크롤링 응용 과제들을 진행해봅니다. 이번에는 셀레니움을 활용해서 진행해보아요.
*4차 과제 - 셀레니움으로 인스타 크롤링하기
- 정규식 알아오기 ( 예습 )
- $1,500 => 1500
- 안녕하세요 홍길동입니다. => 안녕하세요 (.*?)입니다. => 홍길동
- #카페 #인스타맛집 #청년인정 => 글자만 뽑아오게끔 만들어오는 걸 생각해보기
- Python function 사용
- selenium 사용 및 엑셀 복습
*참고 자료 : 참고할 만한 예시 자료 및 템플릿 제공 예정
*과제 결과물 : pdf / markdown (편하신 옵션으로 선택) 진행한 캡쳐화면 및 코드 block 첨부, 만든 csv, 엑셀파일 첨부
캠프는 5주간 아래와 같이 진행됩니다.
2-3년차 실무자의 업무를 다룹니다.
업무 요청서로 전달됩니다.
성공적인 완수를 도와드립니다.
직무경험을 증명할 자료를 받아가세요.
교과 외 활동 항목에 직무부트캠프 수료 경험을 활용할 수 있습니다.
채용지원 마감일과 캠프 종료일 차이로 수료증 활용이 어려운 경우, 수료예정증명서를 발급해드립니다.
* 3주차 이상 경과된 경우에 한하여 고객센터를 통해 신청 가능
저와 5주간 함께 수행한 업무는 직무경험을 증명할 결과물이 됩니다.
*아래는 수강생들이 5주간 만든 실제 포트폴리오입니다.
직무부트캠프에 참여하면
이런 점이 좋습니다.
자소서와 면접 준비
업무 프로세스 이해
직무 적합도 판단
직무부트캠프는 왜 만들어졌나요?
온라인은 더 특별합니다.
더 편안하고 자유롭게 소통할 수 있습니다.
더 뛰어난 학습 효과를 얻을 수 있습니다.
더 솔직한 이야기를 들을 수 있습니다.
직무를 깊게 경험해 보실래요?
5주 뒤, 직무 고민이
완전히 해결됩니다!
- 정가
- 300,000원
- 얼리버드 40% 할인
- - 120,000원
- 후기 이벤트 원고료
- - 20,000원
- 최대 할인 적용가
- 32,000원 /1주
- 12개월 무이자 할부
- 3,076원 /1주
수강료 할인 및 지원 정책
정부 지원금 사용 가능
- 우선 이론, 기초, 그리고 응용까지 자세히 알려주셨고 무엇보다도 멘티 각자의 레벨에 맞추어 알려주신 것이 인상깊었습니다. 사소한 부분들도 완전히 이해할 수 있도록 구체적으로 가르쳐주시고, 도움이 되는 자료나 배경 지식 관련 자료들도 필요할 때마다 알려주셔서 막히는 부분에서도 단순히 따라하기보다는 이해하고 넘어갈 수 있었습니다. 짧은 시간이나 커리큘럼 상 배우지 못하는 내용도 있으나, 기초를 배우고 아는 것은 충분하고 멘티들이 추가적으로 수행해보고 싶은 과제, 탐구하고 싶은 주제가 있으면 최대한 도와주십니다. 코딩경험이 없지는 않았지만 백엔드는 경험이 없어 쉽지 만은 않았고, 막히는 부분도 많았는데 다른 멘티 분과 멘토님께서 여러 방면으로 도와주셔서 포기하지 않고 완주할 수 있었던 것 같습니다. 아쉬운 점이 있다면 프로젝트 식으로 진행되도 좋을 것 같다는 점 (시간적 제약으로 인해 어려울 수도 있을 것 같습니다), 서로 코드 리뷰를 오프라인으로 해줄 수 있었다면 더 좋았을 것 같다는 점입니다. 크롤링에 관심이 있거나 배워보고 싶고, 코드에 관심이 있는 사람에게 추천하고 싶습니다. 코드를 전혀 모르는 경우 어려울 수 있으나, 멘토님이 레벨에 맞추어 잘 도와주신다고 생각합니다.5주차- 매우 추천해요!
- 저는 인공지능 개발에 관심이 많아 AI 프로젝트를 시작할때면 원하는 데이터를 어떻게, 얼마만큼 수집할 수 있을지 효과적 방법에 대해 고민이 많았습니다. 이미 준비된 데이터를 사용하는 경우도 있겠지만 특정한 데이터를 수집하길 원한다면 크롤링 기술이 필요합니다. 이번 부트캠프 과정을 들으면서 단순히 라이브러리 사용하는 방법이 아닌 클라이언트 서버 사이드의 요청, 응답 흐름에 대한 이해와 효과적인 크롤링 방법, 에러핸들링, 데이터 저장 방법등에 대해 코드 리뷰 과정을 진행하면서 백엔드 개발에 기본기를 익힐 수 있어 굉장히 유용했던 시간이었습니다. 멘토님이 풍부한 개발 지식을 가지고 있으신만큼 많이 배우려고 노력할 수록 더 많이 가져갈 수 있는 프로그램이라 생각합니다5주차- 매우 추천해요!
- 단 2시간 동안의 수업이었지만 크롤링에 대한 경험이 풍부하시고 엄청난 내공이 느껴졌습니다…! 2시간 동안 실습과 병행하면서 많은걸 얻어갈 수는 어렵다고 생각하기 때문에 과제를 해결하면서 역량을 키울 수 있다고 생각합니다~! 이번주 수업에도 잘 부탁드립니다🤩1주차- 매우 추천해요!
자주 묻는 질문
직접 경험하는 것이 직무를 이해하는 가장 좋은 방법이기 때문입니다.
직무부트캠프는 누구나 원할 때 원하는 직무를 직무를 경험할 수 있도록 만들었습니다. 현직자 멘토님들이 실제로 회사에서 하고 있는 일을 5주간 체험하면서 직무 이해는 물론 입증가능한 직무경험을 쌓을 수 있습니다.
코멘토 직무부트캠프는 300종 이상의 산업과 직무의 전 분야를 제약없이 경험할 수 있는 유일한 수단입니다.
직무부트캠프는 나이, 학벌과 관계 없이 사회경험이 없거나, 2년 이하의 경력을 가진 분들을 대상으로 설계되었습니다. 업무 수행 과정에서 어려운 부분은 수준에 맞게 따라올 수 있도록 멘토님에게 지원받을 수 있습니다.
캠프 기간 동안 채팅방을 통해서 수강생분들은 언제든지 멘토님과 대화할 수 있습니다. 다만 실제 회사에 재직 중인 현직자 분들이시기 때문에, 실시간 답변은 제한될 수 있습니다. 질문은 캠프나 취업에 대한 일반적인 내용은 어떤 것이든 가능하지만, 기업의 규정상 답하기 어려운 비밀이 포함된 질문이나 자기소개서 첨삭 등 캠프 범위 밖의 질문은 할 수 없습니다.
직무부트캠프는 직무 이해를 하고, 2-3년차 실무자의 업무 경험에 집중이 되어있어서 해당 부분을 기대하실 수는 없습니다. 다만, 직무에 대한 이해를 잘 하시게 되면 자기소개서 작성 등에도 도움받으실 수 있습니다. 또, 자기소개서 첨삭은 코멘토의 자기소개서 첨삭 서비스를 받으시면 별도로 도움 받으실 수 있으며 이용권과 관계없이 매일 500자까지 3개의 자기소개서 멘토링을 요청할 수 있습니다.
직무부트캠프는 먼저 결제하시는 분들에게 추가 할인을 제공하는 얼리버드 정책을 운영 중입니다. 수강 시작 이틀 전까지는 언제든지 취소할 수 있으며 수수료 없이 100% 환불 됩니다.
PC에서 결제하시는 경우 신용카드로 결제하시면 12개월 무이자 할부를 제공해 드립니다. 표준 얼리버드 기준 18만원 캠프를 12개월 무이자 할부로 결제하면, 월 15,000원의 비용으로 캠프에 참여할 수 있습니다.
직무부트캠프는 수료증을 통해 취업활동 증빙을 제공합니다. 구직활동에 자유롭게 사용할 수 있는 국민취업제도 구직촉진수당 등으로 참여할 수 있습니다. 다만 내일배움카드는 사용이 불가능합니다.
환불규정
신청자가 본인의 의사로 캠프참여를 포기한 경우
코멘토가 캠프진행을 할 수 없게 된 경우
캠프 시작전 취소(D-1일까지): 결제금액 전액 환불
1주차 시작일 ~ 2주차 시작일 D-1 : 결제금액의 2/3 환불
2주차 시작일 ~ 3주차 시작일 D-1: 결제금액의 1/2 환불
3주차 시작일 ~ 캠프 종료일: 환불 불가
1차 VOD강의 수강전 취소: 결제금액 전액 환불
1차 VOD 수강후 ~ 1차 과제 제출 전: 결제 금액의 2/3 환불
1차 과제 피드백 제공 후 ~ 2차 과제 제출 전: 결제금액의 1/2 환불
2차 과제 피드백 제공 후 ~ : 환불 불가
90일 만료 후 : 환불 불가
캠프 시작전 취소(D-2일까지): 쿠폰 재사용 가능
1주차 시작일 D-1 ~ 캠프 종료일: 쿠폰 재사용 불가
수강 취소 및 환불 의사를 표시하지 아니하고 무단결석 시는 교습시간으로 인지하며, 환불 요구시점 기준으로 반환합니다.
과제를 미제출하여 다음 번 캠프에 강제 참여하지 못하는 경우에는 해당차수 교습시간은 경과한 것으로 간주합니다.
유의사항
캠프 참여율 80% 이상시 (세션 참여 3회 + 업무 제출 4회 중 총 6회 이상), 교육 수료증이 발급됩니다.
주차 별 업무를 기한 내 제출하지 않은 분들은 개별 업무 피드백을 받을 수 없습니다.
직무부트캠프는 현직자 리드멘토와 스터디메이트가 함께 만들어가는 프로그램입니다.
프로그램 분위기를 흐리거나 불성실하게 행동하는 분이 있을 시 참여 제재 조치를 받을 수 있습니다.
업무는 모두 개인업무로 진행되며, 업무 수행과 학업 및 취업준비의 병행이 가능합니다.(1주 평균 2~3시간 소요)
최소 인원 모집 미달 시 캠프 일정이 조정될 수 있습니다.