데이터분석 · 카카오 / 데이터분석가
Q. kafka 질문
kafka 엔지니어를 목표로 하고 있습니다.
confluent kafka에서 제공하는 패키지로 zookeeper, broker, connect, schema-registry 등등을 구축하고 연동해보고 있습니다.
produce API를 활용하여 data source와 broker 사이의 데이터 처리
consumer API를 활룡하여 data sink와 broker 사이의 데이터 처리
를 하는 것으로 알고 있습니다.
이 과정을
confluent에서 제공하는 schema-registry와 connect API의 기능들로 producer와 consumer API를 대체하는 것인가 라는 생각이 들었습니다.
실무에서는 고객사의 요청에 따라 다르겠지만 당연히 producer, consumer로 코딩을 통해 파이프라인을 짜는 것과 schema-registry와 connect를 활용하여 파이프라인을 짜는 것중 더 선호되는 것이 있을까요?