직무 · 카카오 / 데이터분석가

Q. kafka 질문

kafka 엔지니어를 목표로 하고 있습니다. confluent kafka에서 제공하는 패키지로 zookeeper, broker, connect, schema-registry 등등을 구축하고 연동해보고 있습니다. produce API를 활용하여 data source와 broker 사이의 데이터 처리 consumer API를 활룡하여 data sink와 broker 사이의 데이터 처리 를 하는 것으로 알고 있습니다. 이 과정을 confluent에서 제공하는 schema-registry와 connect API의 기능들로 producer와 consumer API를 대체하는 것인가 라는 생각이 들었습니다. 실무에서는 고객사의 요청에 따라 다르겠지만 당연히 producer, consumer로 코딩을 통해 파이프라인을 짜는 것과 schema-registry와 connect를 활용하여 파이프라인을 짜는 것중 더 선호되는 것이 있을까요?