[카프카 핵심 가이드] 4장 : 카프카 컨슈머 - 카프카에서 데이터 읽기
4.1.1 컨슈머와 컨슈머 그룹 애플리케이션에서 컨슈머 객체를 생성하고, 토픽을 구독하고, 메시지를 받아 검사하고 결과를 작성한다고 해보자.만약 프로듀서가 애플리케이션이 검사할 수 있는 속도보다 더 빠른 속도로 토픽에 메시지를 쓰게 된다면 어떻게 될까? 만약 컨슈머가 단 한개뿐이라면 애플리케이션은 새로 추가되는 메시지의 속도를 따라잡을 수 없다!프로듀서에서 빠른 속도로 브로커에 쓰여진 메시지는 계속해서 뒤로 밀리게 될 것이다. 따라서 우리는 토픽의 파티션들에 쓰여진 데이터를 소비하는 작업을 확장할 수 있어야 한다. 여러개의 프로듀서가 동일한 토픽에 메시지를 쓰듯이,여러개의 컨슈머가 동일한 토픽에서 서로 다른 파티션의 메시지를 받는 것이다. 컨슈머 그룹 카프카의 주된 목표중 하나는 카프..
프로그래밍/kafka
2025. 3. 30. 23:13
