스프링 부트에서 Kafka 설정하기: 간단하고 빠르게 배우는 방법

 

스프링 부트 와 Apache Kafka 를 통합하여 실시간 데이터를 처리하는 방법은 많은 기업과 개발자들이 활용하는 중요한 기술입니다. 이번 포스팅에서는 application.yml 또는 application.properties 파일을 사용한 Kafka 설정 방법, 프로듀서와 컨슈머 설정, 기본 직렬화기/역직렬화기 설정, 그리고 사용자 정의 Kafka 속성을 적용하는 방법을 설명합니다. 모든 과정은 코드 예제와 함께 제공되어 쉽게 따라 할 수 있습니다.

 

---

 

 

1. application.properties 또는 application.yml 설정 파일 이해하기

 

application.yml 을 통한 Kafka 설정

스프링 부트에서 Kafka를 설정하려면 application.yml 또는 application.properties 파일에 설정을 추가해야 합니다. 여기서는 YAML 형식을 사용한 설정 예제를 보여드립니다.

spring:
  kafka:
    bootstrap-servers: localhost:9092
    consumer:
      group-id: my-group
      auto-offset-reset: earliest
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer

 

주요 설정 항목:

• bootstrap-servers : Kafka 브로커의 주소를 지정합니다.
• group-id : 컨슈머 그룹의 ID를 설정합니다.
• auto-offset-reset : 새로운 컨슈머가 시작할 때 오프셋을 어디서부터 읽을지 지정합니다. earliest 로 설정하면 가장 처음부터 읽기 시작합니다.
• key-serializer / value-serializer : Kafka 메시지의 키와 값을 직렬화하는 방법을 지정합니다. 여기서는 기본적으로 String 타입으로 설정했습니다.

application.properties 설정 예시

application.properties 형식을 선호하는 경우, 동일한 설정을 다음과 같이 작성할 수 있습니다:

spring.kafka.bootstrap-servers=localhost:9092
spring.kafka.consumer.group-id=my-group
spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

 

---

 

2. Kafka 프로듀서와 컨슈머 설정 방법

 

Kafka 프로듀서 설정

Kafka 프로듀서는 메시지를 생성하고 브로커에 전송 하는 역할을 합니다. 스프링 부트 에서는 KafkaTemplate을 사용하여 쉽게 메시지를 전송할 수 있습니다.

@Service
public class KafkaProducer {
    private static final Logger logger = LoggerFactory.getLogger(KafkaProducer.class);
    private final KafkaTemplate<String, String> kafkaTemplate;

    @Autowired
    public KafkaProducer(KafkaTemplate<String, String> kafkaTemplate) {
        this.kafkaTemplate = kafkaTemplate;
    }

    public void sendMessage(String message) {
        logger.info(String.format("#### -> Producing message -> %s", message));
        this.kafkaTemplate.send("my_topic", message);
    }
}

 

설명:

• KafkaTemplate 을 통해 메시지를 전송합니다.
• send 메서드는 지정한 토픽 (여기서는 my_topic )에 메시지를 전송합니다.

Kafka 컨슈머 설정

Kafka 컨슈머는 메시지를 소비 하는 역할을 하며, 주로 데이터 처리나 실시간 분석에 사용됩니다. 스프링 부트에서는 @KafkaListener 를 사용하여 메시지를 수신할 수 있습니다.

@Service
public class KafkaConsumer {
    private static final Logger logger = LoggerFactory.getLogger(KafkaConsumer.class);

    @KafkaListener(topics = "my_topic", groupId = "my-group")
    public void consume(String message) {
        logger.info(String.format("#### -> Consumed message -> %s", message));
    }
}

 

설명:

• @KafkaListener 를 통해 지정된 토픽( my_topic )에서 메시지를 수신합니다.
• 수신된 메시지는 consume 메서드에서 처리됩니다.

 

---

 

3. 기본 직렬화기와 역직렬화기 설정

Kafka는 직렬화 와 역직렬화 를 통해 메시지를 바이트 스트림 으로 변환하고, 다시 객체로 변환하는 과정을 거칩니다. 기본적으로는 String 을 직렬화하지만, 필요에 따라 커스텀 직렬화기를 정의할 수 있습니다.

기본 직렬화기 설정

Kafka에서 기본적으로 제공하는 StringSerializer 와 StringDeserializer 를 사용하면 문자열 데이터를 쉽게 전송할 수 있습니다. 이는 앞서 살펴본 application.yml 설정에서 이미 적용되었습니다:

spring:
  kafka:
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

JSON 직렬화/역직렬화 설정

만약 JSON 형식 으로 데이터를 주고받고 싶다면, Jackson 라이브러리를 사용하여 직렬화기와 역직렬화기를 설정할 수 있습니다.

spring:
  kafka:
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
    consumer:
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.springframework.kafka.support.serializer.JsonDeserializer
    consumer-properties:
      spring.json.trusted.packages: "*"

이 설정을 통해 프로듀서가 JSON 데이터 를 직렬화하고, 컨슈머가 이를 역직렬화하여 Java 객체 로 변환할 수 있습니다.

 

---

 

4. 사용자 정의 Kafka 속성 적용

Kafka의 기본 설정 외에도 필요에 따라 사용자 정의 속성 을 적용할 수 있습니다. 예를 들어, ACK(확인 응답) 메커니즘을 사용자 정의하여 데이터 손실을 최소화할 수 있습니다.

ACK 메커니즘 설정

ACK 설정은 프로듀서가 메시지를 전송한 후 Kafka 브로커로부터 확인 응답 을 받을 때까지 기다리는 방식을 정의합니다. 이를 통해 메시지 전달의 안정성을 보장할 수 있습니다.

spring:
  kafka:
    producer:
      acks: all  # 모든 브로커에서 응답을 받았을 때만 성공으로 처리
      retries: 3  # 메시지 전송 실패 시 재시도 횟수

• acks: all : 모든 리플리카에서 메시지가 기록되었을 때만 성공으로 간주합니다.
• retries: 3 : 전송 실패 시 최대 3번까지 재시도합니다.

배치 처리 설정

Kafka에서 배치 처리 를 활성화하면, 여러 개의 메시지를 모아서 한 번에 처리할 수 있어 성능이 향상됩니다.

spring:
  kafka:
    consumer:
      enable-auto-commit: false  # 자동 커밋 비활성화
      max-poll-records: 10  # 한 번에 최대 10개의 메시지 처리

이 설정을 통해 한 번에 여러 메시지를 읽고 처리하는 배치 처리가 가능해집니다. 이를 통해 처리 속도를 높이고, 리소스 사용을 최적화할 수 있습니다.

 

---

 

스프링 부트에서 Kafka 설정 트렌드 및 통계

Kafka는 전 세계적으로 대규모 실시간 데이터 처리 를 위한 필수 도구로 자리 잡고 있습니다. 최근 2023년 Stack Overflow 개발자 설문조사 에 따르면, 많은 개발자들이 Kafka를 마이크로서비스 아키텍처에서 사용하고 있으며, Kafka를 사용한 기업 중 80% 이상이 데이터 손실 없이 실시간 데이터 처리 를 성공적으로 구현했다고 보고되었습니다.

 

---

 

자주 묻는 질문 (FAQ)

Q1. Kafka 설정 파일에서 가장 중요한 항목은 무엇인가요?
A1. bootstrap-servers , group-id , key/value 직렬화기 설정이 가장 중요합니다. 이 설정들이 Kafka와 브로커를 연결하고, 데이터를 직렬화/역직렬화하는 과정을 제어합니다.

Q2. Kafka 프로듀서와 컨슈머를 동시에 사용할 수 있나요?
A2. 네, 가능합니다. 스프링 부트에서는 동일한 애플리케이션에서 Kafka 프로듀서와 컨슈머를 동시에 설정하여 사용할 수 있습니다.

Q3. 배치 처리는 어떤 상황에서 유리한가요?
A3. 배치 처리 는 많은 양의 메시지를 한 번에 처리해야 할 때 유리합니다. 배치 처리로 성능을 최적화할 수 있으며, 시스템 리소스를 절약하고 처리 속도를 높일 수 있습니다. 주로 로그 수집 , 트랜잭션 처리 와 같은 대량 데이터 처리에서 사용됩니다.

Q4. Kafka 직렬화기를 커스터마이징할 수 있나요?
A4. 네, 가능합니다. Kafka는 기본적으로 StringSerializer 를 제공하지만, 필요에 따라 JsonSerializer 또는 직접 만든 커스텀 직렬화기 를 사용할 수 있습니다. 이를 통해 데이터를 원하는 형식으로 직렬화할 수 있습니다.

Q5. Kafka의 ACK 메커니즘이 중요한 이유는 무엇인가요?
A5. ACK 메커니즘 은 메시지가 안전하게 전달되었는지를 확인하는 과정입니다. 메시지 손실을 방지하고, 안정적인 데이터 처리를 위해 프로듀서가 브로커로부터 확인 응답을 받는 것이 중요합니다. ACK를 all 로 설정하면 모든 브로커에서 메시지가 성공적으로 저장되었을 때만 성공으로 처리하므로 안정성을 높일 수 있습니다.