MQ 2

Kafka의 구조와 원리

Kafka 비동기 처리를 위한 메시지 큐의 한 종류 메일서비스 와의 비교 메일이 대표적인 비동기 메시징 시스템이다. 메일과 비교하면 kafka를 이해하기 용이하다. 메일의 경우 보내는 사람은 받는 사람의 상태와 상관업이 메일 서버로 메시지를 보낼 수 있다. 보낸 메시지는 메일 서버에 저장되며 받는 사람은 원하는 시간에 메일을 볼 수 있다. 카프카도 유사하다. 프로듀서는 카프카로 메시지를 보내고 해당 메시지는 카프카 서버(브로커)에 저장되어 보관한다. 그리고 컨슈머는 필요할 때 카프카 서버에 저장되어 있는 메시지를 가져갈 수 있다. 여러 대의 분산 서버에서 대량의 데이터를 처리하는 분산 메시징 시스템. 원천 시스템으로부터 대규모 트랜잭션 데이터가 발생했을 때 중간에 데이터를 버퍼링하면서 타깃 시스템에 안정..

Kafka tutorial - 1 [설치, topic생성, 발행, consumer group 실행]

install Kafka wget을 이용해 kafka를 download 받은 후, tar를 해제한다. kafka 버전별 wget link는 아래의 링크에서 찾을 수 있다. (다운로드 받으려는 kafka 버전의 하이퍼링크 링크를 복사하고 wget으로 받으면 된다.) https://kafka.apache.org/downloads ~ $ wget https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz --2021-07-03 16:03:13-- https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz Resolving archive.apache.org (archive.apache.org).....