HSM 개발공부

  • 홈
  • 태그
  • 방명록

Partitioner 1

Producer의 send() method 수행 과정 (feat. flush())

개요 및 결론 send()는 즉시 broker에게 메세지를 전송하지 않는다. send()를 통해 메세지를 내부 버퍼에 쌓아두고 flush()를 통해 broker로 전달한다. 물론 send()와 flush() 사이에도 몇 가지 과정을 거친다. 프로듀서가 메세지를 보내는 과정 Serializer 메세지 객체를 바이트 배열(byte array)로 직렬화한다. Partitioner Kafka Producer가 send() 메소드를 호출하면 Record는 Partitioner에게 전달된다. Partitioner는 지정한 토픽에서 어느 파티션으로 전송할 지 정하는 역할을 한다. Kafka Producer 객체를 생성할 때 Partitioner를 지정할 수 있으며, 설정하지 않으면 DefaultPartitioner로..

Data Engineering/Kafka 2022.03.15
1
더보기
프로필사진

  • 분류 전체보기 (37)
    • Computer Science (14)
      • Network (2)
      • Data Structure & Algorithm (7)
      • Computer Architecture (5)
    • Linux (4)
    • Shell Script (0)
    • Data Engineering (16)
      • Kafka (7)
      • Airflow (4)
      • Spark (5)
    • Database (3)

Tag

airflow, cluster, 카프카, 스케쥴링, 리눅스, Linux, 복제, 컴퓨터구조, replica, 분산처리, spark, 그래프, Python, 자료구조, 성능개선, Controller, ETL, kafka, 인덱스, 스파크,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/11   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바