HSM 개발공부

  • 홈
  • 태그
  • 방명록

Broker 1

카프카 내부 메커니즘 - 2.컨트롤러

컨트롤러 컨트롤러 역시 카프카 브로커 중 하나이며 일반 브로커의 기능에 더하여 파티션 리더를 선출하는 책임을 갖는다. 컨트롤러 선출 과정 카프카 클러스터가 실행되면 모든 브로커들은 최상위 노드에 /controller 임시 노드를 생성하려고 한다. 이 때 가장 먼저 실행된 브로커가 임시 노드를 생성하고 컨트롤러가 되며 나머지 브로커들은 ‘노드가 이미 존재한다’는 예외를 받고 이미 /controller 임시 노드가 있다는 것과 클러스터에 컨트롤러가 있다는 것을 알게 된다. 이후에 모든 브로커들은 /controller 노드에 주키퍼의 watch를 생성하여 controller 노드에 변화가 생기면 바로 알 수 있도록 한다. 컨트롤러 재선출 컨트롤러 브로커가 중단되거나 연결이 끊기면 임시 노드였던 /control..

Data Engineering/Kafka 2022.02.15
1
더보기
프로필사진

  • 분류 전체보기 (37)
    • Computer Science (14)
      • Network (2)
      • Data Structure & Algorithm (7)
      • Computer Architecture (5)
    • Linux (4)
    • Shell Script (0)
    • Data Engineering (16)
      • Kafka (7)
      • Airflow (4)
      • Spark (5)
    • Database (3)

Tag

성능개선, airflow, 자료구조, 복제, replica, 인덱스, cluster, 컴퓨터구조, kafka, ETL, 리눅스, 분산처리, 스케쥴링, 스파크, Controller, 카프카, Linux, 그래프, Python, spark,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/12   »
일 월 화 수 목 금 토
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바