HSM 개발공부

  • 홈
  • 태그
  • 방명록

spark component 1

Spark Application Component - Component

스파크 드라이버 스파크 애플리케이션의 ‘운전자 역할’을 하는 프로세스. 스파크 어플리케이션의 실행을 제어하고 스파크 클러스터(익스큐터의 상태와 태스크)의 모든 상태 정보를 유지힌다. 물리적 컴퓨팅 자원 확보, 익스큐터 실행을 위한 클러스터 매니저와의 통신 등도 수행한다. 요약하면 물리적 머신의 프로세스이며 클러스터에서 실행중인 애플리케이션의 상태를 유지하는 역할을 수행한다. 스파크 익스큐터 위에서 기술한 스파크 드라이버가 할당해준 태스크를 수행하는 프로세스. 스파크 익스큐터는 스파크 드라이버가 할당한 태스크를 받아 실행하고 태스크의 상태와 결과를 드라이버에 보고한다. 모든 스파크 애플리케이션은 개별 익스큐터 프로세스를 사용한다. 클러스터 매니저 클러스터 매니저는 스파크 어플리케이션을 수행할 클러스터 머신..

Data Engineering/Spark 2022.02.08
1
더보기
프로필사진

  • 분류 전체보기 (37)
    • Computer Science (14)
      • Network (2)
      • Data Structure & Algorithm (7)
      • Computer Architecture (5)
    • Linux (4)
    • Shell Script (0)
    • Data Engineering (16)
      • Kafka (7)
      • Airflow (4)
      • Spark (5)
    • Database (3)

Tag

cluster, 리눅스, airflow, 그래프, kafka, Linux, 성능개선, 스파크, 스케쥴링, 카프카, 인덱스, 분산처리, spark, 복제, 컴퓨터구조, Python, 자료구조, replica, Controller, ETL,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/11   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바