HSM 개발공부

  • 홈
  • 태그
  • 방명록

Apache spark 1

Spark Application Architecture - 실행 모드

실행 모드는 스파크 애플리케이션을 실행할 때 요청한 자원의 물리적인 위치를 결정한다. 실행 모드는 총 3가지로 클러스터 모드, 클라이언트 모드, 로컬모드가 있다. 클러스터 모드 클러스터 모드를 사용하려면 컴파일된 JAR파일이나 파이썬 스크립트, R 스크립트를 클러스터 매니저에게 전달해야 한다. 클러스터 매니저는 파일을 받은 다음 하나의 워커 노드에 스파크 드라이버을 실행하고 다른 워커 노드에 스파크 익스큐터 프로세스를 실행한다. 클러스터 매니저는 모든 스파크 애플리케이션과 관련된 프로세스를 유지하는 역할을 한다. 클러스터 모드에서는 스파크 드라이버, 스파크 익스큐터가 모두 클러스터 워커 노드에서 실행된다. 클라이언트 모드 클라이언트 모드는 애플리케이션을 제출한 클라이언트 머신에 스파크 드라이버가 위치한다..

Data Engineering/Spark 2022.02.08
1
더보기
프로필사진

  • 분류 전체보기 (37)
    • Computer Science (14)
      • Network (2)
      • Data Structure & Algorithm (7)
      • Computer Architecture (5)
    • Linux (4)
    • Shell Script (0)
    • Data Engineering (16)
      • Kafka (7)
      • Airflow (4)
      • Spark (5)
    • Database (3)

Tag

성능개선, 리눅스, Python, cluster, 스파크, 인덱스, Linux, kafka, 스케쥴링, ETL, Controller, 자료구조, 카프카, replica, 복제, 분산처리, 그래프, 컴퓨터구조, spark, airflow,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/11   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바