HSM 개발공부

  • 홈
  • 태그
  • 방명록

Parallelism 1

Airflow의 parallelism과 dag_concurrency

parallelism This defines the maximum number of task instances that can run concurrently in Airflow regardless of scheduler count and worker count. Generally, this value is reflective of the number of task instances with the running state in the metadata database. scheduler와 worker의 개수와 상관없이 Airflow 내에서 동시에 구동할 수 있는 task 인스턴스의 최대 개수 Configuration Reference — Airflow Documentation airflow.apache.o..

Data Engineering/Airflow 2022.05.26
1
더보기
프로필사진

  • 분류 전체보기 (37)
    • Computer Science (14)
      • Network (2)
      • Data Structure & Algorithm (7)
      • Computer Architecture (5)
    • Linux (4)
    • Shell Script (0)
    • Data Engineering (16)
      • Kafka (7)
      • Airflow (4)
      • Spark (5)
    • Database (3)

Tag

kafka, Controller, 컴퓨터구조, cluster, Linux, ETL, Python, 스케쥴링, 분산처리, spark, 성능개선, airflow, 리눅스, 인덱스, 그래프, 자료구조, 복제, 카프카, replica, 스파크,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/11   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바