HSM 개발공부

  • 홈
  • 태그
  • 방명록

스케쥴링 2

Airflow tutorial - 1

Airflow? 스케쥴러 특징 장점 Install ~ $ conda create -n airflow_tutorial python=3.8 ~ $ conda activate airflow_tutorial (airflow_tutorial) ~ $ pip install apache-airflow (airflow_tutorial) ~ $ airflow version # install check 2.1.1 (airflow_tutorial) ~ $ mkdir airflow && cd airflowairflow home path 설정해주기 (airflow_tutorial) ~/airflow $ vi ~/.zshrc # 자신이 사용하는 쉘에 따라서 vi로 편집 # ~/.zshrc export AIRFLOW_HOME=pa..

Data Engineering/Airflow 2021.07.10

Cron - 스케쥴링,자동화

Cron? Cron은 Unix 계열 OS에서 사용할 수 있는 Job scheduler. Cron을 이용하면 원하는 명령을 지정한 시간대에 자동으로 실행시킬 수 있다. install and daemon start $ sudo apt install cron $ sudo service cron start Command $ crontab -e # crontab 편집 $ crontab -l # crontab list 조회 $ crontab -r # crontab list 전체 삭제 Crontab 작성 방식 minute hour day month weekday command 시간작성 예제 0 * * * * # 매시간 정각에 실행 0 10 * * * # 매일 10시에 실행 */10 * * * * # 10분 간격으로 ..

Linux 2021.06.13
1
더보기
프로필사진

  • 분류 전체보기 (37)
    • Computer Science (14)
      • Network (2)
      • Data Structure & Algorithm (7)
      • Computer Architecture (5)
    • Linux (4)
    • Shell Script (0)
    • Data Engineering (16)
      • Kafka (7)
      • Airflow (4)
      • Spark (5)
    • Database (3)

Tag

Controller, 스케쥴링, airflow, 리눅스, 카프카, spark, 컴퓨터구조, replica, cluster, Python, ETL, 성능개선, 분산처리, 자료구조, Linux, kafka, 인덱스, 복제, 그래프, 스파크,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바