HSM 개발공부

Airflow? 스케쥴러 특징 장점 Install ~ $ conda create -n airflow_tutorial python=3.8 ~ $ conda activate airflow_tutorial (airflow_tutorial) ~ $ pip install apache-airflow (airflow_tutorial) ~ $ airflow version # install check 2.1.1 (airflow_tutorial) ~ $ mkdir airflow && cd airflowairflow home path 설정해주기 (airflow_tutorial) ~/airflow $ vi ~/.zshrc # 자신이 사용하는 쉘에 따라서 vi로 편집 # ~/.zshrc export AIRFLOW_HOME=pa..

Kafka 비동기 처리를 위한 메시지 큐의 한 종류 메일서비스 와의 비교 메일이 대표적인 비동기 메시징 시스템이다. 메일과 비교하면 kafka를 이해하기 용이하다. 메일의 경우 보내는 사람은 받는 사람의 상태와 상관업이 메일 서버로 메시지를 보낼 수 있다. 보낸 메시지는 메일 서버에 저장되며 받는 사람은 원하는 시간에 메일을 볼 수 있다. 카프카도 유사하다. 프로듀서는 카프카로 메시지를 보내고 해당 메시지는 카프카 서버(브로커)에 저장되어 보관한다. 그리고 컨슈머는 필요할 때 카프카 서버에 저장되어 있는 메시지를 가져갈 수 있다. 여러 대의 분산 서버에서 대량의 데이터를 처리하는 분산 메시징 시스템. 원천 시스템으로부터 대규모 트랜잭션 데이터가 발생했을 때 중간에 데이터를 버퍼링하면서 타깃 시스템에 안정..

install Kafka wget을 이용해 kafka를 download 받은 후, tar를 해제한다. kafka 버전별 wget link는 아래의 링크에서 찾을 수 있다. (다운로드 받으려는 kafka 버전의 하이퍼링크 링크를 복사하고 wget으로 받으면 된다.) https://kafka.apache.org/downloads ~ $ wget https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz --2021-07-03 16:03:13-- https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz Resolving archive.apache.org (archive.apache.org).....

네트워크 두 대 이상의 컴퓨터가 연결되면 네트워크라고 할 수 있다. 네크워크를 사용하여 컴퓨ㅜ터 간의 데이터 전송, 웹 사이트 열람, 메일 송수신과 같은 일을 할 수 있다. 인터넷은 전 세계의 큰 네트워크부터 작은 네트워크까지 연결한 거대한 네크워크를 말한다. 패킷 웹사이트를 보거나 데이터를 주고받기 위해서는 규칙이 있어야 한다. 그 규칫에는 패킷을 사용한다. 패킷은 컴퓨터 간에 데이터를 주고받을 때 네크워크를 통해 전송되는 데이터의 작은 조각을 의미한다. 패킷을 사용하는 이유 큰 데이터를 패킷으로 나누지 않고 그대로 보내면 네트워크의 대역폭을 너무 많이 점유하여 다른 패킷의 흐름을 막는다. 대역폭 일반적으로 네트워크에서 이용 가능한 최대 전송 속도로, 정보를 전송할 수 있는 단위 시간당 전송량을 말한다..

1. 볼륨 확인하기 해당 명령어로 disk file을 확인할 수 있다. $ fdisk -l Disk /dev/sdb: 899.5 GB, 899527213056 bytes, 1756889088 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk /dev/sda: 899.5 GB, 899527213056 bytes, 1756889088 sectors Units = sectors of 1 \* 512 = 512 bytes Sector size (logical/physical): 512 ..

[user@server ~] $ su # root 계정으로 변경 Password: [root@server ~] $ chmod +w /etc/sudoers # 파일 쓰기 권한 추가 [root@server ~] $ vi /etc/sudoers # sudoers root ALL=(ALL) ALL user ALL=(ALL) ALL # -> user명 수정하여 추가하기, 저장종료 [root@server ~] $ chmod -w /etc/sudoers # 파일 쓰기 권한 제거 [root@server ~] $ exit # root 계정 나가기 [user@server ~] $ sudo fdisk -l # sudo 권한 되는지 확인하기

Cron? Cron은 Unix 계열 OS에서 사용할 수 있는 Job scheduler. Cron을 이용하면 원하는 명령을 지정한 시간대에 자동으로 실행시킬 수 있다. install and daemon start $ sudo apt install cron $ sudo service cron start Command $ crontab -e # crontab 편집 $ crontab -l # crontab list 조회 $ crontab -r # crontab list 전체 삭제 Crontab 작성 방식 minute hour day month weekday command 시간작성 예제 0 * * * * # 매시간 정각에 실행 0 10 * * * # 매일 10시에 실행 */10 * * * * # 10분 간격으로 ..