컴맹에서 개발자 되기

개요 S3 Intelligent-Tiering에 대해 알아보고, 기존 S3 클래스에 대해서도 알아보자. S3 스토리지 클래스 • Amazon S3 는 다양한 사용 사례에 맞게 설계된 다양한 스토리지 클래스를 제공하고 있음. • S3 클래스는 크게 6가지로 나뉘며, 라이프 사이클을 통해 애플리케이션 변경 없이 데이터를 다른 스토리지 클래스로 자동 전송하는 기능을 제공함 • S3 Intelligent-Tiering을 알기 전에 다른 S3 클래스를 먼저 복습해보자. • S3 Standard 자주 액세스하는 데이터를 저장하기 위해 적합한 클래스 (한달에 한 번 이상 접근 / 밀리초 단위로 엑세스) • S3 Standard-IA 자주 액세스하지 않지만 필요할 때 빠르게 액세스해야 하는 데이터를 저장하기 위해 적합..

개요 사용 중인 컨테이너 혹은 이미지를 아카이빙 할 수 있는 Export / Save 차이점을 알아보자 Export & Import 먼저 Export 명령어 먼저 살펴보자. Docker --help 명령어를 통해 Export가 무엇인지 쉽게 알 수 있다. $ docker export --help Usage:docker export [OPTIONS] CONTAINER Export a container's filesystem as a tar archive Options: -o, --output string Write to a file, instead of STDOUT Export란 Container를 Tar 파일 시스템으로 Archive 하는 것이다. 즉 "컨테이너를 파일로 추출한다"라고 이해하면 편할 것 ..

개요 Grafana 대시보드 구성을 위해 Node의 lable이 필요한 상황이라 kube_node_label 메트릭(metrics)을 조회해봤다. 하지만, kube_node_label 메트릭에서는 label에 대한 정보가 표시되지 않고 있었다. 이를 해결했던 경험을 작성하려고 한다. + (kube_pod_label에서도 표시되지 않는 현상도 수정하였다.) 환경 kube-prometheus-stack v 32.2.1 kube-state-metric v2.3.0 원인 kube-state-metrics이 kube_node_label과 kube_pod_label 메트릭을 수집하고 있는데, v2.0.0부터는 label을 따로 표기하지 않게 설정이 되었다고 한다. (많은 label로 인해 에러를 방지하기 위함이라고..

개요 RDS 데이터 백업을 위해 S3로 데이터를 정기적으로 이관해야 될 상황이 생겼다. NIFI나 Airflow를 사용하면 관리가 용이하지만, 여러 JOB을 돌리지 않을 것이기 때문에 단순 Python 스크립트로 개발하고자 하였다. 코드 pandas란 라이브러리를 사용했고, 코드는 csv로 export는 하는 코드는 아래와 같다. import pandas as pd #원하는 쿼리를 작성 query = "select * from table" #DB접속 정보를 입력한다. rds는 host에 Endpoint를 적으면 된다. conn = pymysql.connect(host='db-endpoint', user='user-name', password='passwd', db='db-name', charset='ut..

개요 ll 명령어를 등록하는 방법을 알아보자. 1. .bash_profile 을 수정한다. vi ~/.bash_profile 2. alias로 ll을 등록해준다. alias ll="ls -al" 3. sourcs 명령어를 통해 프로파일을 적용한다. source ~/.bash_profile

개요 일정 주기로 로그 파일이나 특정 폴더를 삭제하고 싶으면 아래 명령어를 적용하면 된다. 파일 find -mtime -exec rm -rf {} \; 폴더 -type d 옵션을 추가하면 된다. find -mtime -type d -exec rm -rf {} \; 예시 파일 30일이 경과한 로그 파일 삭제 #!/bin/bash find /home/*.log -mtime +30 -exec rm -rf {} \; # 30일 경과 find /home/*.log -mtime +20 -exec rm -rf {} \; # 20일 경과 폴더 30일이 경과한 폴더 삭제 #!/bin/bash find /var/lib/jenkins/jobs/*/builds/{*,.[!.]*} -type d -mtime +30 -exec ..

개요 GPU 모니터링을 위해 NVIDIA에서 제공하는 DCGM-Exporter를 설치한 후, 프로메테우스에서 Metrics을 조회해보니 조회되지 않는 현상이 발생하였다. (dcgm-exporter POD에 접속하여, curl 날려본 결과 정상적으로 메트릭을 보내는 것을 알 수 있다.) 원인은 prometheus 설정 부분으로 추측하였다. https://github.com/NVIDIA/dcgm-exporter GitHub - NVIDIA/dcgm-exporter: NVIDIA GPU metrics exporter for Prometheus leveraging DCGM NVIDIA GPU metrics exporter for Prometheus leveraging DCGM - GitHub - NVIDIA/d..

프로메테우스 (Prometheus)란? - 음악 공유 플랫폼인 SoundCloud에서 개발한 시스템 모니터링 및 알람 툴이다. - 오픈소스로 전환되어, kubernetes 다음으로 CNCF에 합류 - metrics 단위로 데이터를 Pull - 수집된 정보들은 시계열 데이터베이스에 저장됨 - PromQL 쿼리 언어를 사용 -https://prometheus.io/ Prometheus - Monitoring system & time series database An open-source monitoring system with a dimensional data model, flexible query language, efficient time series database and modern alerting ..

로드밸런서란? (Load Balancer) 로드밸런서란 서버에 가해지는 부하를 분산해주는 장치이다. 왜 로드밸런서가 필요할까? 서버를 운영하고 있을 때, 서버가 감당하지 못할 트래픽이 오게 되면 해결책은 두 가지가 있다. 서버 스펙을 늘리거나 (scale-up), 서버의 개수를 늘리는(scale-out) 방식으로 문제를 해결하게 되는데, 보통 비용이 더 싸고 안정성 때문에 scale out 방식으로 문제를 해결한다. (서버가 죽더라도 다른 서버가 대체할 수 있는 장점) 서버의 대수를 늘린다고 해서 문제가 단순히 해결되는 것이 아닌, 적당한 서버에 트래픽을 분산시켜줘야 하는데 이 역할을 하는 것이 바로 로드 밸런서이다. (On promise 환경에서는 이것을 L4/L7 스위치라고 칭한다) AWS에서의 로드..

tar로 압축 하기 tar -cvf [압축파일명].tar [압축할 파일 혹은 폴더 경로] ex) tar -cvf data001.tar data001/ tar로 압축 풀기 tar -xvf [압축파일명].tar tar -xvf data001.tar tar.gz로 압축 하기 tar -zcvf [압축파일명].tar.gz [압축할 파일 혹은 폴더 경로] ex) tar -zcvf data001.tar.gz data001/ tar.gz로 압축 풀기 tar -zxvf [압축파일명].tar.gz tar -zxvf data001.tar.gz tar과 tar.gz의 차이점 tar : 파일만 하나로 묶어, 용량이 줄어들지 않음 tar.gz : tar 파일 자체를 압축해서, 용량이 줄어듦