컴맹에서 개발자 되기

개요 NLB(Network Load Balancer)에는 고정 IP가 부여된다. 이를 확인하기 위해서 Console에서 NLB를 확인하여도 IP가 보이지 않는다. 그래서 IP를 확인하는 법을 정리해보려고 한다. 1. AWS Console 첫 번째로 AWS 콘솔에서 확인하는 방법이다. ENI를 통해 확인하면 된다. AWS EC2 -> Network & Security -> Network Interfaces ( AWS EC2 > 네트워크 및 보안 > 네트워크 인터페이스) 확인하고 싶은 NLB의 Name을 검색하면 IP를 확인할 수 있다. NLB는 Az당 고정 private IP가 부여되기 때문에 2개가 조회된다. 2. NS lookup AWS EC2 -> Load Balancing -> Load Balanc..

개요 Grafana 대시보드를 20-30개 정도 커스텀해서 사용하다 보니, 대시보드 백업이 필요했다. 대시보드의 Export 기능을 사용해 수동으로 백업해도 되지만, HTTP API를 이용해 백업을 자동화하였다. HTTP API를 통해 JSON 파일로 백업한 후, 수동으로 git에 푸시하는 구조로 개발하였다. HTTP API https://grafana.com/docs/grafana/latest/developers/http_api/ Api Key를 클릭한다. 2. Add API key를 클릭한다. 3. 아래를 참고하여 정보를 추가해주자. Key Name : 원하는 Key의 이름 Role : 우리는 백업 용도로 사용하니깐, Viewer를 선택해주면 된다. Time to live : 만료일자. 4. 생성이 ..

개요 tracerout는 출발지부터 통신하거나 목적지까지의 네트워크 경로를 확인할 때 사용하는 네트워크 명령어이다. ping은 목적지 단말의 동작 여부만 확인한다면, tracerout은 중간 경로의 정보를 더 상세히 얻을 수 있는 특징이 있다. 중간 경로의 정보를 알게 되면, 목적지까지의 통신의 문제가 생길 때 어느 구간에서 문제가 발생하는지 파악할 수 있다. traceroute는 운영체제에 따라 사용하는 프로토콜이 다름 1. 리눅스/유닉스 계열에서는 UDP 2. 윈도우는 ICMP 설치 현재 우분투 버전에는(Ubuntu 20.04 LTS) traceroute 패키지가 기본 설치되어 있지 않으므로, 설치가 필요함 apt-get install traceroute 명령어 traceroute [옵션] 목적지 I..

개요 S3 Intelligent-Tiering에 대해 알아보고, 기존 S3 클래스에 대해서도 알아보자. S3 스토리지 클래스 • Amazon S3 는 다양한 사용 사례에 맞게 설계된 다양한 스토리지 클래스를 제공하고 있음. • S3 클래스는 크게 6가지로 나뉘며, 라이프 사이클을 통해 애플리케이션 변경 없이 데이터를 다른 스토리지 클래스로 자동 전송하는 기능을 제공함 • S3 Intelligent-Tiering을 알기 전에 다른 S3 클래스를 먼저 복습해보자. • S3 Standard 자주 액세스하는 데이터를 저장하기 위해 적합한 클래스 (한달에 한 번 이상 접근 / 밀리초 단위로 엑세스) • S3 Standard-IA 자주 액세스하지 않지만 필요할 때 빠르게 액세스해야 하는 데이터를 저장하기 위해 적합..

개요 사용 중인 컨테이너 혹은 이미지를 아카이빙 할 수 있는 Export / Save 차이점을 알아보자 Export & Import 먼저 Export 명령어 먼저 살펴보자. Docker --help 명령어를 통해 Export가 무엇인지 쉽게 알 수 있다. $ docker export --help Usage:docker export [OPTIONS] CONTAINER Export a container's filesystem as a tar archive Options: -o, --output string Write to a file, instead of STDOUT Export란 Container를 Tar 파일 시스템으로 Archive 하는 것이다. 즉 "컨테이너를 파일로 추출한다"라고 이해하면 편할 것 ..

개요 Grafana 대시보드 구성을 위해 Node의 lable이 필요한 상황이라 kube_node_label 메트릭(metrics)을 조회해봤다. 하지만, kube_node_label 메트릭에서는 label에 대한 정보가 표시되지 않고 있었다. 이를 해결했던 경험을 작성하려고 한다. + (kube_pod_label에서도 표시되지 않는 현상도 수정하였다.) 환경 kube-prometheus-stack v 32.2.1 kube-state-metric v2.3.0 원인 kube-state-metrics이 kube_node_label과 kube_pod_label 메트릭을 수집하고 있는데, v2.0.0부터는 label을 따로 표기하지 않게 설정이 되었다고 한다. (많은 label로 인해 에러를 방지하기 위함이라고..

개요 RDS 데이터 백업을 위해 S3로 데이터를 정기적으로 이관해야 될 상황이 생겼다. NIFI나 Airflow를 사용하면 관리가 용이하지만, 여러 JOB을 돌리지 않을 것이기 때문에 단순 Python 스크립트로 개발하고자 하였다. 코드 pandas란 라이브러리를 사용했고, 코드는 csv로 export는 하는 코드는 아래와 같다. import pandas as pd #원하는 쿼리를 작성 query = "select * from table" #DB접속 정보를 입력한다. rds는 host에 Endpoint를 적으면 된다. conn = pymysql.connect(host='db-endpoint', user='user-name', password='passwd', db='db-name', charset='ut..

개요 ll 명령어를 등록하는 방법을 알아보자. 1. .bash_profile 을 수정한다. vi ~/.bash_profile 2. alias로 ll을 등록해준다. alias ll="ls -al" 3. sourcs 명령어를 통해 프로파일을 적용한다. source ~/.bash_profile

개요 일정 주기로 로그 파일이나 특정 폴더를 삭제하고 싶으면 아래 명령어를 적용하면 된다. 파일 find -mtime -exec rm -rf {} \; 폴더 -type d 옵션을 추가하면 된다. find -mtime -type d -exec rm -rf {} \; 예시 파일 30일이 경과한 로그 파일 삭제 #!/bin/bash find /home/*.log -mtime +30 -exec rm -rf {} \; # 30일 경과 find /home/*.log -mtime +20 -exec rm -rf {} \; # 20일 경과 폴더 30일이 경과한 폴더 삭제 #!/bin/bash find /var/lib/jenkins/jobs/*/builds/{*,.[!.]*} -type d -mtime +30 -exec ..

개요 GPU 모니터링을 위해 NVIDIA에서 제공하는 DCGM-Exporter를 설치한 후, 프로메테우스에서 Metrics을 조회해보니 조회되지 않는 현상이 발생하였다. (dcgm-exporter POD에 접속하여, curl 날려본 결과 정상적으로 메트릭을 보내는 것을 알 수 있다.) 원인은 prometheus 설정 부분으로 추측하였다. https://github.com/NVIDIA/dcgm-exporter GitHub - NVIDIA/dcgm-exporter: NVIDIA GPU metrics exporter for Prometheus leveraging DCGM NVIDIA GPU metrics exporter for Prometheus leveraging DCGM - GitHub - NVIDIA/d..