컴맹에서 개발자 되기

개요 kubeflow 기반의 MLOps 환경을 구축하고, 운영하던 도중 더 이상 Node가 생기지 않는 이슈가 발생했다. 원인 https://docs.aws.amazon.com/ko_kr/servicequotas/latest/userguide/intro.html Service Quotas 할당량이란 무엇입니까? - Service Quotas 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com 원인은 AWS Service Quatas에서 Vcpu의 limit이 2000으로 할당되어 있기 때문이었다. (AWS에서 Service Quatas는 각 서비스의 할당량을 ..

개요 CloudWatch는 EC2의 메모리 사용량, 디스크 사용량을 자동으로 수집하지 못한다. 별도의 Agent를 통해 이러한 지표를 수집해야 한다. CloudWatch Agent 세팅 https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/install-CloudWatch-Agent-commandline-fleet.html 서버에 CloudWatch 에이전트 설치 및 실행 - Amazon CloudWatch 서버에 CloudWatch 에이전트 설치 및 실행 원하는 에이전트 구성 파일을 생성하고 IAM 역할 또는 IAM 사용자를 생성했으면 다음 단계에 따라 해당 구성을 사용하여 서버에 에이전트를 설치하고 실행 docs.aws.amazon..

개요 이번에 AWS Game day에 참가하면서, AWS Security Hub를 조금 공부해봤다. 하지만 아직 한국 블로그에는 관련된 내용이 없어서 이번에 간략하게 적어보고자 한다. AWS Security Hub 란? AWS Security Hub는 보안 모범 사례를 확인하고, 경고를 집계하고, 자동화된 수정을 활성화하는 클라우드 보안 태세 관리 서비스입니다. - 출처 : AWS 보안 현황을 진단하고 개선 가이드와 표준 정책을 제공해주는 AWS 서비스이다. 보안 현황을 진단할 때 보안 표준(Security standards)을 바탕으로 진단하는데, 현재 Security Hub에서 제공하는 보안 표준은 4가지가 있다. 많은 보안 표준 항목을 선택할수록 검사 항목 ↑, 비용 ↑ 아래와 같이 분석 결과를 보..

VPC Flow Log란 VPC의 네트워크 인터페이스에서 전송되고 수신되는 IP 트래픽에 대한 정보를 수집할 수 있는 기능이다. Flow Log에 수집 경로는 크게 3가지가 있다. 수집 경로 1. VPC 수집 원하는 VPC를 선택 => Flow logs => Create Flow log 2. Subnet 수집 원하는 Subnet을 선택 => Flow logs => Create Flow log 3. ENI 수집 원하는 ENI를 선택 => Flow logs => Create Flow log 4. Create Flow log 4.1 S3 => Athena로 분석할 것이라면 Destinations을 S3 bucket으로 설정 4.2 CloudWatch => CloudWatch Insight로 분석을 할 것이라면..

개요 기본적으로 도커 실행 권한은 root에게만 있다. root 권한이 없는 계정은 docker 그룹에 추가해줘야 도커를 사용할 수 있다. 방법 1 명령어로 권한 추가 (usermod) sudo usermod -aG docker 방법 2 Group 파일을 수정 sudo vim /etc/group # docker를 찾은 후 username을 추가한다 # test1,tes2 계정에 docker 권한 부여 # ex) docker:x:997:test1, test2

개요 오랜만에 집에서 직접 key를 생성하고, EC2에 SSH로 접속했더니 Permission Error가 발생하였다. @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Permissions 0755 for 'key-an2-ec2-junyeong-home.pem' are too open. It is required that your private key files are NOT accessible by others. This private key will be ign..

개요 ALB(Application Load Balancer)는 고정 IP를 제공하지 않는데, NLB를 사용하여 고정 IP를 사용하는 법을 알아보자. (NLB(Network Load Balancer)는 고정 IP를 제공한다.) NLB와 ALB 차이점을 보고 싶다면 아래 글을 참고하자. [AWS] 로드밸런서란? (ALB vs NLB vs CLB) [AWS] 로드밸런서란? (ALB vs NLB vs CLB) 로드밸런서란? (Load Balancer) 로드밸런서란 서버에 가해지는 부하를 분산해주는 장치이다. 왜 로드밸런서가 필요할까? 서버를 운영하고 있을 때, 서버가 감당하지 못할 트래픽이 오게 되면 해결책 skd03052.tistory.com 구성 방법 우리는 위와 같은 그림으로 현재 아키텍처가 구성되어 있다..

개요 NLB(Network Load Balancer)에는 고정 IP가 부여된다. 이를 확인하기 위해서 Console에서 NLB를 확인하여도 IP가 보이지 않는다. 그래서 IP를 확인하는 법을 정리해보려고 한다. 1. AWS Console 첫 번째로 AWS 콘솔에서 확인하는 방법이다. ENI를 통해 확인하면 된다. AWS EC2 -> Network & Security -> Network Interfaces ( AWS EC2 > 네트워크 및 보안 > 네트워크 인터페이스) 확인하고 싶은 NLB의 Name을 검색하면 IP를 확인할 수 있다. NLB는 Az당 고정 private IP가 부여되기 때문에 2개가 조회된다. 2. NS lookup AWS EC2 -> Load Balancing -> Load Balanc..

개요 Grafana 대시보드를 20-30개 정도 커스텀해서 사용하다 보니, 대시보드 백업이 필요했다. 대시보드의 Export 기능을 사용해 수동으로 백업해도 되지만, HTTP API를 이용해 백업을 자동화하였다. HTTP API를 통해 JSON 파일로 백업한 후, 수동으로 git에 푸시하는 구조로 개발하였다. HTTP API https://grafana.com/docs/grafana/latest/developers/http_api/ Api Key를 클릭한다. 2. Add API key를 클릭한다. 3. 아래를 참고하여 정보를 추가해주자. Key Name : 원하는 Key의 이름 Role : 우리는 백업 용도로 사용하니깐, Viewer를 선택해주면 된다. Time to live : 만료일자. 4. 생성이 ..

개요 tracerout는 출발지부터 통신하거나 목적지까지의 네트워크 경로를 확인할 때 사용하는 네트워크 명령어이다. ping은 목적지 단말의 동작 여부만 확인한다면, tracerout은 중간 경로의 정보를 더 상세히 얻을 수 있는 특징이 있다. 중간 경로의 정보를 알게 되면, 목적지까지의 통신의 문제가 생길 때 어느 구간에서 문제가 발생하는지 파악할 수 있다. traceroute는 운영체제에 따라 사용하는 프로토콜이 다름 1. 리눅스/유닉스 계열에서는 UDP 2. 윈도우는 ICMP 설치 현재 우분투 버전에는(Ubuntu 20.04 LTS) traceroute 패키지가 기본 설치되어 있지 않으므로, 설치가 필요함 apt-get install traceroute 명령어 traceroute [옵션] 목적지 I..