컴맹에서 개발자 되기

개요 kubeflow 기반의 MLOps 환경을 구축하고, 운영하던 도중 더 이상 Node가 생기지 않는 이슈가 발생했다. 원인 https://docs.aws.amazon.com/ko_kr/servicequotas/latest/userguide/intro.html Service Quotas 할당량이란 무엇입니까? - Service Quotas 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com 원인은 AWS Service Quatas에서 Vcpu의 limit이 2000으로 할당되어 있기 때문이었다. (AWS에서 Service Quatas는 각 서비스의 할당량을 ..

개요 CloudWatch는 EC2의 메모리 사용량, 디스크 사용량을 자동으로 수집하지 못한다. 별도의 Agent를 통해 이러한 지표를 수집해야 한다. CloudWatch Agent 세팅 https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/install-CloudWatch-Agent-commandline-fleet.html 서버에 CloudWatch 에이전트 설치 및 실행 - Amazon CloudWatch 서버에 CloudWatch 에이전트 설치 및 실행 원하는 에이전트 구성 파일을 생성하고 IAM 역할 또는 IAM 사용자를 생성했으면 다음 단계에 따라 해당 구성을 사용하여 서버에 에이전트를 설치하고 실행 docs.aws.amazon..

개요 이번에 AWS Game day에 참가하면서, AWS Security Hub를 조금 공부해봤다. 하지만 아직 한국 블로그에는 관련된 내용이 없어서 이번에 간략하게 적어보고자 한다. AWS Security Hub 란? AWS Security Hub는 보안 모범 사례를 확인하고, 경고를 집계하고, 자동화된 수정을 활성화하는 클라우드 보안 태세 관리 서비스입니다. - 출처 : AWS 보안 현황을 진단하고 개선 가이드와 표준 정책을 제공해주는 AWS 서비스이다. 보안 현황을 진단할 때 보안 표준(Security standards)을 바탕으로 진단하는데, 현재 Security Hub에서 제공하는 보안 표준은 4가지가 있다. 많은 보안 표준 항목을 선택할수록 검사 항목 ↑, 비용 ↑ 아래와 같이 분석 결과를 보..

VPC Flow Log란 VPC의 네트워크 인터페이스에서 전송되고 수신되는 IP 트래픽에 대한 정보를 수집할 수 있는 기능이다. Flow Log에 수집 경로는 크게 3가지가 있다. 수집 경로 1. VPC 수집 원하는 VPC를 선택 => Flow logs => Create Flow log 2. Subnet 수집 원하는 Subnet을 선택 => Flow logs => Create Flow log 3. ENI 수집 원하는 ENI를 선택 => Flow logs => Create Flow log 4. Create Flow log 4.1 S3 => Athena로 분석할 것이라면 Destinations을 S3 bucket으로 설정 4.2 CloudWatch => CloudWatch Insight로 분석을 할 것이라면..

개요 오랜만에 집에서 직접 key를 생성하고, EC2에 SSH로 접속했더니 Permission Error가 발생하였다. @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Permissions 0755 for 'key-an2-ec2-junyeong-home.pem' are too open. It is required that your private key files are NOT accessible by others. This private key will be ign..

개요 ALB(Application Load Balancer)는 고정 IP를 제공하지 않는데, NLB를 사용하여 고정 IP를 사용하는 법을 알아보자. (NLB(Network Load Balancer)는 고정 IP를 제공한다.) NLB와 ALB 차이점을 보고 싶다면 아래 글을 참고하자. [AWS] 로드밸런서란? (ALB vs NLB vs CLB) [AWS] 로드밸런서란? (ALB vs NLB vs CLB) 로드밸런서란? (Load Balancer) 로드밸런서란 서버에 가해지는 부하를 분산해주는 장치이다. 왜 로드밸런서가 필요할까? 서버를 운영하고 있을 때, 서버가 감당하지 못할 트래픽이 오게 되면 해결책 skd03052.tistory.com 구성 방법 우리는 위와 같은 그림으로 현재 아키텍처가 구성되어 있다..

개요 NLB(Network Load Balancer)에는 고정 IP가 부여된다. 이를 확인하기 위해서 Console에서 NLB를 확인하여도 IP가 보이지 않는다. 그래서 IP를 확인하는 법을 정리해보려고 한다. 1. AWS Console 첫 번째로 AWS 콘솔에서 확인하는 방법이다. ENI를 통해 확인하면 된다. AWS EC2 -> Network & Security -> Network Interfaces ( AWS EC2 > 네트워크 및 보안 > 네트워크 인터페이스) 확인하고 싶은 NLB의 Name을 검색하면 IP를 확인할 수 있다. NLB는 Az당 고정 private IP가 부여되기 때문에 2개가 조회된다. 2. NS lookup AWS EC2 -> Load Balancing -> Load Balanc..

개요 S3 Intelligent-Tiering에 대해 알아보고, 기존 S3 클래스에 대해서도 알아보자. S3 스토리지 클래스 • Amazon S3 는 다양한 사용 사례에 맞게 설계된 다양한 스토리지 클래스를 제공하고 있음. • S3 클래스는 크게 6가지로 나뉘며, 라이프 사이클을 통해 애플리케이션 변경 없이 데이터를 다른 스토리지 클래스로 자동 전송하는 기능을 제공함 • S3 Intelligent-Tiering을 알기 전에 다른 S3 클래스를 먼저 복습해보자. • S3 Standard 자주 액세스하는 데이터를 저장하기 위해 적합한 클래스 (한달에 한 번 이상 접근 / 밀리초 단위로 엑세스) • S3 Standard-IA 자주 액세스하지 않지만 필요할 때 빠르게 액세스해야 하는 데이터를 저장하기 위해 적합..

로드밸런서란? (Load Balancer) 로드밸런서란 서버에 가해지는 부하를 분산해주는 장치이다. 왜 로드밸런서가 필요할까? 서버를 운영하고 있을 때, 서버가 감당하지 못할 트래픽이 오게 되면 해결책은 두 가지가 있다. 서버 스펙을 늘리거나 (scale-up), 서버의 개수를 늘리는(scale-out) 방식으로 문제를 해결하게 되는데, 보통 비용이 더 싸고 안정성 때문에 scale out 방식으로 문제를 해결한다. (서버가 죽더라도 다른 서버가 대체할 수 있는 장점) 서버의 대수를 늘린다고 해서 문제가 단순히 해결되는 것이 아닌, 적당한 서버에 트래픽을 분산시켜줘야 하는데 이 역할을 하는 것이 바로 로드 밸런서이다. (On promise 환경에서는 이것을 L4/L7 스위치라고 칭한다) AWS에서의 로드..

스토리지 타입 AWS에서 제공하는 EFS를 알아보기 전에, 먼저 스토리지 타입에는 어떤 것이 있는지 알아보자. 스토리지 타입에는 크게 파일(File), 블록(Block), 오브젝트(Object) 형식으로 나눠진다. 각 특징을 알아보자 파일 오브젝트 블록 -일반적으로 흔히 알고 있는 스토리지 -계층 구조로 데이터를 저장함 -오브젝트 기반의 스토리지 -폴더 계층 구조 없이 평면 구조로 저장 -PDF, Video, Audio, Text, Website -블록 기반의 스토리지 -데이터를 고정된 크기의 블록시퀀스로 처리 -각각의 파일이나 오브젝트를 여러 블록에 분산시킴 클라우드 서비스를 사용해본 경험이 있다면 3가지의 차이점을 이해하기 쉬울 것이다. 출처 : RedHat 이러한 스토리지들은 당연하게도 AWS에서도..