반응형

분류 전체보기 113

[AWS] Boto3로 EC2장비의 Vcpu 로깅 (Python)

개요 kubeflow 기반의 MLOps 환경을 구축하고, 운영하던 도중 더 이상 Node가 생기지 않는 이슈가 발생했다. 원인 https://docs.aws.amazon.com/ko_kr/servicequotas/latest/userguide/intro.html Service Quotas 할당량이란 무엇입니까? - Service Quotas 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com 원인은 AWS Service Quatas에서 Vcpu의 limit이 2000으로 할당되어 있기 때문이었다. (AWS에서 Service Quatas는 각 서비스의 할당량을 ..

Ops/Cloud 2023.07.12

[Tableau] 태블로 다른 경로에 설치하기 (Linux)

개요 단일 노드에 태블로를 설치하려고 했던 과정을 적어보려 한다. 환경 단일 노드 (클러스터 X) Linux 환경 (AWS) 루트 디렉토리가 아닌 다른 경로에 설치하고자 함 설치 방법 1. 아래 사이트에서 버전에 맞는 RPM 파일을 다운로드한다. (wget 명령어 사용) https://www.tableau.com/ko-kr/support/releases/server Tableau Server 제품 다운로드 및 릴리스 정보 Tableau Server www.tableau.com 2. Root 디렉토리에 설치할 것이라면, yum or apt get을 사용해 설치하면 되지만 특정 경로에 설치하기 위해선 rpm을 실행시켜야 한다. # sudo rpm -i --prefix 설치파일 sudo rpm -i --pre..

Data/etc 2023.05.03

[Tableau] 태블로 TSM Login 실패시 해결 방법 (Tableau, TSM)

개요 태블로를 설치하던 중 TSM 로그인이 되지 않았다(TSM 웹 인터페이스 사용). 가이드 문서에 따르면 Linux 계정이 tsmadmin으로 되어있으면 된다고 했는데... 아무리 해도 안 됐다. https://help.tableau.com/current/server-linux/ko-kr/sign_in_tsm.htm Tableau 서비스 관리자 웹 UI에 로그인 이 항목에서는 TSM(Tableau 서비스 관리자) 웹 UI에 로그인하는 방법에 대해 설명합니다 help.tableau.com 해결 방법 로그인하려는 사용자의 암호가 없기 때문에 로그인이 되지 않는 현상이었다. (참고 링크 : https://www.edureka.co/community/166998/unable-login-tableau-servi..

Data/etc 2023.04.18

[AWS] CloudWatch Agent 설치 (Ubuntu)

개요 CloudWatch는 EC2의 메모리 사용량, 디스크 사용량을 자동으로 수집하지 못한다. 별도의 Agent를 통해 이러한 지표를 수집해야 한다. CloudWatch Agent 세팅 https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/install-CloudWatch-Agent-commandline-fleet.html 서버에 CloudWatch 에이전트 설치 및 실행 - Amazon CloudWatch 서버에 CloudWatch 에이전트 설치 및 실행 원하는 에이전트 구성 파일을 생성하고 IAM 역할 또는 IAM 사용자를 생성했으면 다음 단계에 따라 해당 구성을 사용하여 서버에 에이전트를 설치하고 실행 docs.aws.amazon..

Ops/Cloud 2023.01.16

[Data] 데이터 마트, 데이터 웨어하우스, 데이터 레이크 개념 정리

개요 개인적으로 공부하고 있는 빅데이터 용어를 정리하려고 한다. 개념 정리 데이터 레이크 : 데이터 레이크는 구조화되거나 반구조화되거나 구조화되지 않은 대량의 데이터를 저장, 처리, 보호하기 위한 중앙 집중식 저장소입니다. 데이터 레이크는 데이터를 기본 형식으로 저장할 수 있으며, 크기 제한을 무시하고 다양한 데이터를 처리할 수 있습니다. 출처 - 구글 클라우드 데이터 웨어하우스: 데이터 웨어하우스(data warehouse)란 사용자의 의사 결정에 도움을 주기 위하여 기간시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스를 말한다. 줄여서 DW로도 불린다. 출처 - 위키백과 데이터 마트 : 데이터 마트는 (Data Mart, DM)는 데이터 웨어하우스(Data Ware..

Data/용어정리 2022.12.26

[AWS] AWS Security Hub 란?

개요 이번에 AWS Game day에 참가하면서, AWS Security Hub를 조금 공부해봤다. 하지만 아직 한국 블로그에는 관련된 내용이 없어서 이번에 간략하게 적어보고자 한다. AWS Security Hub 란? AWS Security Hub는 보안 모범 사례를 확인하고, 경고를 집계하고, 자동화된 수정을 활성화하는 클라우드 보안 태세 관리 서비스입니다. - 출처 : AWS 보안 현황을 진단하고 개선 가이드와 표준 정책을 제공해주는 AWS 서비스이다. 보안 현황을 진단할 때 보안 표준(Security standards)을 바탕으로 진단하는데, 현재 Security Hub에서 제공하는 보안 표준은 4가지가 있다. 많은 보안 표준 항목을 선택할수록 검사 항목 ↑, 비용 ↑ 아래와 같이 분석 결과를 보..

Ops/Cloud 2022.12.14

[AWS] VPC Flow Logs 란 ?

VPC Flow Log란 VPC의 네트워크 인터페이스에서 전송되고 수신되는 IP 트래픽에 대한 정보를 수집할 수 있는 기능이다. Flow Log에 수집 경로는 크게 3가지가 있다. 수집 경로 1. VPC 수집 원하는 VPC를 선택 => Flow logs => Create Flow log 2. Subnet 수집 원하는 Subnet을 선택 => Flow logs => Create Flow log 3. ENI 수집 원하는 ENI를 선택 => Flow logs => Create Flow log 4. Create Flow log 4.1 S3 => Athena로 분석할 것이라면 Destinations을 S3 bucket으로 설정 4.2 CloudWatch => CloudWatch Insight로 분석을 할 것이라면..

Ops/Cloud 2022.11.21

[AWS] EC2 SSH key 접속 Permission Error 발생

개요 오랜만에 집에서 직접 key를 생성하고, EC2에 SSH로 접속했더니 Permission Error가 발생하였다. @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Permissions 0755 for 'key-an2-ec2-junyeong-home.pem' are too open. It is required that your private key files are NOT accessible by others. This private key will be ign..

Ops/Cloud 2022.11.16

[AWS] ALB에 고정 IP (Static IP) 주소 설정하는 방법

개요 ALB(Application Load Balancer)는 고정 IP를 제공하지 않는데, NLB를 사용하여 고정 IP를 사용하는 법을 알아보자. (NLB(Network Load Balancer)는 고정 IP를 제공한다.) NLB와 ALB 차이점을 보고 싶다면 아래 글을 참고하자. [AWS] 로드밸런서란? (ALB vs NLB vs CLB) [AWS] 로드밸런서란? (ALB vs NLB vs CLB) 로드밸런서란? (Load Balancer) 로드밸런서란 서버에 가해지는 부하를 분산해주는 장치이다. 왜 로드밸런서가 필요할까? 서버를 운영하고 있을 때, 서버가 감당하지 못할 트래픽이 오게 되면 해결책 skd03052.tistory.com 구성 방법 우리는 위와 같은 그림으로 현재 아키텍처가 구성되어 있다..

Ops/Cloud 2022.11.15
반응형