컴맹에서 개발자 되기

개요kubeflow를 install 하는 과정을 적으려고 한다.https://awslabs.github.io/kubeflow-manifests/docs/  DocumentationKubeflow on AWS documentationawslabs.github.io위 문서에 적혀있긴 하지만 약간의 트러블 슈팅이 필요했고 트러블 슈팅 완료한 설치 과정을 작성한다.Cloud9 세팅cloud9이란?AWS Cloud9를 사용하면 브라우저만을 이용하여 코드를 작성, 실행 및 디버깅할 수 있습니다. AWS Cloud9를 사용하면 코드 편집기, 통합 디버거 및 사전 구성된 AWS CLI가 포함된 기본 제공 터미널에 즉시 액세스할 수 있습니다. 몇 분 만에 시작할 수 있으며 더 이상 로컬 애플리케이션을 설치하거나 개발 기..

Kubeflow란 - Kubeflow = Kubernetes + ML flow- 쿠버네티스 위에서 머신러닝 관련한 오픈 소스를 관리하는 플랫폼- Google, Arrikto, Cisco, MS 등이 오픈 소스 개발에 참여 - ML 오픈소스 생태계에 영역별 최적 오픈소스 조합  - kubernetes 기반 운영 안정성, 유연성 제공- 즉, ML 관련 오픈소스들을 모아놓은 플랫폼이라고 할 수 있다. Kubeflow components- Kubernetes 기반으로 모델 개발, 학습, 튜닝, 서빙, 등 ML Workflow 단계별 유용한 툴과 파이프 라인 기능 제공 Kubeflow UI - Kubeflow UI를 분석하면서 기능을 파악해보자Notebooks- JupyterLab, RStudio, Visual ..

개요 kubeflow 기반의 MLOps 환경을 구축하고, 운영하던 도중 더 이상 Node가 생기지 않는 이슈가 발생했다. 원인 https://docs.aws.amazon.com/ko_kr/servicequotas/latest/userguide/intro.html Service Quotas 할당량이란 무엇입니까? - Service Quotas 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com 원인은 AWS Service Quatas에서 Vcpu의 limit이 2000으로 할당되어 있기 때문이었다. (AWS에서 Service Quatas는 각 서비스의 할당량을 ..

개요단일 노드에 태블로를 설치하려고 했던 과정을 적어보려 한다.환경단일 노드 (클러스터 X)Linux 환경 (AWS)루트 디렉토리가 아닌 다른 경로에 설치하고자 함 설치 방법1. 아래 사이트에서 버전에 맞는 RPM 파일을 다운로드한다. (wget 명령어 사용)https://www.tableau.com/ko-kr/support/releases/server Tableau Server제품 다운로드 및 릴리스 정보 Tableau Serverwww.tableau.com2. Root 디렉토리에 설치할 것이라면, yum or apt get을 사용해 설치하면 되지만 특정 경로에 설치하기 위해선 rpm을 실행시켜야 한다.# sudo rpm -i --prefix 설치파일sudo rpm -i --prefix /prefer..

개요태블로를 설치하던 중 TSM 로그인이 되지 않았다(TSM 웹 인터페이스 사용). 가이드 문서에 따르면 Linux 계정이 tsmadmin으로 되어있으면 된다고 했는데... 아무리 해도 안 됐다.https://help.tableau.com/current/server-linux/ko-kr/sign_in_tsm.htm  Tableau 서비스 관리자 웹 UI에 로그인이 항목에서는 TSM(Tableau 서비스 관리자) 웹 UI에 로그인하는 방법에 대해 설명합니다help.tableau.com해결 방법로그인하려는 사용자의 암호가 없기 때문에 로그인이 되지 않는 현상이었다.(참고 링크 : https://www.edureka.co/community/166998/unable-login-tableau-services-ma..

개요 CloudWatch는 EC2의 메모리 사용량, 디스크 사용량을 자동으로 수집하지 못한다. 별도의 Agent를 통해 이러한 지표를 수집해야 한다. CloudWatch Agent 세팅 https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/install-CloudWatch-Agent-commandline-fleet.html 서버에 CloudWatch 에이전트 설치 및 실행 - Amazon CloudWatch 서버에 CloudWatch 에이전트 설치 및 실행 원하는 에이전트 구성 파일을 생성하고 IAM 역할 또는 IAM 사용자를 생성했으면 다음 단계에 따라 해당 구성을 사용하여 서버에 에이전트를 설치하고 실행 docs.aws.amazon..

개요 개인적으로 공부하고 있는 빅데이터 용어를 정리하려고 한다. 개념 정리 데이터 레이크 : 데이터 레이크는 구조화되거나 반구조화되거나 구조화되지 않은 대량의 데이터를 저장, 처리, 보호하기 위한 중앙 집중식 저장소입니다. 데이터 레이크는 데이터를 기본 형식으로 저장할 수 있으며, 크기 제한을 무시하고 다양한 데이터를 처리할 수 있습니다. 출처 - 구글 클라우드 데이터 웨어하우스: 데이터 웨어하우스(data warehouse)란 사용자의 의사 결정에 도움을 주기 위하여 기간시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스를 말한다. 줄여서 DW로도 불린다. 출처 - 위키백과 데이터 마트 : 데이터 마트는 (Data Mart, DM)는 데이터 웨어하우스(Data Ware..

개요 이번에 AWS Game day에 참가하면서, AWS Security Hub를 조금 공부해봤다. 하지만 아직 한국 블로그에는 관련된 내용이 없어서 이번에 간략하게 적어보고자 한다. AWS Security Hub 란? AWS Security Hub는 보안 모범 사례를 확인하고, 경고를 집계하고, 자동화된 수정을 활성화하는 클라우드 보안 태세 관리 서비스입니다. - 출처 : AWS 보안 현황을 진단하고 개선 가이드와 표준 정책을 제공해주는 AWS 서비스이다. 보안 현황을 진단할 때 보안 표준(Security standards)을 바탕으로 진단하는데, 현재 Security Hub에서 제공하는 보안 표준은 4가지가 있다. 많은 보안 표준 항목을 선택할수록 검사 항목 ↑, 비용 ↑ 아래와 같이 분석 결과를 보..

VPC Flow Log란 VPC의 네트워크 인터페이스에서 전송되고 수신되는 IP 트래픽에 대한 정보를 수집할 수 있는 기능이다. Flow Log에 수집 경로는 크게 3가지가 있다. 수집 경로 1. VPC 수집 원하는 VPC를 선택 => Flow logs => Create Flow log 2. Subnet 수집 원하는 Subnet을 선택 => Flow logs => Create Flow log 3. ENI 수집 원하는 ENI를 선택 => Flow logs => Create Flow log 4. Create Flow log 4.1 S3 => Athena로 분석할 것이라면 Destinations을 S3 bucket으로 설정 4.2 CloudWatch => CloudWatch Insight로 분석을 할 것이라면..

개요 기본적으로 도커 실행 권한은 root에게만 있다. root 권한이 없는 계정은 docker 그룹에 추가해줘야 도커를 사용할 수 있다. 방법 1 명령어로 권한 추가 (usermod) sudo usermod -aG docker 방법 2 Group 파일을 수정 sudo vim /etc/group # docker를 찾은 후 username을 추가한다 # test1,tes2 계정에 docker 권한 부여 # ex) docker:x:997:test1, test2