컴맹에서 개발자 되기

개요KCSA와 마찬가지로 Kubestronaut에 도전하기 위해 KCNA 자격증을 취득했다. KCNA (Kubernetes and Cloud Native Associate)는 쿠버네티스 기본 지식과 쿠버네티스 업무를 해본 적 있는 사람이라면, KCSA와 다르게 쉽게 취득할 수 있는 자격증이다. 시험 준비 과정1.★ Kubernetes 공식 사이트 공부 ★나는 쿠버네티스 환경을 구축해보고, 운영해본 경험이 있기 때문에 공식 문서만 읽으면 된다고 생각해서 공식 문서 위주로 공부했다. 업무하면서 잊고 있었던 개념을 다시 한 번 읽어봤다. - kubelet,  Scheduler, etcd 와 같은 쿠버네티스의 컴포넌트 구성 요소- init container  - 컨테이너 런타임 종류 (containerd, CR..

개요Kubestronaut에 도전하기 위해 KCSA 자격증을 취득했다. KCSA(Kubernetes and Cloud Native Security Associate)는 자격증 이름에 Security가 들어간 만큼 쿠버네티스 보안을 다루는 시험임으로, 쉽지 않은 시험이다. 쉽지 않은 시험이지만, 후기를 보고 다른 분들이 좀 더 쉽게 자격증을 취득했으면 하는 바람에 글을 작성한다.시험 준비 과정CKA, CKAD, CKS는 사내 유능하신 분들이 강의도 해주고, 덤프도 제작해 줘서 비교적 쉽게 딸 수 있었다. 하지만 사내에 Kubestronaut에 도전하는 사람이 거의 없었기 때문에 아무런 정보 없이 자격증 시험에 도전해야 했다.1. DUMP (덤프) 아무런 정보 없이 시험비 30만 원을 지를 수 없었기 때문에..

개요회사에서 진행한 스노플레이크 Snowflake Fundamentals 오프라인 강의를 듣고 자격증을 취득했다. 요즘 여러 기업들이 스노우플레이크나 데이터브릭스 같은 데이터 클라우드 플랫폼 도입을 준비하는 것을 현장에서 느끼고 있다. 내가 참여 중인 프로젝트에서도 데이터브릭스 도입을 준비 중이다. 아직 한국에는 데이터 클라우드 전문가가 많지 않은 것 같아 대비 차원에서 자격증을 취득했고, 관련 경험을 공유하고자 한다.자격증 종류스노우 플레이크에는 여러 자격증 종류가 존재한다. 먼저 내가 취득한 SnowPro Core는 가장 기초적인 자격증이다. AWS 자격증으로 치면 Associate 수준의 자격증이라고 생각하면 된다.SnowPro Core 이후에는 SnowPro Advanced 자격증이 있다. 스노플..

개요kubeflow를 install 하는 과정을 적으려고 한다.https://awslabs.github.io/kubeflow-manifests/docs/  DocumentationKubeflow on AWS documentationawslabs.github.io위 문서에 적혀있긴 하지만 약간의 트러블 슈팅이 필요했고 트러블 슈팅 완료한 설치 과정을 작성한다.Cloud9 세팅cloud9이란?AWS Cloud9를 사용하면 브라우저만을 이용하여 코드를 작성, 실행 및 디버깅할 수 있습니다. AWS Cloud9를 사용하면 코드 편집기, 통합 디버거 및 사전 구성된 AWS CLI가 포함된 기본 제공 터미널에 즉시 액세스할 수 있습니다. 몇 분 만에 시작할 수 있으며 더 이상 로컬 애플리케이션을 설치하거나 개발 기..

Kubeflow란 - Kubeflow = Kubernetes + ML flow- 쿠버네티스 위에서 머신러닝 관련한 오픈 소스를 관리하는 플랫폼- Google, Arrikto, Cisco, MS 등이 오픈 소스 개발에 참여 - ML 오픈소스 생태계에 영역별 최적 오픈소스 조합  - kubernetes 기반 운영 안정성, 유연성 제공- 즉, ML 관련 오픈소스들을 모아놓은 플랫폼이라고 할 수 있다. Kubeflow components- Kubernetes 기반으로 모델 개발, 학습, 튜닝, 서빙, 등 ML Workflow 단계별 유용한 툴과 파이프 라인 기능 제공 Kubeflow UI - Kubeflow UI를 분석하면서 기능을 파악해보자Notebooks- JupyterLab, RStudio, Visual ..

개요 kubeflow 기반의 MLOps 환경을 구축하고, 운영하던 도중 더 이상 Node가 생기지 않는 이슈가 발생했다. 원인 https://docs.aws.amazon.com/ko_kr/servicequotas/latest/userguide/intro.html Service Quotas 할당량이란 무엇입니까? - Service Quotas 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com 원인은 AWS Service Quatas에서 Vcpu의 limit이 2000으로 할당되어 있기 때문이었다. (AWS에서 Service Quatas는 각 서비스의 할당량을 ..

개요단일 노드에 태블로를 설치하려고 했던 과정을 적어보려 한다.환경단일 노드 (클러스터 X)Linux 환경 (AWS)루트 디렉토리가 아닌 다른 경로에 설치하고자 함 설치 방법1. 아래 사이트에서 버전에 맞는 RPM 파일을 다운로드한다. (wget 명령어 사용)https://www.tableau.com/ko-kr/support/releases/server Tableau Server제품 다운로드 및 릴리스 정보 Tableau Serverwww.tableau.com2. Root 디렉토리에 설치할 것이라면, yum or apt get을 사용해 설치하면 되지만 특정 경로에 설치하기 위해선 rpm을 실행시켜야 한다.# sudo rpm -i --prefix 설치파일sudo rpm -i --prefix /prefer..

개요태블로를 설치하던 중 TSM 로그인이 되지 않았다(TSM 웹 인터페이스 사용). 가이드 문서에 따르면 Linux 계정이 tsmadmin으로 되어있으면 된다고 했는데... 아무리 해도 안 됐다.https://help.tableau.com/current/server-linux/ko-kr/sign_in_tsm.htm  Tableau 서비스 관리자 웹 UI에 로그인이 항목에서는 TSM(Tableau 서비스 관리자) 웹 UI에 로그인하는 방법에 대해 설명합니다help.tableau.com해결 방법로그인하려는 사용자의 암호가 없기 때문에 로그인이 되지 않는 현상이었다.(참고 링크 : https://www.edureka.co/community/166998/unable-login-tableau-services-ma..

개요 CloudWatch는 EC2의 메모리 사용량, 디스크 사용량을 자동으로 수집하지 못한다. 별도의 Agent를 통해 이러한 지표를 수집해야 한다. CloudWatch Agent 세팅 https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/install-CloudWatch-Agent-commandline-fleet.html 서버에 CloudWatch 에이전트 설치 및 실행 - Amazon CloudWatch 서버에 CloudWatch 에이전트 설치 및 실행 원하는 에이전트 구성 파일을 생성하고 IAM 역할 또는 IAM 사용자를 생성했으면 다음 단계에 따라 해당 구성을 사용하여 서버에 에이전트를 설치하고 실행 docs.aws.amazon..

개요 개인적으로 공부하고 있는 빅데이터 용어를 정리하려고 한다. 개념 정리 데이터 레이크 : 데이터 레이크는 구조화되거나 반구조화되거나 구조화되지 않은 대량의 데이터를 저장, 처리, 보호하기 위한 중앙 집중식 저장소입니다. 데이터 레이크는 데이터를 기본 형식으로 저장할 수 있으며, 크기 제한을 무시하고 다양한 데이터를 처리할 수 있습니다. 출처 - 구글 클라우드 데이터 웨어하우스: 데이터 웨어하우스(data warehouse)란 사용자의 의사 결정에 도움을 주기 위하여 기간시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스를 말한다. 줄여서 DW로도 불린다. 출처 - 위키백과 데이터 마트 : 데이터 마트는 (Data Mart, DM)는 데이터 웨어하우스(Data Ware..