컴맹에서 개발자 되기

[Kubernetes] KCNA 자격증 취득 후기 - Kubernetes 세계의 첫 발

장그래 — Thu, 14 Nov 2024 22:53:58 +0900

개요

KCSA와 마찬가지로 Kubestronaut에 도전하기 위해 KCNA 자격증을 취득했다. KCNA (Kubernetes and Cloud Native Associate)는 쿠버네티스 기본 지식과 쿠버네티스 업무를 해본 적 있는 사람이라면, KCSA와 다르게 쉽게 취득할 수 있는 자격증이다.

시험 준비 과정

1.★ Kubernetes 공식 사이트 공부 ★
나는 쿠버네티스 환경을 구축해보고, 운영해본 경험이 있기 때문에 공식 문서만 읽으면 된다고 생각해서 공식 문서 위주로 공부했다. 업무하면서 잊고 있었던 개념을 다시 한 번 읽어봤다.

- kubelet, Scheduler, etcd 와 같은 쿠버네티스의 컴포넌트 구성 요소
- init container
- 컨테이너 런타임 종류 (containerd, CRI-O, runc, gvisor 가 뭔지?)
만약 쿠버네티스 지식이 없는 사람이라면, 쿠버네티스 기초 개념을 탄탄히 공부하는 것을 추천한다.

2. CNCF 사이트 공부

가끔 문제에 CNCF에 등재되어 있는 오픈소스 기술을 묻기도 한다. 구체적인 기술은 묻지 않으므로 대략적인 내용만 숙지하자.

- 모니터링 툴 종류 (Grafana)
- Service Mesh 종류 ( Linkerd, Istio, Envoy 가 뭔지?)
- CI/CD 종류 (Jenkins, ArgoCD, Flux)

시험 난이도 및 문제 유형

총 문제 수: 60
문제 유형: 객관식 4지선다
시간제한: 90분
합격 점수: 75점

시험 문제 수는 총 60 문제이며, 모두 객관식이다.

마치며

비교적 쉬어가는 자격증 시험이니, 부담 없이 봐도 될 것 같다.

[Kubernetes] KCSA 자격증 취득 후기 - Kubernetes 보안 전문가로 가는 길

장그래 — Wed, 13 Nov 2024 23:23:41 +0900

개요

Kubestronaut에 도전하기 위해 KCSA 자격증을 취득했다. KCSA(Kubernetes and Cloud Native Security Associate)는 자격증 이름에 Security가 들어간 만큼 쿠버네티스 보안을 다루는 시험임으로, 쉽지 않은 시험이다. 쉽지 않은 시험이지만, 후기를 보고 다른 분들이 좀 더 쉽게 자격증을 취득했으면 하는 바람에 글을 작성한다.

시험 준비 과정

CKA, CKAD, CKS는 사내 유능하신 분들이 강의도 해주고, 덤프도 제작해 줘서 비교적 쉽게 딸 수 있었다. 하지만 사내에 Kubestronaut에 도전하는 사람이 거의 없었기 때문에 아무런 정보 없이 자격증 시험에 도전해야 했다.

1. DUMP (덤프)
아무런 정보 없이 시험비 30만 원을 지를 수 없었기 때문에, 난생처음 Udemy에서 덤프를 구매했다.
https://www.udemy.com/course/kcsa-kubernetes-cloud-native-security-associate-exam-prep/

덤프 출제율은 크게 높지 않았지만, 문제에서 나온 키워드들이 공부할 때 큰 도움이 됐다. 세일하면 15,000 정도에 구매할 수 있으므로 시험비 생각하면 크게 아깝지 않았다.

2. ★ Kubernetes 공식 사이트 공부 ★
사내에서 처음으로 KCSA를 따고 다른 동료들에게 시험 방법을 공유했었는데, 이 방법이 가장 도움 됐다고 모두 말했다.
https://training.linuxfoundation.org/certification/kubernetes-and-cloud-native-security-associate-kcsa/

Kubernetes Cloud Native Security Associate (KCSA) | Linux Foundation Education

KCSA exam demonstrates a user’s understanding of the baseline security configuration of Kubernetes clusters to meet compliance objectives.

training.linuxfoundation.org

KCSA 시험 사이트에 들어가면, 시험 범위가 나오는데 해당 항목들이 그대로 Kuberenetes 공식 문서에 있다.
해당 부분을 영어로 정독하는 것을 추천한다.

특히 공식 사이트 부분 중 https://kubernetes.io/docs/concepts/security/ 이 부분을 정독하자

3. 블로그 참고 (데보션)
SK 테크블로그 데보션에 k8s 관련 보안 글이 작성되어 있는데, 이를 숙지하면 시험에 큰 도움이 된다.
https://devocean.sk.com/blog/techBoardDetail.do?ID=165722&boardType=techBlog

[K8S 보안 1탄] K8S 시스템 보안

devocean.sk.com

Authentication vs Authorization 라든가, Admission Control 종류라던가 도움이 될만한 항목들이 많다.

시험 난이도 및 문제 유형

총 문제 수: 60
문제 유형: 객관식 4지선다
시간제한: 90분
합격 점수: 75점

시험 문제 수는 총 60 문제로 기억하며, (틀릴 수도 있다) 객관식 시험이다. 헷갈리는 영어 단어가 많으므로 꼭 kubernetes 공식 문서를 참조하자. kubernetes 보안 지식이 있는 사람이라면, 쉽게 통과할 수 있겠지만 보안 지식이 없는 사람이라면 위 3가지 방법을 참고해서 공부하면 좋을 결과가 있을 것이다.

마치며

해당 자격증을 통해 Kubestronaut 자격을 취득할 수 있었으며, 쿠버네티스 보안 지식을 얻는 기쁨까지 누려 나름 만족스러웠다.

[Snowflake] SnowPro Core 자격증 취득 후기 - 처음 도전하는 스노우플레이크 전문가의 여정

장그래 — Tue, 12 Nov 2024 21:46:01 +0900

개요

회사에서 진행한 스노플레이크 Snowflake Fundamentals 오프라인 강의를 듣고 자격증을 취득했다. 요즘 여러 기업들이 스노우플레이크나 데이터브릭스 같은 데이터 클라우드 플랫폼 도입을 준비하는 것을 현장에서 느끼고 있다. 내가 참여 중인 프로젝트에서도 데이터브릭스 도입을 준비 중이다. 아직 한국에는 데이터 클라우드 전문가가 많지 않은 것 같아 대비 차원에서 자격증을 취득했고, 관련 경험을 공유하고자 한다.

자격증 종류

스노우 플레이크에는 여러 자격증 종류가 존재한다. 먼저 내가 취득한 SnowPro Core는 가장 기초적인 자격증이다. AWS 자격증으로 치면 Associate 수준의 자격증이라고 생각하면 된다.

SnowPro Core 이후에는 SnowPro Advanced 자격증이 있다. 스노플레이크 코리아 강사님 말씀으로는 Advanced 자격증을 취득한 사람은 거의 없다고 했다. 데이터 엔지니어를 꿈꾸는 사람이라면 Advanced에 도전해봐도 좋을 듯하다. Snowflake는 문제가 자주 바뀌는 편이라 취득 난도가 높다고 들었다.

시험 준비 과정

나는 운이 좋게 회사에서 Snowflake Fundamentals 라는 강의를 통해 스노플레이크 코리아 소속 강사님이 직접 강의를 해주셔서 어려움이 없었지만, 처음 스노 플레이크를 접하는 사람은 다소 어려울 수도 있을 것이다.

만약 스노우 플레이크를 처음 접한다면, https://learn.snowflake.com/en/#learningTracks 사이트에서 강의와 함께 실습을 하면 좋을 것이다. 스노 플레이크에 처음 가입하면 결재 정보 입력 없이 30일 동안 무료로 사용할 수 있기 때문에 실습하기도 편하다.

이후 스노우플레이크에 대한 개념이 잡혔다면, 덤프를 구매해서 덤프와 함께 같이 공부하는 것을 추천한다. 물론 자격증이 덤프 없이 취득하면 좋겠지만, 실제 스노 플레이크를 업무에 사용하고 있지 않는다면, 시험이 많이 어렵게 느껴질 수가 있다. 그러므로 덤프 공부도 공부라고 생각하고 덤프 구매를 추천한다. (어마무시한 자격증 비용을 날리지 않기 위해선..)

시험 난이도 및 문제 유형

총 문제 수: 100
문제 유형: 다중 선택, 다중 선택, 대화형
시간 제한: 115분
언어: 영어, 일본어, 한국어
등록비: 175달러
합격 점수: 750점

시험 문제 수는 총 100문 제이며, 어떤 언어로 볼 것인지 고를 수 있다. 한국어 지문을 선택하면, 영어 지문도 같이 볼 수 있으니 한국어로 보는 것을 추천한다.

또한 합격 점수는 1000점 만점에 750점을 맞으면 합격한다. 문제 별 배점이 다르므로, 몇 개 이상 맞으면 합격 그런 것은 없다

마치며

내가 데이터 엔지니어는 아니지만, 스노우 플레이크가 어떤 툴인지 알 수 있었던 좋은 경험이었다.
일본에는 많은 기업이 스노우플레이크가 도입됐다고 하는데, 한국도 머지 않아 스노우플레이크 혹은 데이터브릭스를 정말 많이 사용할 것 같다.

[Kubeflow] Kubeflow install with Cloud9 (kubeflow 설치)

장그래 — Tue, 28 May 2024 10:33:27 +0900

개요

kubeflow를 install 하는 과정을 적으려고 한다.
https://awslabs.github.io/kubeflow-manifests/docs/

Documentation

Kubeflow on AWS documentation

awslabs.github.io

위 문서에 적혀있긴 하지만 약간의 트러블 슈팅이 필요했고 트러블 슈팅 완료한 설치 과정을 작성한다.

Cloud9 세팅

cloud9이란?

AWS Cloud9를 사용하면 브라우저만을 이용하여 코드를 작성, 실행 및 디버깅할 수 있습니다. AWS Cloud9를 사용하면 코드 편집기, 통합 디버거 및 사전 구성된 AWS CLI가 포함된 기본 제공 터미널에 즉시 액세스할 수 있습니다. 몇 분 만에 시작할 수 있으며 더 이상 로컬 애플리케이션을 설치하거나 개발 기계를 구성하는 데 시간을 소비하지 않아도 됩니다.

최신 Ubuntu 환경을 선택해 Cloud9을 생성한다. 단 Cloud9의 Creadentail은 만든 사용자를 따라가기 때문에 원활한 환경 구성을 위해선 MFA 없는 계정으로 만드는 것을 추천한다.

만약 MFA 계정이 있는 상태로 만들면, 따로 MFA 없는 사용자 계정의 key를 발급받아 Cloud9에 Credentail로 등록해 주자

Git repository 다운로드

export KUBEFLOW_RELEASE_VERSION=v1.7.0
export AWS_RELEASE_VERSION=v1.7.0-aws-b1.0.3
git clone https://github.com/awslabs/kubeflow-manifests.git && cd kubeflow-manifests
git checkout ${AWS_RELEASE_VERSION}
git clone --branch ${KUBEFLOW_RELEASE_VERSION} https://github.com/kubeflow/manifests.git upstream

환경설정 (Install necessary tools)

sudo apt update
sudo apt upgrade

sudo apt-get install jq

sudo add-apt-repository ppa:deadsnakes/ppa -y
sudo apt install python3.8
python3.8 --version
alias python=python3.8

sudo apt install python3.8-dbg python3.8-dev python3.8-venv python3.8-distutils python3.8-lib2to3 python3.8-gdbm python3.8-tk python3.8-full

make install-tools

Terraform 배포

cd deployments/vanilla/terraform
pwd

# Region to create the cluster in
export CLUSTER_REGION=ap-northeast2
# Name of the cluster to create
export CLUSTER_NAME=kubeflow-eks

cat <<EOF > sample.auto.tfvars
cluster_name="${CLUSTER_NAME}"
cluster_region="${CLUSTER_REGION}"
EOF

terraform init && terraform plan

make deploy

대시보드 접근

make port-forward

Then, open the AWS Cloud9 browser and go to http://localhost:8080/.

[Kubeflow] Kubeflow란?

장그래 — Mon, 27 May 2024 10:49:39 +0900

Kubeflow란

- Kubeflow = Kubernetes + ML flow
- 쿠버네티스 위에서 머신러닝 관련한 오픈 소스를 관리하는 플랫폼
- Google, Arrikto, Cisco, MS 등이 오픈 소스 개발에 참여
- ML 오픈소스 생태계에 영역별 최적 오픈소스 조합
- kubernetes 기반 운영 안정성, 유연성 제공
- 즉, ML 관련 오픈소스들을 모아놓은 플랫폼이라고 할 수 있다.

Kubeflow components

- Kubernetes 기반으로 모델 개발, 학습, 튜닝, 서빙, 등 ML Workflow 단계별 유용한 툴과 파이프 라인 기능 제공

출처 : 삼성 SDS Youtube

Kubeflow UI

- Kubeflow UI를 분석하면서 기능을 파악해보자

Notebooks

- JupyterLab, RStudio, Visual Studio Code를 기본적으로 제공
- 관리자는 사전 설치된 필수 패키지와 표준 커스텀 이미지를 제공 가능함
- 엑세스 제어를 RBAC에서 관리하므로 조직 전체에서 더 쉽게 노트북을 공유할 수 있음

Notebooks API

- KubeFlow는 Notebooks 관련 API를 제공하고 있음
- 관리자는 API를 통해 Notebook 상태를 모니터링할 수 있음
- Kubeflow -> Prometheus -> Grafana -> Teams로 노트북 이상 발견 시 즉각 대응 가능
- EX) Notebook Status, Notebook Spec, Notebook Condition
- https://www.kubeflow.org/docs/components/notebooks/api-reference/notebook-v1/

Tensorboards

- 텐서보드는 머신러닝 실험에 필요한 시각화 및 도구를 제공
- 텐서보드 서버는, 일반적인 원격 텐서보드 서버의 사용법과 같이 사용할 수도 있음
- Kubeflow 파이프라인 Run에서 바로 텐서보드 서버에 데이터를 저장하는 용도로 활용

Models (KServe)

- Kserve는 Kubeflow의 기본 모델 서버 및 추론 엔진
- 배포된 Kserve 모델을 관리 (2019.09 KFServing ->Kserve로 분리)
- TensorFlow, PYTORCH, SKLearn, XGBoost, ONNX 등 다양한 모델 프레임워크를 지원

Kubeflow UI (Experiments (AutoML))

- Kubeflow의 하이퍼파라미터 최적화는 Katib이 서비스하고 있음
- Katib 는 Hyper Parameter Tuning, Neural Architecture Search(NAS) 기능이 있음
- NAS는 모델의 구조, 노드 가중치 등 뉴럴 네트워크 아키텍처를 최적화하는 작업

Pipelines (Argo Workflows)

- Machine learning workflow를 생성할 수 있는 Kubeflow compents
- Argo Workflows 엔진 기반으로 동작함
- Notebooks에서 Pipeline file 생성 후 file upload 형태로 동작

[AWS] Boto3로 EC2장비의 Vcpu 로깅 (Python)

장그래 — Wed, 12 Jul 2023 10:16:32 +0900

개요

kubeflow 기반의 MLOps 환경을 구축하고, 운영하던 도중 더 이상 Node가 생기지 않는 이슈가 발생했다.

원인

https://docs.aws.amazon.com/ko_kr/servicequotas/latest/userguide/intro.html

Service Quotas 할당량이란 무엇입니까? - Service Quotas

이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오.

docs.aws.amazon.com

원인은 AWS Service Quatas에서 Vcpu의 limit이 2000으로 할당되어 있기 때문이었다.
(AWS에서 Service Quatas는 각 서비스의 할당량을 정해놓은 것이다.)
MLOps 사용자가 늘어나면서, Node 개수가 늘어났고 Node가 증가함에 따라 Vcpu도 동시에 증가했기 때문이었다.

해결 방안

Service Quatas의 limit을 늘려 문제를 해결했지만, 무한정 Service Quatas를 늘릴 수 없었기에 지속적인 모니터링이 필요했다.
지속적인 모니터링을 위해 Service Quatas limit을 중앙 집중형 로그 시스템에 떨구기로 했다.
(구조 : Python 로깅 -> 중앙 집중형 로그 시스템 (Splunk, ELK, etc) -> Teams or Slack 알람 발생

이를 통해 지속적으로 Service Quatas를 모니터링 할 수 있었으며, 더욱 안정적으로 kubeflow를 운영할 수 있었다.
(코드도 공유한다)

def ec2_vcpu():
    keywords=["g3", "g4dn"]
    ec2 = boto3.client('ec2', region_name = 'ap-northeast-2')
    reservations = ec2.describe_instances()['Reservations']
    vcpus = 0
    for reservation in reservations:
        for instance in reservation['Instances']:
            instance_id = instance['InstanceId']
            instance_type_name = instance['InstanceType']
            if (any(keyword in instance_type_name for keyword in keywords)):
                instance_type = ec2.describe_instance_types(InstanceTypes=[instance_type_name])
                current_vcpu_count = instance_type['InstanceTypes'][0]['VCpuInfo']['DefaultVCpus']
                #print(f'{instance_id} - {instance_type_name} - {current_vcpu_count}')
                vcpus += current_vcpu_count
    msg= "vcpu Utilization: " + str(vcpus)
    logger.info(msg)

[Tableau] 태블로 다른 경로에 설치하기 (Linux)

장그래 — Wed, 3 May 2023 16:07:34 +0900

개요

단일 노드에 태블로를 설치하려고 했던 과정을 적어보려 한다.

환경

단일 노드 (클러스터 X)
Linux 환경 (AWS)
루트 디렉토리가 아닌 다른 경로에 설치하고자 함

설치 방법

1. 아래 사이트에서 버전에 맞는 RPM 파일을 다운로드한다.
(wget 명령어 사용)
https://www.tableau.com/ko-kr/support/releases/server

Tableau Server

제품 다운로드 및 릴리스 정보 Tableau Server

www.tableau.com

2. Root 디렉토리에 설치할 것이라면, yum or apt get을 사용해 설치하면 되지만 특정 경로에 설치하기 위해선 rpm을 실행시켜야 한다.

# sudo rpm -i --prefix <설치 경로> 설치파일
sudo rpm -i --prefix /preferred/install/path tableau-server.rpm

<예시>

sudo rpm -i --prefix /data001/tableau/ tableau-server-2022-3-6.x86_64.rpm
error: Failed dependencies:
        fontconfig is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        fuse is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        gdb is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        chrpath is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libglvnd-glx is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libICE is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libX11 is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libXcomposite is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libXcursor is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libXdamage is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libXext is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libXi is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libXrandr is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libXrender is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libxslt is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libXtst is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        libXxf86vm is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        mesa-libEGL is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64
        redhat-lsb-core is needed by tableau-server-20223.23.0507.0956-20223-23.0507.0956.x86_64

3. 아마 위 명령어를 실행하게 되면, 의존성 문제로 다른 패키지를 설치하라고 나타난다.
해당 패키지를 전부 설치해 주면 된다.

sudo yum install <package1> <package2>…

<예시>


sudo yum install fontconfig fuse gdb chrpath libglvnd-glx libICE libX11 libXcomposite libXcursor libXdamage libXext libXi libXrandr  libXrender libxslt libXtst libXxf86vm mesa-libEGL redhat-lsb-core

4. 설치가 완료되면 설치된 폴더의 스크립트를 실행해 주면 된다. 이때 -d 옵션을 꼭 붙여줘야 한다.
(미리 디렉터리를 만들지 않아도 된다.)
여기서 디렉터리는 T추출, 추출 관련 정보 등을 저장하는 "데이터 디렉터리"를 의미한다.

cd <설치경로>/scripts.<version_code>/
sudo ./initialize-tsm --accepteula --activation-service -d <추출파일경로>

<예시>

cd /data001/tableau/packages/scripts.20223.23.0507.0956/
sudo ./initialize-tsm --accepteula --activation-service -d /data001/tableau_data

5. 해당 스크립트를 통해 설치가 완료됐을 것이다. 나머지는 서버 IP:8850 (TSM) 접속하여 라이선스 등록 및 태블로 세팅하면 된다.
TSM 로그인 계정은 tsmadmin Group안에 Linux 계정이며, 로그인이 안되면 아래 페이지를 참고하면 된다.

2023.04.18 - [Data/etc] - [Tableau] 태블로 TSM Login 실패 시 해결 방법 (Tableau, TSM)

[Tableau] 태블로 TSM Login 실패시 해결 방법 (Tableau, TSM)

개요 태블로를 설치하던 중 TSM 로그인이 되지 않았다(TSM 웹 인터페이스 사용). 가이드 문서에 따르면 Linux 계정이 tsmadmin으로 되어있으면 된다고 했는데... 아무리 해도 안 됐다. https://help.tableau.co

skd03052.tistory.com

[Tableau] 태블로 TSM Login 실패시 해결 방법 (Tableau, TSM)

장그래 — Tue, 18 Apr 2023 10:09:07 +0900

개요

태블로를 설치하던 중 TSM 로그인이 되지 않았다(TSM 웹 인터페이스 사용). 가이드 문서에 따르면 Linux 계정이 tsmadmin으로 되어있으면 된다고 했는데... 아무리 해도 안 됐다.
https://help.tableau.com/current/server-linux/ko-kr/sign_in_tsm.htm

Tableau 서비스 관리자 웹 UI에 로그인

이 항목에서는 TSM(Tableau 서비스 관리자) 웹 UI에 로그인하는 방법에 대해 설명합니다

help.tableau.com

해결 방법

로그인하려는 사용자의 암호가 없기 때문에 로그인이 되지 않는 현상이었다.
(참고 링크 : https://www.edureka.co/community/166998/unable-login-tableau-services-manager-authentication-failed)

0. 먼저 TSM에 로그인할 Linux 계정을 생성해야한다.

2022.05.13 - [Ops/Linux] - [Linux] 계정 관리 명령어 (계정 생성 / 계정 만료 / 계정 잠김)

[Linux] 계정 관리 명령어 (계정 생성 / 계정 만료 / 계정 잠김)

계정 생성 1. root 계정으로 전환한다. # root로 전환 sudo su sudo -i # root로 로그인 su 2. 요청한 계정의 존재 여부 확인한다. cat /etc/passwd | grep 3. 계정 생성하기 useradd -m -s /bin/bash -g sdt # -m : 홈 디렉토리

skd03052.tistory.com

tsmadmin 그룹에 속하도록 계정을 생성해준다. (계정 생성 법은 위 글 참조)

useradd <username> -m -s /bin/bash -g tsmadmin

비밀번호도 설정해준다.

passwd <username>

1. db4라는 관련 lib을 설치

sudo yum install db4-utils db4

2. etc 경로의 폴더 생성 및 이동

sudo mkdir -p /etc/tableau/ && cd /etc/tableau

3.tsm-admins.txt에 사용자 이름 및 비밀번호 입력

sudo vim tsm-admins.txt


#vim tsm-admins.txt에 아래 값(TSM에 로그인할 계정 정보) 추가#
#ex)
test << id
1234 << passwd

4. admins.txt에 있는 정보를 db에 로드하고 삭제

sudo db4_load -T -t hash -f tsm-admins.txt tsm-admins.db
sudo rm tsm-admins.txt
sudo chmod go-rw tsm-admins.db
sudo chown tableau:tableau tsm-admins.db

5. /etc/pam.d/tableau 파일을 만들고, 값 입력

sudo vim /etc/pam.d/tableau

## /etc/pam.d/tableau 파일에 아래 값 추가##

#%PAM-1.0
auth       required       pam_userdb.so db=/etc/tableau/tsm-admins
account    required       pam_userdb.so db=/etc/tableau/tsm-admins

아래 과정을 마치면, TSM에 로그인되는 것을 볼 수 있다.

[AWS] CloudWatch Agent 설치 (Ubuntu)

장그래 — Mon, 16 Jan 2023 16:08:11 +0900

개요

CloudWatch는 EC2의 메모리 사용량, 디스크 사용량을 자동으로 수집하지 못한다. 별도의 Agent를 통해 이러한 지표를 수집해야 한다.

CloudWatch Agent 세팅

https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/install-CloudWatch-Agent-commandline-fleet.html

서버에 CloudWatch 에이전트 설치 및 실행 - Amazon CloudWatch

서버에 CloudWatch 에이전트 설치 및 실행 원하는 에이전트 구성 파일을 생성하고 IAM 역할 또는 IAM 사용자를 생성했으면 다음 단계에 따라 해당 구성을 사용하여 서버에 에이전트를 설치하고 실행

docs.aws.amazon.com

* 조건
- EC2에 CloudWatchAgentServerPolicy라는 Role을 적용해놔야 함
(Key에 적용을 하던, Ec2에 Role을 적용하던..)

1. 지표를 수집할 EC2 서버에. deb 파일을 설치한다.

wget https://s3.amazonaws.com/amazoncloudwatch-agent/ubuntu/amd64/latest/amazon-cloudwatch-agent.deb

2. 받은 파일의 압축을 해제한다.

sudo dpkg -i -E ./amazon-cloudwatch-agent.deb

3. agent 파일은 /opt/aws/amazon-cloudwatch-agent/ 경로에 압축이 풀린다.

4.amazon-cloudwatch-agent.json 파일을 생성하고, 수집할 메트릭 정보를 넣어준다.
(메트릭을 추가하고 싶으면 자세한 문서를 보고 값을 추가해준다. https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Agent-Configuration-File-Details.html )

vim /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json

#메모리 사용량 지표와, 디스크 사용량 지표
{
  "metrics": {
    "metrics_collected": {
      "mem": {
        "measurement": [
          "mem_used_percent"
        ]
      },
      "disk": {
        "measurement": [
          "used_percent"
        ],
        "resources": [
          "*"
        ]
      }
    }
  }
}

5. 아래 명령어로 config를 적용한다

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -s -c file:amazon-cloudwatch-agent.json

6. 시간이 얼마 지나면 CWAgent라는 네임스페이스에 지표가 수집되는 것을 확인할 수 있다.

[Data] 데이터 마트, 데이터 웨어하우스, 데이터 레이크 개념 정리

장그래 — Mon, 26 Dec 2022 13:34:48 +0900

개요

개인적으로 공부하고 있는 빅데이터 용어를 정리하려고 한다.

개념 정리

데이터 레이크 : 데이터 레이크는 구조화되거나 반구조화되거나 구조화되지 않은 대량의 데이터를 저장, 처리, 보호하기 위한 중앙 집중식 저장소입니다. 데이터 레이크는 데이터를 기본 형식으로 저장할 수 있으며, 크기 제한을 무시하고 다양한 데이터를 처리할 수 있습니다.
출처 - 구글 클라우드

데이터 웨어하우스: 데이터 웨어하우스(data warehouse)란 사용자의 의사 결정에 도움을 주기 위하여 기간시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스를 말한다. 줄여서 DW로도 불린다.
출처 - 위키백과

데이터 마트 : 데이터 마트는 (Data Mart, DM)는 데이터 웨어하우스(Data Warehouse, DW) 환경에서 정의된 접근계층으로, 데이터 웨어하우스에서 데이터를 꺼내 사용자에게 제공하는 역할을 한다.
출처 - 위키백과

데이터 저장소는 크게 3가지로 분류할 수 있다. 아래 그림을 보면 이해가 더 쉬울 것이다.
데이터 레이크는 원시의 데이터 셋을 기본 형식으로 저장한 저장소다. 이러한 데이터셋을 ETL 과정을 통해 만들어진 것이 데이터 웨어하우스에 담긴다. ETL된 데이터 셋은 데이터 분석에 적합한 정규화 된정규화된 모델로 구성이 되어있을 것이다. 이러한 정규화된 모델로 구성되어 있는 데이터 셋을 특정 부서와 같은 작은 단위의 분석 할 때 사용하는 것이 데이터 마트이다.

출처 : https://medium.com/@david.alvares.62/datalake-datawarehouse-datamart-with-bigquery-32f6c3735a9d