[Kubeflow] Kubeflow install with Cloud9 (kubeflow 설치)

개요

kubeflow를 install 하는 과정을 적으려고 한다.
https://awslabs.github.io/kubeflow-manifests/docs/ 

Documentation

위 문서에 적혀있긴 하지만 약간의 트러블 슈팅이 필요했고 트러블 슈팅 완료한 설치 과정을 작성한다.

Cloud9 세팅

cloud9이란?

AWS Cloud9를 사용하면 브라우저만을 이용하여 코드를 작성, 실행 및 디버깅할 수 있습니다. AWS Cloud9를 사용하면 코드 편집기, 통합 디버거 및 사전 구성된 AWS CLI가 포함된 기본 제공 터미널에 즉시 액세스할 수 있습니다. 몇 분 만에 시작할 수 있으며 더 이상 로컬 애플리케이션을 설치하거나 개발 기계를 구성하는 데 시간을 소비하지 않아도 됩니다.

최신 Ubuntu 환경을 선택해 Cloud9을 생성한다.  단 Cloud9의 Creadentail은 만든 사용자를 따라가기 때문에 원활한 환경 구성을 위해선 MFA 없는 계정으로 만드는 것을 추천한다.

만약 MFA 계정이 있는 상태로 만들면, 따로 MFA 없는 사용자 계정의 key를 발급받아 Cloud9에 Credentail로 등록해 주자

 

Git repository 다운로드

export KUBEFLOW_RELEASE_VERSION=v1.7.0
export AWS_RELEASE_VERSION=v1.7.0-aws-b1.0.3
git clone https://github.com/awslabs/kubeflow-manifests.git && cd kubeflow-manifests
git checkout ${AWS_RELEASE_VERSION}
git clone --branch ${KUBEFLOW_RELEASE_VERSION} https://github.com/kubeflow/manifests.git upstream

환경설정 (Install necessary tools)

sudo apt update
sudo apt upgrade

sudo apt-get install jq

sudo add-apt-repository ppa:deadsnakes/ppa -y
sudo apt install python3.8
python3.8 --version
alias python=python3.8

sudo apt install python3.8-dbg python3.8-dev python3.8-venv python3.8-distutils python3.8-lib2to3 python3.8-gdbm python3.8-tk python3.8-full

make install-tools

 

Terraform 배포

cd deployments/vanilla/terraform
pwd

# Region to create the cluster in
export CLUSTER_REGION=ap-northeast2
# Name of the cluster to create
export CLUSTER_NAME=kubeflow-eks

cat <<EOF > sample.auto.tfvars
cluster_name="${CLUSTER_NAME}"
cluster_region="${CLUSTER_REGION}"
EOF

terraform init && terraform plan

make deploy

대시보드 접근

make port-forward

Then, open the AWS Cloud9 browser and go to http://localhost:8080/.